1928年5月，原河南省政府为表现各民族的历史和现状，宣传民族共和和世界大同的理想，遂将河南博物馆改名为“民族博物院”，并改由省政府直接领导，同时划拨刘师古堂充公遗产的一部分为专款，限期开放。同年10月10日，在藏品缺乏的情况下，大量运用模型等手段，成功举办了第一次陈列展览。
1930年12月1日，河南省政府将“民族博物院”恢复为“河南博物馆”，并确定为社会教育机关，直属省教育厅领导。12月23日教育厅委任关百益为馆长，并收回民众师范房舍为古物陈列室。1931年1月20日，河南省教育厅又颁布了《河南博物馆组织条例》，同时设立了保管部、搜集研究部两个大部，成立了由民政厅厅长、教育厅厅长、河南大学校长、博物馆馆长等组成的7人理事会，将原民族博物院的19个陈列室调整为7个，撤去了大量民族服饰和模型，充实了历史文物。1930年至1937年的8年间，是河南博物馆空前发展的时期，藏品中的历史文物最为丰富、精致，具有河南地方特点，而且涌现出以关百益为代表的一批高水平的研究人员。从此，河南博物馆名声鹊起，得到了国内外的广泛赞誉。1937年“七七事变”爆发，日本鬼子大肆侵入。为避免文物被毁，馆藏主要文物68箱被迫移运重庆，工作处于停滞状态。1940年日伪期间，河南博物馆被更名为“河南省立博物馆”，下设事务部、保馆部、研究部等。抗战结束后，国民党河南省政府派谢孟刚为接收委员，接收了日伪当局控制下的河南省博物馆，但终因解放战争的爆发，国民党政府忙于内战，经济严重匮乏，经费拮据，博物馆步履维艰。
1948年，中国人民解放军势如破竹，一举解放了古都开封。党和政府十分重视文化教育和文博事业，立即成立了以赵干亭为主的三人管理小组，进驻博物馆，整饬馆务。1949年11月，河南省政府任命省教育厅厅长曲乃生兼任馆长，开始组织人员，整理文物、展室，修缮房舍、设施，进行业务活动，博物馆再次出现生机，蓬勃发展。
1953年，根据中央文化部颁发的《对地方博物馆的方针、任务、性质及发展方向的意见》，河南省博物馆被确定为地志性博物馆。1961年，河南省博物馆由开封迁至省会郑州，有了较好的陈列展览场地。然而，正当博物馆有计划、有秩序地全面开展各项业务活动的时候，一场史无前例的文化大革命开始了。
文革10年中，博物馆组织瘫痪，业务荒废。党的十一届三中全会以后，河南省博物馆渐入佳境，进入了一个新的历史发展时期。尤其是进入80年代，博物馆力量不断壮大，机构设置趋于合理，设立了陈列部、保管部、社会教育部、图书室、研究部、《中原文物》编辑部、办公室、行管科、保卫科等科室，建立建全了岗位责任制和各项规章制度，博物馆呈现出一派欣欣向荣的新景象。
日月交替，沧桑更迭。历史的车轮驶入90年代。随着改革开放的深入，国际间日益频繁的文化交流，旅游事业的飞速发展，进一步促进带动了全国博物馆事业的发展。由于河南省博物馆建筑是1958年大跃进时期突击在郑州兴建的，它无论在建筑形式、建筑规模、还是在内部设施上，都很难适应今天博物馆日益发展的需要。为此，河南省委、省政府领导高瞻远瞩，决定“八五计划”期间在省会郑州建设一座具有当今先进水平的现代化博物馆。1991年秋，根据李瑞环同志的有关指示，经原省委书记侯宗宾、原省长李长春等领导同志的积极争取，国务院决定由国家和河南省共同投资筹建新馆舍。
新馆位于郑州市农业路中段，占地10余万平方米，建筑面积7.8万平方米，累计投资近3亿元人民币，历时5年建成，于1998年5月1日正式对外开放。是我省建国以来第一个国家级的公益性大型文化设施。其主体建筑由我国现存最早的天文台遗址——登封元代观星台为原型，经艺术夸张演绎成戴冠的金字塔造型。其底部为长63米的正方形，高45.5米，内部设计五层，其中地下一层。后为文物库房，四隅分布有电教楼、综合服务楼、办公楼、培训楼等。整个建筑群设计以雄浑博大的“中原之气”为核心，线条简洁遒劲，造型新颖别致，风格独特，气势恢宏，堪称一座凝聚着中原文化特色和时代精神的不可多得的标志性建筑。
1997年7月，河南省政府决定，将中原石刻艺术馆与河南省博物馆合并，成立河南博物院。河南博物院的成立，是河南博物馆事业发展的一个里程碑，也是中国博物馆发展史上的一桩盛事。