莱芜大捷,使得国民党的全面进攻被打破。此后,国民党又集中94个旅,于1947年3月对山东、陕北两个解放区实行重点进攻。国民党进攻山东解放区的兵力,除原进攻华东解放区的部队外,还从冀鲁豫战场抽调王敬久的第五军和3个整编师,共计60个旅、45万人。其进攻目标是先占领鲁南解放区,然后集中主力向鲁中的泰安、菜芫蒙阴、沂水一线推进,企图将华东野战军压向沂蒙山区加以歼灭,彻底解决山东问题;或迫使华野北渡黄河,以便占领山东解放区。国民党军从3月下旬开始进攻,其第一线兵力为汤恩伯、王敬久、欧震所指挥的3个兵团,共13个整编师、34个旅、25万人。
沿临沂、兖州、东阿一线向鲁中地区推进。3月底,国民党占领泰安、大汶口等地。4月初打通津浦铁路兖州到济南段和临沂至兖州的公路,并沿着临沂至泰安一线向新泰、蒙阴地区压缩。在国民党重点进攻之前,王敬久兵团即在1947年2月占领了兖州、宁阳及泰西地区的运河、黄河地段。重点进攻开始后,其近10万大军涉过汶河,齐头并进,由南、西两面向北向东压来。百姓横遭兵祸,四处奔逃。泰西地委、专署、军分区在泰肥山区无法立足,在军分区一个连掩护下转移至大峰山地区。国民党很快占领泰西地区和泰安(东)、泰宁县的大部地区,国民党组织的还乡团”、伪军政人员随之而来向革命群众进行疯狂的反革命报复。泰安地区的形势骤然严峻。
针对国民党军重兵逐步集中山东战场的情况,中共中央军委对华东战场的作战方针和任务及时作了重要指示。3月6日,军委电示陈毅、粟裕、谭震林等,“考虑行动应以便利歼敌为标准”,“对敌津浦集团北进不要阻止,让其进至泰安一线,于我最为有利”。3月下旬,国民党开始发起重点进攻。其第二兵团于4月初占领平阴、肥城、泰安、大口等地,打通了津浦路完州至济南段第二兵团于4月上句打通了滋临公路,侵入鲁南山区。经一个月休整后,华东野战军前委于3月28日决定主力结束休整,自胶济线分路南下,歼击较分散的国民党第一兵团。国民党军发现华东野战军企图后,急忙调整部署,令第一兵团迅速向临沂地区收缩防御,増调第七军及整四十八师、整九师加强一兵团郯(城)马(头)、新安镇防线,第二、三兵团则由泗水、大汶口东犯新泰、蒙阴,威胁华东野战军侧背,造成伺机进占沂蒙山区、逼华野主力决战于滨海一隅的态势。华东东野战军遂改变决心,主力置于新泰、蒙阴、十字路之线待机。国民党军见华东野战军停止南下,于4月19日全线发起进攻。
4月20日,华野为分散国民党兵力,求得在运动中歼灭国民党军主力,拟定了泰蒙战役计划,决心首先攻击泰安守敌整编七十二师,调动整编第七十五、八十五师北援而歼灭之,同时吸引进犯新泰、蒙阴的国民党军西援,尔后视情出击第一兵团及南下开辟华中战场。具体部署为陈士榘、唐亮指挥叶飞、谭启龙的第一纵队,何以祥、丁秋生的第三纵队,宋时轮、刘培善的第十纵队攻击泰安;以谭震林率第二、第七纵队集结青驼寺一线待机南下;以第八纵队进入曲泗山区寻机歼灭整六十四师主力;陈毅、粟裕指挥第四、六、九等纵队于新泰、蒙阴地区待机。
4月22日,陈士榘下达攻击泰安的作战命令:以十纵附特纵榴弹炮团一个营围攻泰安,以一、三纵控制泰安西南正面,歼灭大汶口可能北上增援的国民党军。当晚,各纵开始行动,一纵一部进至徂徕山以西,一部越过津浦路进至满庄西南山区一线,三纵进至满庄至天平店一线山地。
22日16时,外围战斗打响。十纵二十八师及配属的纵队特务团和鲁中警二团攻击城东、城北的国民党军,二十九师攻击城南、城西守卫的国民党军,当夜攻占风台、刘家庄、唐庄、旧镇、三里庄等外围据点。23日上午,国民党军以两个营兵力两次发起反击,企图夺回旧镇,均被二十九师八十六团击退。下午,国民党军将外围七里铺、玉皇庙等地守军收缩入城,加强城垣防御。
23日夜,二十八、二十九师各一部分别向摩天岭和城西南蒿里山制高点发起攻击。二十八师八十三团一营首先占领回马岭守敌营联络点,继而攻占摩天岭前沿蝎子山,在地形不利、情况不明的形势下,经奋勇拼杀,冲击至国民党军阵地前沿,又受其假投降诡计庥痹,遭到反击,突击连伤亡过半。朱副营长、副班长郑素春等怀着誓死完成任务的决心,号召共产党员带头,将仅有的二十余名能参加战斗的人员重新编组,施以巧妙的战术,隐蔽接近国民党军,发起突袭,歼灭山顶守军一个加强营。二十九师八十五团攻击蒿里山遭敌反击未能攻下。同日上午,刚抵达道朗以东之三纵七、九师先头部队,恰遇由肥城奉命归建东援的国民党军新十三旅所率五个营,当即展开阻击。因部队未及占领北山制高点形成包围,仅歼灭国军一部,其余的国民党军于次日弃辎重翻山绕道向界首方向逃遁。
24日,鉴于济南的国民党军未有出援,近在咫尺的大汶口、南驿一线国民党军七十五、八十五师亦无北援行动,仅已进至楼德以东的新五军似有西援迹象,陈土榘遂决定加速歼灭泰安守军,即令三纵八师及九师一部投入攻城,并重新调整任务区分:十纵二十八、二十九师分别负责攻击东门及南门,三纵八师负责攻击西门。
24日夜,华东野战军继续向泰城发起攻击。八师二十三团一营向蒿里山迅猛冲击,仅20分钟即攻占山鞍部大碉堡及山南部,并冲入山顶壕沟与国民党军展开肉搏战。但因战前准备仓促,部署协调有误,国民党军西南角碉堡未被摧毁,其侧射火力封锁了华东野战军进退必经之壕沟,致使后续梯队遭受重大伤亡,山后国民党军预备队乘机发起反击,华东野战军被迫撤至山下。蒿里山得而复失。当夜,负责攻击西关的二十二、二十四团经反复争夺,占领火车站及西关大部,二十八、二十九师分别攻克东关、南关。至25日16时,除博济医院外,西关亦全部为华东野战军控制。
25日,未及撤下蒿里山的二十三团一营孙喜友、徐光明、夏其盘三位战士,坚守南部敌一碉堡一天,顽强打退国民党军二十余次冲锋。下午5时20分,华东野战军炮火猛烈射击,摧毁蒿里山国民党军工事及火力点,突击队在火力掩护下仅用十几分钟即击溃国民党守军,重新占领了蒿里山。战后三战士被授予“蒿里山三勇士”光荣称号。
泰安之役,华野西兵团共歼灭国民党军整编第七十二师2万余人,生俘国民党军师长杨文泉以下1.14万人,缴美式榴弹炮4门,轻重机枪400余挺,汽车40余辆,并击落敌机1架。华东野战军伤亡3000余人。
攻克泰安后,华东野战军为扩大战果,调动国民党新五军西援,创造战机,又以第一纵队直捣宇阳,以第六纵队于宁阳东北之汶河南岸,准备打击国民党军整七十五、八十五师之增援,以第三纵队随第一纵队后跟进,准备包围兖州、威胁国民党军补给基地。
27日晚,一纵奔袭宁阳,当夜因准备不足,突袭未成、又于28日夜强攻,再克宁阳共歼国民党整编第八十四师吴化文部第一团(赵广兴团)团部及两个营并张子明部保安队等1200余人。在华东野战军声威震慑下,肥城、东阿、平阴、汶上、界首、万德嘉祥、巨野、鄄城、成武等国民党军均先后弃城逃窜。华东野战军十纵二十八师又乘胜向肥城西北孝里铺扫荡,俘获国民党军700余人,又北渡黄河,攻占晏城,歼灭国民党军千余人,但仍未能调动国民党军分兵西援,华东野战军西兵团遂回师津浦路东,参加孟良崮战役。
泰安之战,是华东野战军正式组建后迎击国民党军重点进攻的第一战,虽未达到调动歼灭国民党军增援的目的,但消灭了国民党军的有生力量,打击了国民党军的器张气焰,打乱了其战略部署,为中国共产党发起孟良崮战役创造了条件,同时锻炼和提高了华东野战军城市攻坚作战能力。