宿北战役后，国民党不甘于失败，为了实现攻占山东作战计划，蒋介石调集大军向该区域集结，为填补宿北战役被歼整69师的空缺，由胡琏的整11师驻在宿迁，桂军第7军驻在泗阳，李良荣的整28师驻在涟水，张灵甫的整74师驻在陈师庵，王长海的整77师驻台儿庄，周毓英的整51师、刘振三的整59师驻枣庄，马励武的整26师附第1快速纵队部署在距离山东首府临沂只有30公里的位置。
华东野战军为了进一步摆脱此时的不利局面，粟裕开始筹划在解放军控制区域内再进行一次战役。经过反复酝酿，决定在山东南部发起一场战役，决心歼灭离临沂最近的整编第二十六师和快速纵队，拔除这颗颇具威胁的钉子。
为了做好准备，华东野战军分为左右两个纵队，隐蔽北上，进入了指定集结地域，以12个团为右纵队攻占整编26师北线阵地，同时阻绝峄县、枣庄国民党军东援与整编26师西撤的通道。
以15个团为左纵队包围卞庄并在洪山镇和横山一线构筑阵地，切断敌军与整编33军的联系。而此时敌军整26师包括快速纵队一起不过6个团的兵力，我军集中优势兵力突然发动攻击可以速战速决，全歼敌军。
我军提前两个小时突然对国军第二十六师发起进攻。国军在我军控制区域内遭到封锁，对解放军的作战行动毫无察觉，而恰逢二十六师师长马励武过年未归，离开了指挥位置，结果战斗一打响，国军就因失去统一指挥，军心大乱，被迫与我军接战。
很快，我军就完成了对国军的的战役合围和战术分割，并歼灭的敌军大部。残余国军困兽犹斗，仍组织兵力反击，进行炮火阻拦，坦克支援，但均没能遏制住解放军的攻势。解放军出动左右两纵队向国军发起总攻。经过彻夜激战，歼灭国军整编第二十六师师部及两个旅大部，国军残部及第一快速纵队被解放军紧紧包围于陈家桥、贾头、作字沟狭小地区。
第一快速纵队号称“国军精华”。之前由陈诚亲信石祖黄任司令官，后由陈诚另—亲信车蕃如任司令，车蕃如后来认为快速纵队位置过于突出，上级不允许其撤退，遂抛弃部队回徐州。因此战役爆发时，快速纵队实际由不谙坦克战术的26师师长马励武指挥。
虽然国军此时态势已相当不利，然而刚刚从县城赶到的马励武仍有反败为胜的想法，他令快速纵队的坦克集结在一起，用车辆拉上士兵，妄图以钢铁洪流撕开口子，打破我军的包围圈
只不过让马励武没有想到的是，由于天气太冷，雨中夹雪，气温剧降，坦克的汽油和冷却液都受冻严重无法使用，这导致第一快速纵队的坦克几乎丧失了机动能力。
1月4日上午，整26师残部和第一快速纵队孤注一掷，全力突围，然而在华野的阻击下，国军秩序大乱，一场突围行动演变成了一场溃败，国民党军斗志全无，纷纷作鸟兽散。
解放军冒着雨夹雪向国军快速纵队发起总攻，将快速纵队之第八十旅大部歼灭于陈家桥以西地区。解放军继续对国军发起猛烈追击，战至下午3时，先后攻克卞庄、向城、兰陵等40余重要据点，歼灭整编第二十六师（师部及第四十四旅、第一六九旅）和以及整编第二十八师之第八十旅、直属炮兵第五团、战车营等，第一快速纵队几乎全军覆没。
想要穿上士兵衣服蒙混过关的马励武也被我军战士认了出来，没能逃脱被俘的命运。
在我军围攻峄县的同时，华野第一师也对枣庄发起了攻击，然而进展较为迟缓。后来，第八师一个团也加入了战斗，随后我军发起总攻，全歼国军枣庄驻守部队第五十五师师部及两个团，师长周毓英被俘。鲁南战役至此胜利结束。
被俘的国军官兵
被俘虏后，马励武总结了失败教训，除了解放军能打外，主要有两点原因，一点是国民党内部派系林立，身为何应钦派系的他，遭到了土木系陈诚的坑害（未出动邻进的部队全力救援，坐视26师被歼）
另一点是天公不作美，连下的恶劣雨雪天气让他的机械化部队无法施展开来。这也是为什么粟裕后来说：“这是老天爷帮我们的忙，雨雪交加，道路难行，把敌人的重装备陷在那里，他就更难逃脱了。”
此战一共历时19天，华野以伤亡8000人代价，歼灭国民党军53000余人，取得一场战役中全歼国民党军两个整编师的战绩，很大的鼓舞了士气。
我军缴获的大炮
鲁南战役是解放军首次在一个战役中全歼两个整编师（相当于军)。此次作战华东野战军缴获美式M2A1105毫米榴弹炮48门，坦克24辆，汽车470台，此一战，几乎坐实了蒋介石“运输大队长”的称号，在此战中，不但送出去了坦克和汽车，还把大量优秀的坦克技术兵种也送给了我军。华东野战军以此为基础组建了特种兵纵队，为后续莱芜战役、孟良崮战役、豫东战役、济南战役乃至淮海战役的火力支援打下了基础。