1457年2月，胡濙上疏朱祁镇，请求告老还乡。收到奏疏后，朱祁镇喜出望外，连夜派人将胡濙送回老家武进。在保留胡濙礼部尚书头衔的同时，又加封他的儿子为锦衣卫指挥使，恩宠之至。
7年后，88岁的胡濙病重将亡。临终前，他将子孙叫到床前，悲叹道：
“朝廷多事，皇帝宠信佞臣。若你们有能力就去报效国家，若没有能力，切勿强出头，惹来杀身之祸。”
没过多久，胡濙就寿终正寝了。胡濙亡故的消息传至京城，朱祁镇追赠他为“太保”，并亲自前往吊唁。可是，在说到胡濙时，朱祁镇却一反常态，咬牙切齿地骂道：
“老匹夫，终于死了！”
那么朱祁镇为何这么说？他与胡濙之间究竟发生了什么？胡濙又为何急匆匆地告老还乡呢？
忠厚耿直的胡濙
胡濙是建文二年的进士。1400年，胡濙作为武进社学的优秀学子，入京参加科举考试。当年，与胡濙并排而坐的是杨荣、杨溥。考试结果下发后，胡濙与杨荣、杨溥高中进士，而胡濙则被授予兵部给事中。
胡濙入朝时，靖难之役正如火如荼地进行着。当时，朱允炆的部队连战连败，损失极大。作为文人，胡濙没有前往战场杀敌的资格，可他在后方也为前线支援了不少军需物资。因此，在朱棣进入应天后，胡濙就成了他眼中的“建文旧臣”。
然而，朱棣越是反感胡濙，胡濙反而越对他不理不睬。当杨荣、解缙等人纷纷前往城门迎接朱棣时，胡濙却躲在家里，甘当一个闲人。
胡濙为人敦厚老实，踏实稳重，但又极为固执。朱棣初次见到他时，本想下狱治罪。可在发现他的才华后，朱棣就改变了想法，转而考察他的性情、人品。经过5年的观察，朱棣终于决定将寻找朱允炆的重任交到这个“建文旧臣”手里。
胡濙母亲病故后，他请求朱棣允准回家奔丧，可被朱棣拒绝。当时，朱棣的年岁越来越大，寻找朱允炆的执念就越来越深。为了笼络胡濙为他效力，在胡濙外出期间，他下旨册封胡濙为礼部右侍郎。
然而，胡濙却让他失望了。1419年，胡濙寻找朱允炆未果，暂回京城，学习处理政务。可在京城没待多久，朱棣又催促他外出。万般无奈，胡濙只好再次启程。可是，胡濙此行的目的地却与先前不同。
3年后，胡濙匆匆回到京城，恰逢朱棣北征蒙元。得知消息后，胡濙又马不停蹄地赶往宣府，在朱棣就寝时，将他叫醒。二人在帐中长谈两个时辰，朱棣方才解除了对朱允炆多年的疑虑。纵然朱棣与胡濙谈话的内容不得而知，可在此之后，朱棣却再也未让胡濙外出。
1424年，朱棣病逝榆木川，太子朱高炽继位。当时，朱高炽对胡濙的忠心极为赞赏，欲委以重任。然而，太子府的官吏却密告朱高炽，诬称胡濙与汉王朱高煦有染。因此，在朱高炽称帝后不久，胡濙就被赶到了应天，担任国子监祭酒。
不受待见的老臣
胡濙本性忠厚本分，见朱高炽不待见他，也未抱怨，反而乐得逍遥自在。可是，数月后，太子朱瞻基却被派往应天巡视。而胡濙在应天还兼任礼部侍郎，故而与朱瞻基朝夕相处，留给朱瞻基一个非常好的印象。
不久后，朱高炽突发疾病身亡。朱瞻基赶赴北平继位后，当即将胡濙召回京城，委任礼部尚书。这位永乐时期的“外人”，洪熙时期的“闲人”，摇身一变，成了宣德朝的心腹重臣。
在朱瞻基时期，胡濙受到了极大的宠信。朱高煦叛变时，胡濙跟随朱瞻基御驾亲征，得胜归来后，又对他大加赏赐。而胡濙每年生日之际，朱瞻基总会亲自前往胡府祝寿，恩宠待遇远胜其他朝臣。
夏元吉、张本相继病逝后，胡濙又被委任兼职户部尚书。当时，大明朝经历朱棣二十余年的折腾，已经入不敷出。而在朱瞻基继位后，杨士奇、杨荣等又屡屡劝谏朱瞻基轻徭薄税，与民休息。可胡濙深知，户部早已空竭，若是继续放宽赋税，大明朝的开支用度都会成为问题。因此，在涉及民生问题时，胡濙总是与杨士奇唱反调。正是如此，胡濙成了朝中不受待见的人，他多年树立起来的良好形象也被冠以恶名。
然而，在朱瞻基眼中，胡濙是与杨士奇、夏元吉、蹇义并列的肱骨之臣。他曾直言：“大明天下能够繁荣富强，多亏了他们四人。”可见，朱瞻基对胡濙的器重。
1435年，朱瞻基病重，他将年仅9岁的皇长子朱祁镇交到三杨、胡濙和张辅的手中。当时，太皇太后张氏无条件信任五位辅政大臣，在与朱祁镇意见相左时，五大臣总会找到太皇太后张氏调和。而对于朱祁镇宠信的宦官王振，五大臣又会抓住他的过错，打压或者训斥。因此，朱祁镇自小就对五大臣非常不满。
不久后，太皇太后张氏病亡，杨荣也在当年驾鹤西去。五大臣不仅失去了唯一的靠山，还失去了耿直的内阁首辅。故而，在之后与朱祁镇、王振的权力争夺中，屡屡受挫。1444年，杨士奇的儿子当街杀人，王振借故弹劾他。内心忧惧的杨士奇唯恐祸连自身，上表请求致仕，朱祁镇当即允准。
而在杨士奇离开时，胡濙也曾上疏请求告老还乡，可却被朱祁镇当众驳回。随着杨溥的离世，胡濙与张辅在朝中独木难支，常常受到王振的打压，艰难度日。
忧郁病亡
1449年，朱祁镇不顾群臣反对，提兵50万北征瓦剌，结果在土木堡兵败被擒。当时，瓦剌兵围北平城，徐有贞等朝中大臣多主张南迁避祸，反对于谦固守京城的想法。在孙太后与郕王朱祁钰犹豫不决时，胡濙大声怒喝：
“文皇帝将皇陵迁到北平，就是向子孙表明不再迁都。如今你们这些蛊惑太后、郕王南迁的，是要我大明朝背弃祖宗吗？”
最终，在于谦与胡濙的联手劝谏下，孙太后决定不再南迁，而是立朱祁钰为帝，发起了京城保卫战。与瓦剌对战期间，胡濙不顾身体年迈，四处收拢物资、军械，为打赢这场卫国之战，立下了汗马功劳。
因此，在朱祁钰一朝，胡濙重新享受到了朱瞻基时期的待遇。大明朝也在他们手中，挽回了颓势，树立了往日的雄风。然而，胡濙越是受到朱祁钰的重用，太上皇朱祁镇就越是对他恨之入骨。
1457年，徐有贞、石亨等趁朱祁钰病重，连夜迎立朱祁镇为帝，发动“夺门之变”。当胡濙早上上朝时，发现龙椅的主人已经换了人，大惊失色。一生侍奉朱棣、朱高炽、朱瞻基、朱祁钰四位雄主的胡濙无论如何也想不到，最昏庸的朱祁镇竟然又复位了。可在木已成舟的情形下，他也无能为力，只好顺从。
朱祁镇再次掌权后，对保卫北平城的功臣宿将进行了大清洗，于谦、王文东全部遭到屠戮。胡濙自感危机重重，在朱祁镇尚未对他做出激进手段时，主动选择退让，离开朝堂这个是非之地。
由于胡濙是六朝老臣，功勋显赫，又低调朴实。故而在收到他的奏疏后，朱祁镇立刻下旨批准，并派人将胡濙送回老家，而后又将胡濙的儿子提调京城，担任锦衣卫。当时，胡濙已81岁高龄，对朱祁镇的皇位构不成任何威胁，可向来睚眦必报的朱祁镇仍旧派人秘密监视胡府，防止他心怀不轨。
1463年9月20日，胡濙对朝廷失望至极，他的心如槁木，每每在家中哀叹，泣不可言。临死前，胡濙朝北而拜，他告诫子孙，切勿趟朝廷这滩浑水，以免惹来杀身之祸。而在得知胡濙身亡后，朱祁镇却极为兴奋，在他的心中，这个幼年“欺辱”过他，青年“背叛”过他的胡濙还是死得太晚了。