金幼孜为建文二年（1400年）进士。后被授予户科给事中。
永乐年间
明成祖即位后，改任翰林院检讨，与解缙等人一同入值文渊阁，再升为侍讲。当时，翰林院和坊局之臣在东宫讲书，都先要准备所讲的经义，由阁臣阅正后，呈皇帝批览，然后才得进讲。解缙讲《尚书》，杨士奇讲《易经》，胡广讲《诗经》；金幼孜讲《春秋》，借此呈上《春秋要旨》三卷。
永乐五年（1407年），金幼孜升任右谕德兼侍讲，明成祖并传谕吏部，说在内阁当值的胡广、金幼孜等人已任满，不要改作他任。永乐七年，金幼孜随从明成祖到北京。第二年北征，金幼孜与胡广、杨荣随行。銮驾驻扎在清水源，有泉水涌出。金幼孜献上铭，杨荣献上诗，明成祖都以最高等级给予慰劳。明成祖敬重金幼孜的文学才华，所过山川要害，总命他加以记载。金幼孜就在马鞍上当场起草。使者从瓦剌来，明成祖召金幼孜等人傍车舆而行，谈论敌方之事，对他很亲信和倚重。
金幼孜曾与胡广、杨荣和侍郎金纯迷路陷在山谷中。天黑时，金幼孜从马上掉下来，胡广、金纯去而不顾，杨荣为他结鞍再行，走了一会儿金幼孜又掉下来，杨荣便将自己的马让给他骑，第二天才到达行在。那个晚上，明成祖派出十几名使者追寻杨荣和金幼孜，但都没有找到。他们回来后，明成祖非常高兴。此后每次北征，金幼孜都随从，他还写下了《北征前录》和《后录》。永乐十二年，金幼孜受命与胡广、杨荣等人编纂《五经四书性理大全》，升为翰林学士。永乐十八年，金幼孜与杨荣一起升为文渊阁大学士。
永乐二十二年（1424年），金幼孜随从明成祖北征，途中士兵疲惫，明成祖向群臣咨询对策，没有人敢回答。只有金幼孜说不宜深入，明成祖不听。到达开平时，明成祖对杨荣、金幼孜说：“朕梦见神人两次说上帝好生，这是什么兆头？”杨荣、金幼孜回答说：“陛下此举，固在于除暴安民。但火烧昆仑，玉石俱焚，望陛下留意。”明成祖同意他们的意见，当即命他们起草诏书，诏谕各个部落。军队回到榆木川时，明成祖逝世。中官马云等人不知所措，只能与杨荣、金幼孜进入御幄商议。两人则称，部队现在在外，离京师尚远，应该秘不发丧。以礼入敛、熔锡为椑，载置于舆中。而每日的进膳则如常，但日益严厉军令，使人无法预测。杨荣到京师报丧，金幼孜护梓宫返回。
洪熙、宣德年间
明仁宗即位，金幼孜被任为户部右侍郎兼文渊阁大学士。不久加封为太子少保兼武英殿大学士。同年十月命金幼孜、杨荣、杨士奇在承天门外一起审查并记录囚犯的罪状。明仁宗还下诏给法司，审查重案囚犯必须会同这三位学士一起办。明仁宗御临西角门阅览廷臣的制诰，对三学士说：“你们三人和蹇义、夏原吉两位尚书，都是先帝旧臣，朕正靠你们来辅佐。朕曾见前代君主不喜欢听直言，虽是一向所亲近的人，也因为惧怕君主之威而顺从君主的旨意，缄默不言以讨好君主。贤良之臣，所言不被采纳，便会退而闭口。朕与诸位爱卿应当引以为戒。”金幼孜等人叩头致谢。洪熙元年（1425年），金幼孜升任礼部尚书，仍兼大学士、学士，并支给三职俸禄。金幼孜不久请求回家探母。第二年，他母亲去世。
明宣宗即位后，诏令金幼孜出来任职，修撰明成祖、明仁宗两朝实录，充任总裁官。宣德三年（1428年），金幼孜持节到宁夏，册封庆府郡王妃。他所经过的地方，都询问士兵和百姓疾苦，回来后上奏明宣宗，宣宗都嘉许并采纳了。不久随从明宣宗巡边，经过鸡鸣山时，明宣宗说：“唐太宗仗着其英武征辽时，曾经过此山。”金幼孜回答说：“太宗不久便后悔这一战役，所以修建了悯忠阁。”明宣宗说：“此山在元顺帝时崩塌了，成为元朝灭亡的征兆。”金幼孜回答说：“顺帝是亡国之主，就是山不崩，国家也一定会灭亡。”宣德六年十二月（1432年初），金幼孜去世，终年六十四岁。追赠少保，谥号“文靖”。
金幼孜为人平易，沉默寡言，心胸开阔。虽很受皇帝宠信，但他自己更加谦虚。他给自己起居之室命名为“退庵”。他病重时，家人嘱咐他请求身后之恩，但金幼孜不听，说：“这种做法是君子所耻的行为。”
著作
著有《北征录》及《后北征录》。后人集其遗文辑成《文靖公全集》。