1963年10月，约翰·肯尼迪在他的母校哈佛大学亲自为他的总统图书馆选定了一块2英亩(0.8公顷)的场地，并计划将它建成一个档案馆、博物馆、教育中心以及他的办公室。一个月之后，肯尼迪遇刺身亡，这一悲剧改变了整个计划，沉浸在悲痛之中的美国国民从四面八方提供支持，迅速地推进了图书馆项目的进程。肯尼迪图书馆面临的形势是美国历史上前所未有的。在它之前已存在五个总统图书馆都不在市中心，它们中没有一个试图收集整任政府所有的档案记录，而且还是在电视时代。同时，肯尼迪图书馆还面临着缅怀一个刚刚遇刺的领袖这个特殊的挑战。
肯尼迪的遗孀杰奎琳邀请来了一众著名的建筑师、设计师，来参加一个为期两天的会议，席间准备提出图书馆的建设计划，并建议如何寻找合适的建筑师。会议的第一天，大家考察了现场，并进行了分组讨论，随后在哈佛大学的罗宾楼宴请了全体建筑师(巧合的是贝聿铭联合事务所将在接下来的一周在这里办展。)次日早上，在出发到海恩尼斯港的肯尼迪宅邸之前，由所有的建筑师不记名投票提名一位候选者。贝聿铭正是六位最终候选者之一。
按照建筑师推荐的名单，杰奎琳夫人先后拜访了三位建筑师的事务所，密斯·凡德罗、路易斯·康、贝聿铭。与两位前辈大师相比，贝聿铭既年轻，又没有名气，还没有代表作。
杰奎琳首先拜访了当时名气最大的密斯·凡德罗，他高傲冷淡，甚至不屑于接这样单子，一直叼着雪茄，不紧不慢的态度几乎惹恼了杰奎琳，事后她表示永远不会再来这个鬼地方。
而另一位大师路易斯·康，他的话语是出了名的晦涩难懂，况且他的脸上还有疤，衣着打扮也显得邋遢，同样也没有能打动杰奎琳，所有希望都落在了最后一人身上，那就是贝聿铭。
贝聿铭非常渴望得到此次机会。为了获得这个项目，他作了充足的准备。
他研究了杰奎琳的喜好，重新布置了自己的建筑事务所，从桌椅摆放，到物品陈设，到鲜花安排，都按照杰奎琳的喜好重新设计、布置。不但如此，为了迎接杰奎琳，贝聿铭还精心打扮了一番自己，绅士范十足。
“那天，我事先在接待室摆了一大束鲜花，她一进来就看到了，很开心地问：“你们经常放这么美的花吗？”我老老实实地说，那是为她买的。我又告诉她，现在要我说图书馆会怎么样还为时过早。”贝聿铭这样回忆当时的过程。
很显然交谈非常愉快。即便如此，他也没有十足的把握，之后便和家人外出度假。
有人说选中贝聿铭与他在波士顿的学习生活经历有关。媒体说：初选入围的几位建筑师，在会见肯尼迪夫人时，多少都阐释了他们想要怎么设计。轮到贝聿铭，他却说，在没有勘察地点以前，自己没法给出任何概念或意见。人们猜测贝聿铭的场地、环境应是建筑先决条件的设计理念打动了肯尼迪夫人。
随着整个项目规模不断变大，原定的场地显得太过狭小，交通状况也不好，一旁还有一座大煞风景的发电站。于是，贝聿铭把目光转向查尔斯河对岸马州交通管理局(MTA)的有轨电车停车场。由于肯尼迪生前也对这块地表示过兴趣，肯尼迪的母亲于1965年向州议会提出申请，最终由联邦政府买下了这块12英亩(4.9公顷)的场地。规模扩大后，这就改为了一个更大的综合项目，不仅包括图书馆、博物馆和纪念馆，同时还有行政学院、宿舍以及社区设施等，旨在把肯尼迪图书馆建成一个生机勃勃的纪念馆。
1966年，肯尼迪夫人批准了初步的总体规划，不过由于MTA停车场迁徙的困难，整个计划一直停滞不前。与此同时，随着越战形势的日益严峻，肯尼迪家族头上的光环渐渐褪去，学生运动、种族暴动以及政治斗争使得整个社会动荡不安，本来就寸土寸金的剑桥居民十分担忧大学扩张给当地带来的影响。再加上哈佛大学对这块宝地向往多年，更想将它据为己有。对于计划本身，人们开始质疑这样短暂的一届政府，它的档案究竟能否保证质量，社区的激进分子也一直对该计划表示抗议，认为慕名而来的游客会破坏哈佛广场。1968年肯尼迪的弟弟罗伯特·肯尼迪遇刺，杰奎琳再婚，这使得本来就饱受重创的计划更加偏离了航线，贝聿铭只能在一个没有客户的真空计划里继续维持项目的进行。
1973年，图书馆的设计方案首次公开，其大体形状好似一个削掉顶的金字塔。这个设计遭到了毫不客气的批评和攻击，导致了随后一系列的缩减方案，一步一步将吸引游人的博物馆移出了校园。这样一来，建立“生机勃勃的纪念馆”的根本计划受到了极大影响。在此之后，考虑到新颁布的环境影响法，团队又考察了一系列场地，作出了一个初步设计方案。泰德·木修(TedMusho)承担了大部分的工作，因为泰德·木修“坚忍不拔，不会被任何困难压倒。”贝聿铭说，“我已经失去了士气，年复一年的心血付出换来的只有失望，我无法再继续下去了，对我来说，整个项目就是个大灾难。这本来是个多好的项目啊。”雪上加霜的是，肯尼迪总统遇刺后迅速筹集的2300万美元不断减少，严重的通胀也造成了余款的缩水。此后10年，能用在项目建设上的已经所剩无几了。
巨大的挑战摆在眼前，贝聿铭召集了他最老练的手下，从设计到施工只用了短短三年就完成了项目。贝聿铭将图使馆的选址移到哥伦比亚角更远端的一个垃圾填埋区，这里的水位很低，不受潮汐影响，也不受垃圾腐烂产生的沼气影响。建造时还特别加高15英尺(4.5米)来避开污水管道。在这个新的高地上的建筑分层设计。博物馆设在地下，图书馆和纪念馆在地上，与周围马州大学笨拙的砖楼和其他住宅形成强烈反差，自成一体。在这里，远离哈佛大学，远离一切政治纷争，有的只是水河开阔的天空。贯穿这个项目的挑战，在于如何用现代但又经得起岁月考验的手法来纪念这位年轻的总统。在设计当中，不能借鉴如林肯纪念堂等历史范例，也就是不能再新古典主义风格的纪念厅前置纪念像，杰奎琳夫人也曾强调不要放任何总统半身像。
整个建筑分为三个部分：一座10层的塔楼，里面有图书馆、档案馆和办公室；地下博物馆上方是一个二层高的基座，内有两个300座的剧场；还有一部分是一个整体110英尺(33米)高的纪念厅。参观者观看一段关于肯尼迪生平的影片，后下行至展览馆，参观肯尼迪家族及政府的纪念册和照片。从这个较昏暗的空间，参观者上行到光线充足的纪念厅。厅里只有一面向上高悬的星条旗，向外望去是静谧的碧海蓝天。对此，贝聿铭解释道，“空旷就是纪念馆的精髓，刚看过展览的人们已经不需要再看再听，他们想要的，只是寂静。他们的思想感情的激荡成就了整个纪念厅。”刻在墙上的，是肯尼迪就职演说里的一段话：“凡此种种，不会在最初的一百天中完成，也不会在最初的一千天中完成，不会在本届政府任期中完成，甚或也不能在我们活在地球上的毕生期间完成。但让我们从现在开始。”1979年，在长达15年的建设后，这一段话也萦绕在肯尼迪纪念馆的落成典礼上，似乎是专门为这座建筑而生。