历史研究所图书馆是一个以收藏中国古代史文献资料为主的专业图书馆。上个世纪50年代，它随同研究所的创建而设立，迄今已有近60年历程。张云飞、李学勤、曹贵林、武新立、王玉欣、罗仲辉先后担任馆长；现任馆长袁立泽副研究馆员，另有副研究馆员2人、馆员2人、助理馆员3人。
作为辅助科研的基础部门，图书馆工作始终坚持为科研服务原则，不断改进服务功能，提高服务水平，在全所同仁共同努力下，馆藏条件逐步改善，馆藏规模日益扩大，馆藏特色臻显成熟，无论藏书数量，还是藏书质量，在国内史学专业馆中均位居前列。除为我院和本所科研人员提供文献服务保障外，本馆每年还接待数以百计的国内外交流、访问的专家、学者及进修人员，为研究所对外学术交往增添了活力，在学界享有较高知名度。
2002年，本馆迁入新建院图书馆大楼内，藏书及服务条件明显改善。馆藏文献资料主要分布于新图书馆大楼的9层、11层和12层。主要分为珍善本古籍、普通古籍、中文图书、西文图书、综合工具书、特藏文献。图书馆现辟有4个阅览室，1个出纳室，1个采编室。阅览室包括综合阅览室、善本阅览室、特藏阅览室和期刊阅览室。
截至目前，本馆藏书约60万册（件），其中线装古籍25万余册，普通中文图书20余万册，外文图书约8万册，契约文书、金石拓片等约2万册（件），中外文期刊约5万册。已入藏文献品类丰富，特色突出，诸如古籍珍善本、古籍方志、古籍丛书、古籍家谱以及徽州文书等方面的文献均具有一定的收藏规模和珍贵品种。
馆藏线装古籍藏量可观，门类齐全，含括经、史、子、集、丛、志等各大部类，尤以史、集、丛部为重。其中馆藏珍善本3,800余种，约5万册，专辟珍本书库、善本书库及阅览室，负责保存这批珍贵的文献资料，同时提供相应的阅览服务。
除拥有一定数量的宋、元、明及清初刻本外，还有各种稿本、精抄本、名家批校本、收藏本。其中刻本以明刻本和清初刻本居多。明刻本中有明代各朝的内府写刻本、经厂本、藩府本、中央各部院和府州县等地方官府刻本、坊刻本、家刻本、寺庙刻本、南北两监和府县儒学刻本，以及雕锓印造精美的汲古阁刻本和湖州闵氏三色、四色套印本。这些刻本有的不见于通行书目著录，有的传世极少，世所罕见。如明万历刻本袁子让《五先生文市榷酤》、明宫廷藏品《三教宝善卷》，以及清初马图所绘《高宗巡幸滦阳图》、清咸丰间江西永新县颜氏家刻本《颜山农集》等，均为传世孤本，史料价值和版本价值极高。又如清初刻本中的精品，清世祖《御制圆明园诗》和清圣祖《御制避暑山庄诗》，均为乾隆殿本，朱墨双色套印，每景一诗一图，俊艳秀丽。连同康、雍、乾三朝其他殿版图书，雕印极为精美，代表了当时雕板印刷技术的最高水平。
我馆所藏抄本中有一批精抄本，如明抄本《遗山先生诗集》，书中有清道光时钱仪吉的手笔题记和“仪吉”印记，还有“文宾日”、“文棪”、“唐白虎”、“文休承印”、“文嘉之印”、“文彭之印”等28方印章。清鲍廷博手抄本（元）邓文原《巴西文集》。作为四库全书底本的清精抄本（汉）许慎《说文解字》和（宋）郭祥正《青山集》，以及四库全书校本（元）吴澄《临川吴文正公集》。明毛晋抄本《灵台占》，钤有“汲古主人”、“子晋”、“毛扆之印”、“斧季”等印记。还有清抄本明末清初毕振姬的十二卷《西北之文》，以及世无刻本的（清）张宸《平圃遗稿》等。
名家批校本有（清）何元锡批校的（明）徐一夔《始丰稿》、（清）孙星衍校勘的（唐）颜真卿《颜鲁公文集》、（清）彭元瑞校点的（唐）刘肃《大唐新语》等。名家收藏本有（宋）阮阅辑、（明）程珖校的《增修诗话总龟前集》、《后集》，不仅钤有“济南王士祯”印1方，还有佚名朱墨兰紫四色校补评点。（宋）曾巩辑《类说》一书，钤有清人冯登府“石经阁”和“冯十一伯章”印2方。
在善本阅览室，还收藏有我所已故明清史专家谢国桢先生的捐赠藏书，包括线装古籍近10,000册，碑帖、画像石拓、古砖和瓦当拓片1,200多种。著名版本、目录学家顾廷龙先生曾为之题写室名“谢氏瓜蒂庵藏书室”（现存善本阅览室）。谢氏所藏古籍以明清杂史、笔记史料居多。其中部分古籍，根据谢先生生前意愿，经选编后，冠以“瓜蒂庵明清掌故丛书”之名，由上海古籍出版社陆续出版。
此外，馆藏还有已故著名史学家侯外庐、熊德基、杨希枚3位先生捐赠的各类书刊21,000多册，其中线装古籍近500种，17,000余册。
特藏阅览室及特藏库收藏了古籍丛书、方志、家谱及徽州文书、民国期刊、金石拓片等特色文献，同时提供相应的阅览服务。其中馆藏古籍丛书1,000余种，在专业图书馆中，堪称首屈一指。宋元以来相当一批较为有名的大套丛书，均有收藏。如《百川学海》、《说郛》、《津逮秘书》、《汉魏丛书》、《古今逸史》、《昭代丛书》、《学海类编》、《正谊堂全书》、《学津讨源》、《古香斋丛书》、《知不足斋丛书》、《海山仙馆丛书》、《惜阴轩丛书》、《宜稼堂丛书》、《武英殿聚珍版丛书》、《清麓丛书》、《粤雅堂丛书》、《广雅丛书》、《聚学轩丛书》、《十万卷楼丛书》、《适园丛书》、《古逸丛书》、《诵芬室丛刊》、《郋园全书》、《求恕斋丛书》、《嘉业堂丛书》、《汉学堂丛书》、《玄览堂丛书》、《四明丛书》、《金华丛书》、《吴兴丛书》等。
馆藏古籍家谱1,000余种，其中800余种收入《中国家谱综合目录》，全部藏品已收入上海图书馆编纂的《中国家谱总目》。入藏家谱中，江苏地区300余种，浙江地区200余种，安徽地区150余种，3地合计超过700种，占馆藏家谱七成以上；涉及省区10余个，姓氏近200个。藏品中不乏明代和清初刊印者。如明刻《十万程氏会谱》、《率东程氏家谱》、《休宁率口程氏续编本宗谱》、《歙西岩镇百忍程氏宗信谱》等，为了解晋代程元谭后裔的江南各支派，特别是徽州歙县、休宁程氏支派的发展历史提供了完备而系统的历史资料。另外，有些家谱存本传世已较为稀少，其内容则涉及一批明清以来重要人物的生平学行及其家族传衍情况，如民国刊刻的《毘陵庄氏族谱》，详细记载了清代著名学者庄存玙、庄述祖的家族资料，是研究清代公羊学难得一见的重要史料。
馆藏古籍方志约2,000种，属明清善本即有近200种，包括10余种较为珍贵的明刻本、170余种清乾隆以前的刻本以及少量抄本，较为罕见的有《隆庆临江府志》、《崇祯清江县志》、《康熙济源县志》等。
馆藏金石拓片3,000多件，绝大多数为北京地区从唐宋时期到民国年间各类石刻拓片，是研究北京地区历史的重要史料依据。
我馆藏品中有一大宗为古代徽州地区的地方档案，统称“徽州文书”。徽州文书乃继甲骨文、简帛、敦煌藏经、明清档案之后，被称誉为20世纪中国文献史上的“第五大发现”。目前馆藏徽州文书14,000余件（册），在全国公藏单位中藏量居前。这部分文书资料既有民间的，也有各级官府的；既有散件，亦有簿册。其中散件有土地、山林、河塘、水道、房屋、耕牛、坟地、田皮力坌的买卖、租赁、典当、对换、转让等契约，有银钱、器物的借贷归还收领字据，还有雇佣、承役、继嗣合同、卖身、投主应役、伏罪甘罚文约，保产合文等。簿册类则有收租簿、置产抄契簿、家庭收支帐、宗祠祭祀簿、婚嫁丧葬帐、分家文书、族规家法等。官府文书有各级官府颁发的契尾、税单、归户单（册）、由单、公文、政令和诉讼传票、拘票、审单、判词等。
馆藏徽州文书中的珍品有，我国传世最早的户籍凭证——明洪武四年（1371年）由户部颁发的户帖，永乐间由府县衙门颁发的垦荒帖文。在簿册类中，有由各级官府攒造的鱼鳞图册（含总图和清册）、田土号簿、归户册、黄册底籍、钱粮实征册、田户亲供册等。其中《元代至正年间祁门十四都竹字号鱼鳞册》是明太祖朱元璋登基前委派官员在徽州地区清丈土地所攒造的鱼鳞图册。据专家考证，当属迄今传世最早的鱼鳞册。我馆所藏之徽州文书不仅数量大、种类多，而且屡经整理，已成系统，为研究我国古代政治史、经济史、文化史、宗族史、法律史、社会史、地方史、区域史，以及人口迁徙、民俗变化、地理沿革等学术课题，提供了极其宝贵的原始资料。
为配合和推动科研工作的开展，更好地为科研人员提供高质有效的服务，近年来，全馆同仁在坚持做好日常馆务工作的同时，还投入人力对馆藏历史文献进行系统整理和开发。迄今已编写了历史研究所图书馆《馆藏地方志目录》、《馆藏徽州文书类目》、《馆藏善本书目录》。目前正在编写《馆藏家谱目录》、《馆藏期刊目录》、《馆藏金石拓片目录》、《谢国桢瓜蒂庵书目》等。