大学图书馆是知识的宝库，人们把图书馆喻为大学的“心脏”、大学生的“第二课堂”。高水平的教师队伍、先进的实验设备和现代化的图书馆被称为现代化大学的三大支柱。因此，高校的各级领导都十分重视图书馆的建设和发展。
校图书馆是在原哈军工图书馆、海军工程系资料室、哈船院图书馆的基础上逐渐发展壮大起来的。
哈军工时期，在学院领导的大力支持和关怀下，图书馆得到迅速发展。陈赓院长在接待我国驻外大使馆武官时，请他们代图书馆采购国外最新的科技书刊资料。刘居英副院长出国访问时，参观了国外许多军事院校图书馆，返院后向图书馆员介绍国外图书馆的管理模式等情况，使馆员们大开眼界并深受鼓舞。到60年代初，哈军工图书馆有工作人员53人，中外文藏书57万多册，中外文期刊2400多种，建成具有相当规模的大型高校图书馆。
但是，正在高速发展的哈军工在国家专业调整和分建政策的影响下，图书馆的藏书体系和数量受到很大影响。1960年6月，分建工作陆续开始，炮兵工程系迁往武汉，成立炮兵工程学院，后来迁到南京，即现在的南京理工大学；装甲兵工程系迁往西安，成立装甲兵工程学院；工兵工程系迁往西安，后又迁往南京，现为中国人民解放军陆军工程大学工程兵系等。由于异地分建，各自带走一定数量的专业书刊资料，使哈军工图书馆书刊资料大幅度减少。
在三个系调整和分建后，哈军工又新建三个系，即原子工程系、电子工程系和导弹工程系。针对新建系的专业需要，图书馆又购置大批新的书刊资料，建立起新的专业化藏书体系。
然而，在其后的南迁过程中，刚兴盛起来的图书馆藏书受到巨大影响。预计南迁的各系（包括海军工程系）总计只挑选20多万册书刊资料，一部分教师经批准挑选少量书刊资料自己保存，还剩下30多万册书刊资料无人挑选，全部当作废纸廉价卖给造纸厂，大批宝贵的文献资料毁于一旦。
经上级主管部门批准哈尔滨船舶工程学院在原址就地办学后，图书馆在原海军工程系资料室的基础上，加上从哈军工图书馆选留的7万余册图书、期刊、科技报告、内部资料等开始筹建。1971年经学院批准成立图书资料组，分为图书室和情报资料室两个部分，划归学院训练部领导。蒋旦明同志任图书资料组组长兼党支部书记，郭爱忠同志任副组长，负责图书室的筹建工作。
图书室位于31号楼，分布在二楼和五楼，总计使用面积600多平方米，有阅览座位80个。筹建初期，图书室工作人员由2人逐渐增加到13人。1972年增加到16人，1975年正式职工增加到24人，其中具有大专以上学历的16人，图书馆的业务工作开始走向正规化、标准化和规范化的道路。
学院领导十分重视图书馆的藏书建设，70年代到80年代初，学院对购书经费不做限制。当时采购图书资料不但要满足图书馆的藏书需要，还要为各系资料室调配图书和中外文期刊。
1972年第一批学员入学后，图书馆馆舍无法满足办学需要。1973年7月，图书馆扩大到11号楼，将3楼和4楼的一部分教室改为书库和阅览室，使用面积约1600多平方米。31号楼只保留5楼的400多平方米大厅作为保存本书库，兼做教师阅览室，图书馆的使用面积总计达到2000多平方米，有200个阅览座位。
随着图书馆规模的不断扩大，陆续在11号楼增加一些教室作为图书馆的书库和阅览室。将11号楼4楼中间的走廊和过厅全部封闭，变成辅助书库和借书处，将11号楼地下室的四个大房间划给图书馆作为辅助书库。经过多次调整和改造，图书馆的使用面积达到3500多平方米，阅览座位增加到400个。
1975年6月，图书馆名称由筹建初期的图书资料组图书室改为图书馆，成为独立的处级单位。随着馆员人数的增加，馆员学历结构和知识结构的改善及业务水平的提高，图书馆的管理水平和服务水平也不断提高。
1983年12月成立图书馆党总支，图书馆组织机构的升级为图书馆的发展奠定了组织基础。
图书馆新馆总投资1224万元，建筑面积11240平方米，11个阅览室，1100个阅览座位。图书馆新馆在当时是我省高校图书馆中建筑面积最大、建设标准最高、现代化水平最高的大学图书馆。
图书馆新馆不但解决了阅览室和书库的问题，还购置了大批现代化设备。在此基础上，建立了集体视听室兼学术报告厅，听音室，录音、录像资料阅览室和缩微、幻灯资料阅览室。当时，我校图书馆的现代化水平进入省内一流和全国高校图书馆的先进行列。
办馆条件的改善为图书馆自动化和网络化奠定了基础。从1991年起，图书馆开始《哈尔滨工程大学图书馆自动化管理系统》的研制项目，此项目是我馆自行设计研制的微机局域网集成系统。该项目于1995年11月29日通过黑龙江省教委的科研成果鉴定，获黑龙江省教委1995年科技进步二等奖。该系统软件曾被本市二所大学和本省六个县（区）图书馆采用。
新馆建成后，图书馆努力开拓读者服务的新途径和新领域，开展了参考咨询和情报服务，为科研课题提供情报调研和定题服务；为科研课题组提供题录、文摘和综述报告；根据科研课题需要，编制专题目录、索引；承担校内外专利申请咨询、检索和专利代理工作；为新生开设《如何利用图书馆》讲座；为研究生开设《文献检索与利用》选修课等。
1997年7月，经国家计委批复，我校成为“211工程”首批立项建设的61所高校之一。《图书馆文献信息服务系统》是我校“211工程”“九五”期间立项建设的子项目之一，总经费424万元。通过“211工程”项目建设，图书馆不但提高了自动化、数字化、网络化水平，而且增加了馆藏文献数量，提高了馆藏质量。我校图书馆收藏的船舶工程技术类文献资料在我国同行业图书情报单位中具有历史久远性、权威性、系统性和完整性的特点，具有鲜明专业特色，使我校图书馆成为船舶工业系统北方地区文献信息中心。同时，还建成《哈尔滨工程大学科技查新中心》，它是经上级主管部门批准的国家二级科技查新机构，为校内外科研人员的科研立项、成果鉴定和报奖提供科技查新服务；改进和完善图书馆自动化管理和服务系统，全部图书开架借阅，实现借还书和书目检索自动化和网络化；建成多功能电子阅览室和光盘网络检索系统；购入20多种国内外光盘数据库和网上数据库；自建5个特色专题文献数据库；实现12000余种中文期刊全文数据库和3万多种中文图书全文数据库的校园网内资源共享。
2009年建成的又一个图书馆新馆使我校图书馆进入更加辉煌发展时期。新馆建筑面积5万平方米，阅览座位5000个，馆藏文献300多万册，尤以船舶工程、海洋工程、核科学等学科领域的文献见长。中外文全文电子文献数据库达到60多种，其中中外文电子期刊数据库包含5万多种全文期刊，中外文电子图书数据库包含100余万册全文图书，中外文学位论文数据库包含700多万篇学位论文。