今青岛市市区，春秋时期属即墨邑，秦代为即墨县。西汉设不其县，辖境与今青岛市区基本一致。隋代撤不其县，复归即墨县辖。
明代在即墨境内设鳖山卫，下辖浮山所。所城在今青岛市市南区东部，辖今市南、市北一带。
1891年清廷决定将登州镇总兵衙门移置青岛口(总兵衙门相当于今省军区)，这一年是青岛建置之始，青岛口形成市镇。1897年德帝国主义派兵强占青岛一带，1898年清政府与德政府签定《胶澳租借条约》，将胶州湾及周围土地，附近岛屿划为胶澳租借地，也称胶澳租界，也误称为胶州。
胶澳总督府于1899年开办胶州图书馆，中国古代有藏书楼，胶州图书馆是中国第一个图书馆。1914年，日本帝国主义借第一次世界大战之机强占青岛，胶州图书馆停办。为”誓死挣回青岛”，1919年爆发了”五四”爱国运动。
1922年12月10日中国政府收回青岛，北洋政府建胶澳商埠，由山东省长熊炳琦兼任胶澳督办，1923年由高恩洪(定庵)接任胶澳督办，公布《胶澳商埠公立通俗图书馆募集图书公启》，筹建图书馆。
1924年8月，胶澳商埠公立通俗图书馆开馆，地址在莒县路2号（见照片），创办经费5，580元，有藏书室2间，阅览室l间，管理员2人，杂役1人。1925年，下设讲演所。
1925年至1928年，每年经费2，020元。至1928年累积藏书5，000册。
1929年4月，南京国民政府接管胶澳商埠，改称”中央”直辖的青岛市，胶澳通俗图书馆停办，原址做国民党青岛市党部图书馆。
1930年6月，青岛市立图书馆在河南路开馆。
1937年7月7日，日本帝国主义制造卢沟桥事变，从而开始了全面侵华战争，占据平津后，即将渡过黄河。国民党政府在蒋介石”不抵抗”指示下，决定放弃青岛，青岛市立图书馆于1937年11月停止开放，少量珍贵图书撤至后方。1938年1月10日，日本帝国主义第二次占据青岛，1月17日成立汉奸组织”青岛治安维持会”，接管原青岛市立图书馆。
1939年7月，在伪教育局领导下伪青岛市图书馆开馆，开馆之前对原有馆藏中涉及抗日等爱国图书、杂志尽行销毁，伪馆开馆时共有各类图书一万二千余册。办理借书证仍采取保证书及押金两种方式。因敌伪统治下，青岛只有一份《青岛新民报》，又无杂志，阅览室基本没有报刊，只维持图书外借。
1945年8月15日日本帝国主义投降。1945年12月20日青岛市立图书馆在莒县路2号复馆，开馆之前销毁一批敌伪图书。
1946年12月，青岛市立图书馆设总务、阅览、采编三部，馆长1人，工作人员9人，杂役2人。馆舍三层，一楼有阅览室三个:报纸阅览室、杂志阅览室、儿童阅览室；二楼有书库、借书处、采编部；三楼为馆长室、总务部。报纸阅览室有报纸14种，一半为本市出版的报纸。杂志阅览室仅订有8种，另有赠送的杂志。已分类、编目、上架可供读者借阅的图书10，352册，其中(按《王云五中外图书分类法》)总部350册，哲学475册，宗教276册，社会科学2，475册，政治473册，自然科学768册，应用科学479册，艺术153册，文学2，976册，史地1，927册；未编目图书3，748册，系从敌伪机关接收的图书。
自1947年下半年，市立图书馆取消了购书经费，只发工作人员工资。
1948年，市立图书馆报纸阅览室只有本市报社赠送的6种报纸，而其它报纸没有经费订阅，平均日阅览人数仅为20-30人，平均借书人数仅为5一10人。
1949年市立图书馆已奄奄一息，采编部无钱”采书”，无书”分编”，借阅部基本没有读者。
1949年6月2日青岛解放。青岛市军管会立即派人接管了青岛市立图书馆，原有工作人员全部留用。1950年奉上级指示改称青岛市人民图书馆，迁至广西路14号(见照片)，扩大了馆舍、新购图书、订阅报刊，接管了原兴亚院图书馆馆藏日文图书，其中有日本政治、经济、科技、文学著作，包括《世界艺术大全》、《大百科事典》等大型图书，日译的中国名著，包括《三国志》、《大鲁迅全集》，也包括日本人著的《胶州湾》、《胶州湾详志》等图书，以及兴亚院对中国进行情报调查的资料，有铅印本，也有油印本。接收了原国际俱乐部图书馆藏外文图书，以英文书为主，间有法、德文图书，主要为各国著名文学作品，也有《韦氏大词典》等工具书。图书馆为解决人员不足，在社会上征集业余服务员，每人每周一天到图书馆从事借阅服务、装订报刊等工作。
1950年举办了”鲁迅生平?著作”大型展览，以照片、图片、图书、文字介绍鲁迅生平，展出鲁迅著作各种版本，包括中文的解放前、解放区、解放后各时期版本，日、俄文翻译本。众多大中学生、干部、市民参观。
市政府拨栈桥回澜阁给市图书馆，在阁内开办了报刊阅览室并陈列时事图片，一个新型的社会主义图书馆展现于青岛。
1953年，奉上级指示改称青岛市图书馆，迂至鱼山路37号(见照片)。鱼山路37号是1937年建的红FE字会青岛分会旧址，前楼为罗马式建筑，中院为仿孔庙建筑，后楼为伊斯兰式建筑，实用面积达2，200平方米，有优美的庭园花木，雇有专门的花匠在温室培养花木，管理庭园花木。
为适应社会发展的需要，旧的图书分类总已不适用，青岛市图书馆组织人员编制了《青岛市图书馆图书分类法》，自编图书分类法在全国极为少见。
1953年举办了第一届全市图书馆专业培训班。
市委、市政府下达专项文件，指示各机关、团体、学校中所藏1949年解放以前图书全部上交市图书馆，半年间收到各类图书二万余册，其中中文平装书一万余册。对于当时政治形势下认为”黄色”的武侠、言情、侦探等通俗文学作品，每种保留一册(后交市文化局，含王度庐、刘云若、还珠楼主、张恨水等作品)，其余销毁。其它则存于市图书馆。在知识分子改造、社会主义教育中，社会上掀起捐献图书给国家的热潮，如岛城著名藏书家的张公制、郑爰居、张铮夫等捐献了许多珍善本古籍线装书，赵尔巽、赵琪等后人也捐献了图书。1949年6月2日青岛解放时，市图书馆没有一本古籍线装书，到1953年底已达11万册。1955年，青岛市召开了第一次全市图书馆工作会议，各级各类图书馆代表一百余人参加了会议。
由于这些突出成绩，青岛市图书馆被评为全市、全省先进单位，光荣参加了建国以来第一次也是唯一一次中央召开的教科文卫”群英会”，受到了党和政府中央领导人的接见，先进事迹刊于全国性刊物《图书馆》杂志。
1963年北京大学图书馆学系开设函授教育，青岛市图书馆承办青岛函授站，这是当时青岛唯一的大学教育函授班，市图书馆有3个人录取学习，1人毕业。1963年正式建立了藏书组织和目录组织，建立了一整套的互动式目录，印刷了书本式目录。这一年建立了内部资料阅览室，在采购工作、借阅工作中从单一图书向产品样本、标准、报告等特殊资料发展，建有相应目录。
为青岛化工业生产、胶济铁路新站建设等提供了文献资料，在青岛刺绣工业、服装工业、制鞋工业生产中提供了文献，发挥了作用，受到多次表扬。在市委书记张敬焘直接指示下，青岛市文联、市图书馆、市文化馆和工人文化宫联合组织了”每周一讲”，请本市著名学者、专家作报告，并利用全国文人来青休假、开会时请其做报告，一般在工人文化宫举办，参加人数多时则在市政协礼堂。先后请文学家王瑶、孙昌熙、史学家萧涤非、黄公诸、电影演员祝希娟等人做讲座报告，历时两年，共进行五十多次，是当时青岛市一道文化大餐。1965年年底，全馆藏书共达70万册。
1966年6月文化大革命开始。1966年8月开始”破四旧”，停产闹革命，90%图书停止开放，大部分被捆绑堆放。除毛主席著作、鲁迅著作、当时报纸外，一律停止开放。市图书馆建筑上的”四旧”被拆除。部分解放前图书被焚烧。年底，大部分工作人员进京串连，工作中止。
1967年3月青岛市革命委员会成立，青岛市图书馆革命委员会于5月成立，开放借书处、阅览室，主要是学习和大批判，因除毛主席著作外，没有什么书可借阅。
1967年4月馆藏解放前报纸全部移交市档案馆。为配合一次又一次的大批判，编印一些宣传材料。1973年恢复部室，一部分图书开始恢复借阅，报刊品种也有增多。1974年组织全市图书馆双网。一是图书馆协作网，由市图书馆牵头，包括海洋学院、化工学院、建工学院三大院校图书馆及中国科学院海洋研究所、黄海水产研究所等大型图书、资料室。二是基层图书馆网，除中学图书馆网、中央驻青单位图书馆网外，分工会网、情报网。工会网，按专业局建有纺织局、机械局、一轻局、二轻局、化工局、港务局、水产局、仪表局等8个工会图书馆网，仪表局、化工局、纺织局等3个情报资料室网，入网图书馆达136座。
市图书馆与市总工会、市教育局每年对图书馆网有计划、有总结、有评比。各网每月活动一次，互帮互学，使青岛市基层图书馆工作迈入一个新阶段，先后有三十几个市的基层图书管理员来青岛参观学习。与此同时，市图书馆先后组织了5期图书馆业务学习班，参加培训的图书馆专、兼职管理员223人次。
青岛市图书馆藏书由于历史的原因采用了多种不同的”分类法”，古籍线装书采用山东省图书馆古籍分类法，外文图书采用中国人民大学图书馆分类法，早期中文书采用青岛市图书馆图书分类法，1966年后中文书采用中小型图书馆图书分类法。为统一分类方法，1975年起开始启用中国图书馆图书分类法，采用种次号取代四角号码著者号，又开始陆续将原有馆藏改用中国图书馆图书分类法。
1976年党中央一举粉碎了”四人帮”，党的十一届三中全会以后拨乱反正，青岛市图书馆同全国一样进入一个新时期。1978年对全馆部分藏书进行了清点，这是建馆后的第二次图书清点。同时进行了”剔旧”，剔出破旧、过时旧书。1978年底，市图书馆共有藏书72万册，其中线装古籍13万余册，外文图书4。7万余册，中外文期刊1.64千余种。全馆正式工作人员44人，分行政组、采编部、借阅部、科技服务部、参考辅导部。科技服务部继承市图书馆为生产、科研服务的传统。党的十一届三中全会提出以经济建设为中心，科技部坚持下厂、下科研单位，为北海船厂、青岛化工厂等解决多项生产、科研、项目。
1958年开始建立的青岛地方文献在拨乱反正以后重新恢复，除原有解放前的中外文地方文献、地方期刊外，大批日占时期满铁、兴亚院、山东产业馆等调查资料划入地方文献书库，编出《青岛地方文献管理条例》。这期间，编印了《清史稿人名索引》、《青岛大事记(1949-1979)》、《青岛地方文献目录》等重要出版物，受到专家、学者好评。在青岛市地方志编篡全面开展以后，以上方面工作起了重大作用，如港务局寿扬宾同志到馆查阅上百次编写出版了《青岛海港史》地方文献，也为青岛市志各分志的编篡做出重大贡献，受到表彰。
法国、日本老舍研究者到馆查找过有关文献。为编辑出版《老舍文集》、《孟超文集》，老舍女儿舒济、孟超女儿孟博均来抄阅侠文(当时尚无复印机)，三十年代诗人沈旭来馆查阅《青岛邮工》。许多大学教师到馆查阅旧期刊。做为公共图书馆，地方文献工作是不可替代的重要工作，事实做了说明。
1978年山东省图书馆学会成立，青岛市图书馆馆长当选副会长，辅导部主任当选为副秘书长，此后几届换届中大多循此例。1981年我国的专业职称评定工作开始启动，图书资料系列与会计系列首先试点。青岛市图书馆评出副研究员1人，馆员6人。图书资料职称初级评委会办公室设于市图书馆，仪表局等开始评定职称，经过半年试点，中央决定暂停进行整顿。
1993年图书馆为进一步收集地方文献，更好地为青岛建设服务，安排专人在全市各行业收集地方文献。令人高兴和鼓舞的是许多人，包括作家、学者给予积极的支持。著名诗人纪宇的每一种诗集都主动送给市图书馆，他慷慨地说:”我只剩一本也给你们!”著名散文诗作家耿林莽找齐了他已出版的作品送到图书馆，作家梁修的长篇小说《夜潮》自己已无收藏，把赠送他人的一本要回来，交由市图书馆收藏。姜宝星先生也在病中将他印数不多的《姜宝星画集》托人辗转捐到市图书馆。不少学者、教授们称市图书馆做了一件”功在当今，利在后世”的大好事。地方文献收集工作得到社会各界的支持，使其发展为一定规模，发挥了她极大的作用。我市各行业史志编篡者有不少人来馆利用这些地方文献，近几年又完成了《商业志》、《旅游志》、《社文志》、《民政志》等志书出版工作。
l995年市图书馆举办了”青岛地方文献展”，引起社会很大反响。至此，市政府史志办开始将他们收藏的各地方志和我市63种方志送到图书馆，进一步充实了地方文献，深受广大读者欢迎。
在为本市广大读者服务的同时，进一步加强与单列市馆和对外交流。多年来15个副省级图书馆互通信息，交流学习，汲取各馆长处，发展自我。1995年始全国政协委员、香港爱国人士石景宜先后两次为我馆捐书达8，000余册。日本民间组织花甲协会先后为我馆赠书八次，达2，398册，内容包括政治、经济、历史、文化等。2000年青岛市图书馆领导做为我市教育考察团成员去日本考察学习，参观了考古博物馆、彦岛图书馆、下关市立大学、商业学校、图书馆以及市民会馆等多所单位，带回了先进的工作经验和方法。
图书馆在做好馆内读者服务的同时，对外开展了科技项目跟踪服务，为科研工作提供前期劳动。为偏远地区送书和为部队送书也是图书馆力争做好的一项工作。十多年来，充分发挥图书流动车的作用，拓展服务领域，缓解馆舍拥挤的矛盾，他们坚持以书为桥，服务社会的宗旨，在全市建立了33个固定服务点，包括政府机关、企事业单位、社会福利院、劳教所、干休所等单位，至今行程6万多公里，送书达50万余册。
1994年市图书馆和流动汽车图书馆被评为全国文明图书馆。1997年12月，中共青岛市委、市政府决定在原址扩建、改造青岛市图书馆，先后投资8000万元。
1999年图书馆深入挖掘馆藏，在揭露日本侵华史的研究中，整理出一批重要文献资料。这些文献主要来自日本侵华时在青岛的机构兴亚院、山东产业馆和满铁收藏的资料。这些文献多是日本人撰写，记录了日本占领青岛，攻打青岛的战略计划，以及对华经济、文化侵略等事实。在研究过程中，图书馆参加了国家”十五”规划”哲学、社会科学重大课题研究”，即”满铁资料”的研究工作。在纪念抗日战争胜利55周年时，图书馆举办了新发现史料展览，展出了日本一战、二战时侵略青岛的进攻计划图，政治、经济、文化侵略计划等一系列的珍贵史料，中央电视台、新华网、齐鲁电视台、青岛电视台及今晚报等多家媒体给予报道。市有关领导、民主党派及中小学生和市民5万多人观看了展览，参观者纷纷留下观感”不忘国耻，振兴中华”等强烈誓言，使我们图书馆工作者深深感到，图书馆是文化教育的重要阵地，我们有义务有责任做好图书馆工作。
2002年7月6日扩建部分对外开放。扩建改造后，图书馆总建筑面积近2.6万平方米，高7层，正面外型以巨大的框架意喻知识之门，是青岛市标志性文化建筑之一。新馆设30个厅、室及活动区域，其中，新增报告厅、展厅、音乐资料馆、电子阅览室、地方文献阅览室、史志阅览室、古籍阅览室、残疾人阅览室、少儿借阅室、自学阅览室、读者餐厅等，阅览座位达1500余个，可实现知识传播、信息传递、学术交流、文化展示、休闲娱乐、教育培训等功能。
2007年，国务院办公厅下发《关于进一步加强古籍保护工作的意见》文件后，青岛市图书馆进一步加强内部机制建设和社会环境营造，积极引进专业人才，探索改善古籍保护的途径与方法，在全国首创“古籍保护寄存模式”，得到文化部“全国古籍保护试点工作督导组”专家的肯定。
为表彰青岛市图书馆做出突出的成绩，2004年被文化部授予国家一级图书馆，2007年被授予全国第十四届群星奖服务奖、全国古籍保护试点单位、青岛市精神文明建设标兵单位、青岛市军民共建标兵单位、青岛市双拥工作先进单位、青岛市先进基层党组织、青岛市“迎奥运”文明示范服务窗口。
截止2008年底，图书馆现藏书176万册。其中古籍15万余册；中文普通图书117万册；报纸期刊25万册；民国出版物3万余册；地方文献2万册；外文文献14万册，其中日、德占时期文献资料3万余册。编制115人，实有工作人员104名，其中，管理人员14人、专业技术人员85人、工勤人员5人；专业技术人员中有研究馆员4人、副研究馆员9人、馆员35人、助理馆员36人、管理员1人；设11个部门：办公室、采编部、外借部、报刊部、阅览部、外文部、特藏部、数字资源部、网络技术部、社会工作部、后勤服务中心。
1899年，青岛市建立了中国第一座现代公共图书馆，1924年正式成立市级公共图书馆，已历时一个多世纪，在中华人民共和国成立以后，成为为广大人民、社会主义建设服务的新型图书馆。新时期以来，在党中央方针指引下，市委、市政府领导下，青岛市图书馆发生了巨大变化，在为社会主义经济建设、精神文明建设中做出了重要贡献。