上海市图书馆学会的前身是上海图书馆协会，成立于1924年6月27日。上海市图书馆学会是继中国图书馆学会之后，于1979年9月正式成立。1979年9月15日上海市图书馆学会成立大会暨第一次会员大会在上海市科学会堂召开。上海市图书馆学会初建时，属上海社会科学学会联合会团体学会，中国图书馆学会团体会员。1991年5月经上海市科学技术协会批准，改为该会领导下的市一级学会组织。1991年5月10日由上海市民政局核准登记为社团法人。
上海市图书馆学会坚持以马克思列宁主义、毛泽东思想、邓小平理论和“三个代表”重要思想为指导，全面落实科学发展观，认真执行党的方针政策，团结和动员广大图书馆工作者，坚持自主创新，为贯彻落实科教兴市主战略，繁荣图书馆事业和图书馆学术研究和交流，为推动上海社会主义经济建设、政治建设、文化建设、社会建设和构建社会主义和谐社会贡献力量。
上海市图书馆学会的主要任务是：活跃学术思想，组织学术研究和开展国内外学术交流活动；加强同国际图书馆界的联系与合作；编辑、出版、发行图书馆学各种载体的文献信息资料，促进学科发展；为上海文化、教育、科技发展战略和社会全面协调发展提供咨询服务，推动自主创新；接受政府委托，为上海市图书馆事业发展提供咨询服务；接受委托承担项目评估、成果鉴定，参与技术标准制定、专业技术资格评审和认证等任务；介绍、评定和推广图书馆学科研成果；开展对会员和图书馆工作者的继续教育和培训工作；普及图书馆学、信息科学及技术基本知识，提高社会公众的图书馆意识；并倡导全民阅读，促进知识的创新与传播，为提高国民科学文化素质，建设学习型社会发挥作用；表彰、奖励在学术活动中取得优秀成绩的会员和图书馆工作者；尊重会员的劳动和创造，维护会员和图书馆工作者的合法权益，促进其生活和工作条件的改善。反映他们的建议、意见和诉求。促进学术道德建设和学风建设，创造健康的学术氛围。
上海市图书馆学会成立暨第一次会员（代表）大会至今已有七届，为更好地开展学术活动，成立了学术委员会、编译出版委员会、科普教育委员会、高级专家咨询委员会四个专门工作委员会，及高校、专业、党校、区县、中小学、医院、工会、少年儿童等八个系统图书馆工作委员会。本会现拥有个人会员1300余名，机构会员单位130余所，企业团体3所；全国学会个人会员90余名，团体会员12所。在国际图联（IFLA）各有关专业委员会中有6人分别担任常委；在中国图书馆学会理事会及各专门工作委员会机构中，有9人分别担任理事、常务理事、副理事长，10余人分别担任委员、副主任委员、主任委员等职务。
上海市图书馆学会接受业务主管单位上海市科学技术协会、社团登记管理机关上海市社会团体管理局的业务指导和监督管理。学会挂靠上海图书馆上海科学技术情报研究所，其办事机构行政上隶属上海图书馆上海科学技术情报研究所。