自唐代以来，城隍庙就建成了，因为当时上海地区被称为华亭县，华亭县西面建有城隍庙。城隍庙建在这个县。
元至元十四年(1277年)，华亭县升为华亭府，第二年改为松江府。因此，华亭县城隍庙改为松江府城隍庙。
上海县成立于元至元二十九年(1292年)。然而，由于上海县规模较小，没有修建自己的城隍庙，更多的居民前往郊区的淡井庙(现位于上海永嘉路12号)祭拜松江府的城隍庙。
明朝永乐年间，上海县居民数量不断增加，城市逐渐扩大。明朝永乐年间(1403-1424年)，原金山祠堂改造为上海城隍庙，供奉上海城隍秦裕伯。
清道光后，由于内忧外患，中国进入百年动荡困难时期，上海城隍庙不断遭受战争破坏和火灾。
道光22年(1842年)，英军攻占吴松，6月19日占领上海城，占领上海城隍庙5天，宫殿被破坏。
咸丰三年(1853年)，刀会首领刘丽川在上海发动起义。城隍庙西园(豫园)作为指挥所，占领18个月，在上海展开激战，给城隍庙和西园造成重大损失。
咸丰十年(1860年)在战争中被摧毁。太平军攻打上海城，清政府“借师助剿”，外军驻扎在城隍庙西园(豫园)，摧毁了豫园的兰景。
四年同治(1865年)、七年(1868年)，经过三次战争，上海城隍庙破败不堪，公园里没有风景，决定重新修缮。当时，上海知县王宗莲在巡道应宝时提倡捐赠修缮寺庙。
光绪19年(1893年)，上海知县王承轩筹集了头门、二门、远门大厅、剧院鼓楼等资金，城隍庙变得更加壮观。随着寺庙的重建和上海城市人口的众多，来到城隍庙的游客和游客越来越多。
清光绪二十年(1894年)，水运颁悬“保厘苍赤”匾额。
知县李超琼在清宣统元年(1909年)筹集资金重建大殿宿舍。
民国十一年(1922年)，城隍庙发生火灾，公产处用公款重建。
抗日战争爆发后，上海城隍庙作为无家可归的难民居住区，再次遭受重大破坏。
1949年，自上海解放以来，城隍庙大殿外的其他寺庙被关闭，其他寺庙的雕像被保留。
1956年，上海市宗教局对城隍庙进行了整治，取消了邑庙董事会和包殿制度，关闭了玉清宫和文昌殿，减少了庙内人员。
1965年，后殿139.8平方米的房屋被用作商场和安仁街的道路和花鸟店。
1966年4月，上海城隍庙暂停宗教活动，“文化大革命”期间神像全部被摧毁。
1966年8月，红卫兵在两个房间内烧毁了宗教用品。
1994年以后，上海城隍庙修复委员会成立，修复开放上海城隍庙，遵循“文物修旧如旧”的原则，努力保持明代道观的建筑风格。
一九九五年一月二十六日，城隍秦裕伯塑像和城隍夫人储氏塑像来到上海城隍庙。
1995年1月31日，上海城隍庙恢复对信徒开放。主要包括大殿、元辰殿、财神殿、慈航殿、城隍殿、娘娘殿，面积1216.4平方米。
1995年8月14日–16日，为期三天两夜的第一次道教仪式演习:“祈祷国泰民安世界和平，推荐抗日战争烈士和死者”斋戒会议。
2000年2月13日至19日，上海城隍庙(农历正月初九至十四)举行了恢复以来的首次“拜太岁”仪式。
2000年，上海城隍庙修复一期工程基本结束，同年11月14日举行住持升座仪式。陈莲笙道长成为城隍庙恢复开放以来的第一个住所。
2001年农历正月初四晚11:00至次日凌晨2:00，上海城隍庙自恢复开放以来首次举行“迎财神”仪式。
20152000年，上海城隍庙前庭两侧厢房恢复使用，新一轮修缮中庙观布局基本完整。今天的上海城隍庙包括霍光殿、元辰殿、财神殿、慈航殿、三官殿、月老殿、城隍殿、娘娘殿、父母殿、关圣殿、文昌殿、祖师殿，总面积约3000平方米。
上海城隍庙殿堂建筑属于南方大型建筑，但在建筑风格上仍保持着明代的格局。总的来说，上海城隍庙前后共三进：霍光是第一进供的；秦裕伯是第二进供的；第三进是城隍夫人。布局方面，朝南，沿中轴线排列有大门、二门、戏楼、大殿等建筑。庙内主楼有大殿、元辰殿、父母殿等12个殿堂，总面积约3000平方米。从仪门进入，广场两侧的厢房上下两层，楼上作为办公用房，楼下西侧由南向北依次为三官殿、财神殿、客厅；东侧由南向北依次为月老殿、慈航殿祈福堂。仪门对面的中轴线是霍光殿，后面有一条通往后院的长廊，叫太岁殿。中厅东侧楼下有仙茶馆，上面有斗姆阁。出太岁殿，即后院，正面为城隍殿，西面为关圣殿，东面为文昌殿。大殿、中殿改为钢筋混凝土结构。大殿供奉霍光，中殿供奉秦裕伯，两侧花厅供奉城隍父母，后殿供奉城隍夫人，楼上为宿舍。
仪门是过去官衙的第二道正门。仪门前面有二副对联。一副对联的上联是：阳世之间积善作恶皆由你；下联是：阴曹地府古往今来放过谁。这副对联的意思就是，在阳世，你生活中，做好事或者做坏事，都是由你自己决定的。可是人死后到了阴间，地狱的官府从古到今，从来不会放过要惩罚的坏人。另一副对联的上联是：世事何须多计较；下联是：神界自有大乘除。这副对联的意思就是，人生在世，碰到各种吃亏或沾便宜的事情，你不必多加计较。因为，神灵对于人的善良和罪恶都会加以回报或清算的。
在对联的后面挂着一只很大的算盘，算盘上刻着四个字“不由人算”，算盘上的算珠有上有下，象征神界正在进行“大乘除”。算盘的旁边立了二块巨额。巨额上写的是：为善者昌，为恶者亡。意思是：做好事的人，在神界计算中一定会兴旺发达；做坏事的人，在神界计算中一定会衰败灭亡。城隍庙挂大算盘是有深刻含义的。它一方面告诉信众，做人要淡泊名利，不要自私自利，不要斤斤计较。因为，人有算计，天有算计，人算总不如天算。过分计较的结果会自食其果。另一方面又是告示天下，天算就是天道，天道自有规律，任何人只有循天道而行才有善终，逆天道而行必然自取灭亡。
关圣殿内供关圣帝君，左右供周仓、关平二位将军。
三官殿位于中轴线上，在城隍庙的西侧，始建于明代，三官殿的建筑风格是明代的建筑风格，整个建筑群气氛庄重肃穆，色调以红色为主。主要供奉三位官府神祇，被尊为官神中的“三官大帝”，分别是主管天上事务、地上事务和水中事务的神灵，分别为天官、地官和水官，所以合称三官，因为其诞辰分别为上元、中元、下元节，所以被称为三元三官大帝。
月老殿主要供奉着月下老人、药王和车神三位神仙。中间的月下老人主要分管人间的爱情和婚姻。秉持着“愿天下有情的人都成了眷属”，履行着自己的神圣职责。右边的是药王，医术高明，对人和动物都有着仁慈之心。位于左位的是车神，是人们行走道路的保护神。
财神殿位于城隍庙中轴线西侧殿堂，紧挨三官殿。财神殿坐西朝东，殿门上悬有对联“生财有道义为先，学海无涯苦做舟”，上悬匾额“福佑众生”。财神殿正中放置财神赵公明，身着古代军人装束，头戴铁帽子，手拿钢鞭和元宝，身骑黑色老虎。中国人在农历正月初五日接财神，往往这天来财神殿的人最多。
祈福堂正面悬挂有三块匾额，分别是“财源广进”“出入平安”和“金榜题名”。城隍庙的道士每天早晚都会在此念经，并在一年以后会将祈福牌焚化，上奏神灵，保佑信众的愿望实现。
元辰殿：又称六十甲子殿。元，为“善”，元辰，就是指吉利时日的意思。元辰神灵是中国的年岁神灵，与每一位中国人的年运有关。
中国古代子以天干地支循环相配由甲子起至癸亥结束，以六十为一周，故也称六十甲子，后道教以六十甲子配以神名，从而形成了道教元辰信仰。因六十甲子神灵是星神，故也称太岁神。
在民间，指人们把某年在六十元辰中所对应的太岁神称为当年的值年太岁，本人出生之年的所对应的太岁神称为本命太岁。信徒礼拜本命太岁，祈求年年平安，吉祥如意的仪式，就称为顺星。
城隍殿位于天井的正面，也是城隍庙内最后一进殿。城隍殿供奉的是头戴官帽，身穿官袍的明代敕封的上海县城隍秦裕伯。正大门悬挂着“城隍庙”匾额，配以“做个好人心正身安魂梦稳，行些善事天知地鉴鬼神钦”的对联。城隍殿两侧悬有对联以赞扬城隍神公正无私“祸福分明此地难通线索，善恶立判须知天道无私”，上悬匾额“威灵显赫”。殿内另有一幅赞神对联“天道无私做善降祥预知吉凶祸福，神明有应修功解厄分辨邪正忠奸”横批“燮理阴阳”。在城隍殿的二侧，有大锣、行灯和香炉，旌节幢幡和十块警示牌。其中大锣、行灯和香炉用来为城隍神开道；旌节幢幡为城隍神助威。
城隍神每年按例出游三次，故称“三巡会”。这是道教对中国古代民间清明节哀悼的一种仪式整合形式。因为需要一个公共仪式来祭祀和安慰那些孤独的野鬼和凶猛的鬼魂，后来有了城隍三巡会。民国时期，城隍庙每年分别在清明、中元(7月15日)和10月(10月1日)进行三次大规模巡演，至今仍是三次巡演。旅行时，城隍老人擦了擦彩漆，穿了蟒袍，坐了八人大轿。同时，还有“四司”陪同上海县城隍秦裕伯，即高昌司石万彻、长辈司黄歇、新江司蒋芳勇、财富司杜学文。整个活动从早到晚持续了一整天，在城隍出巡之日。
祭祀祭神作为中华民族隆重庄严的祭祀仪式，最高标准的仪式是皇帝主持的“祭天”仪式，而上海最隆重的仪式是祭祀当地城隍尊神的“祭城隍”仪式。每年农历2月21日，上海城隍庙都会举行“祭城隍”仪式。仪式由本庙住持主持，整个仪式主要包括：上香、行三献礼、颂祭文、送文上天、主祭人、陪祭人入殿惨败、颁礼。
为了传播大道，广结道缘，上海城隍庙将于每月初一、十五在“知道堂”举办“写经”活动，选取《太上老君说常安静经》经文。并欢迎各界热爱道教文化和书法艺术的人士参与，了解道教，积累功德。
1995年，随着宗教信仰自由政策的逐步实施，上海城隍庙恢复，再次成为由正义道士管理的道教宫殿观，完成了一期修复工程。1996年4月29日，上海城隍庙土木修复工程基本完成，成立了上海城隍庙管理委员会，主任陈莲笙，副主任吉宏忠，组员刘巧林。他带领寺庙的教职人员共同管理寺庙事务。
2000年，上海城隍庙一期修复工程基本竣工。被选为上海城隍庙住持的陈莲笙道长。2001年，为加强寺庙事务管理，上海城隍庙管理委员会选举陈莲笙道长为管理委员会主任，吉宏忠道长为执行副主任，刘巧林道长为副主任，周旭道长为新上海城隍庙管理委员会成员。2006年，在上海豫园商城有限公司的支持下，上海城隍庙归还了上海城隍庙前厢房的使用权，完成了二期修复工程。20152000年，上海城隍庙前庭两侧厢房使用权恢复，庙观修复新一轮。庙观布局基本完整，活动空间更广阔。
拜太岁每年正月初八开始，因为太岁星君是道教神，所以“拜太岁”是祈求太岁星君保佑的道教专属科仪。道士会向太岁星君报告已经报名的小伙伴的名字。太岁星君收到这些名字后，会根据大家的善恶来决定这一年是否受到惩罚。
谢太岁每年农历10月15日元节期间举行的谢太岁法会，其仪式与拜太岁科仪相同，也是专属科仪，主要是感谢太岁星君保佑之恩的仪式。谢太岁也是对神的感激之情。这是人与神之间的一种交流方式，也是一种庄严的承诺。
2002年，上海城隍庙被列为上海文物。
2002年，上海城隍庙列为上海市文物保护单位。
2011年，上海城隍庙被国家宗教局评为“首届全国和谐寺观教堂”。
2012年，上海城隍庙被评为全国文明风景旅游区(全国文明单位）称号。
2013年，上海城隍庙获第二届“全国创建和谐寺观教堂先进集体”称号。
2019年，上海城隍庙荣获“五星级文明和谐寺观教堂”称号。