上海博物馆拥有12万余件精品馆藏，荟萃了各朝各代的历史文物，尤以古代青铜陶瓷器、书法、绘画有特色，其中西周大克鼎、春秋子仲姜盘，以及唐朝《高逸图》、东晋王献之的《鸭头丸帖》等均为蜚声中外的国宝级馆藏。
在上海博物馆的中国古代青铜器馆，珍藏着镇馆之宝——西周大克鼎，还有春秋牺尊、子仲姜盘等珍品；古代陶瓷馆内有商原始青瓷尊、唐越窑海棠式大碗、成组的宋汝窑盘、元景德镇窑青花莲花罐等绝妙精品；古代书法馆藏有王羲之的《上虞帖》、王献之的《鸭头丸贴》、宋徽宗的瘦金《千字文》等一代杰作；而古代绘画馆中，唐孙位的《高逸图》、五代董源的《夏山图卷》、宋梁楷的《八高僧故事图卷》等都是稀世之珍。
此外，还有珍藏古代佛像雕塑艺术的雕塑馆、展示少数民族传统手工艺品的少数民族工艺馆、我国各朝代玉器精品的玉器馆、反映明清家具生活格调的明清家具馆，而历代玺印馆和历代钱币馆的馆藏规模居全国博物馆前列。上海博物馆还会经常举办特别展览（有时会酌情售票参观），展出以各种国内外文物、艺术作品、书画等为主的专题展。