Das Museum wurde 1951, noch zu Lebzeiten des Stifters, eröffnet, nachdem das von Leonhard Zeugheer 1838 - 1842 errichtete Alte Gymnasium zum Museum umgebaut worden war. Ausgestellt sind gegen 600 Werke von deutschen, schweizerischen und österreichischen Künstlern vom 18. bis zum 20. Jahrhundert, eine der schönsten Sammlungen auf diesem Gebiet. Besonders reich vertreten ist die Schweizer Malerei von Liotard über Füssli, Graff, Wolf, Agasse, Böcklin und Anker bis hin zu Hodler, Segantini und Giacometti. Schwerpunkte bilden auch Werke der deutschen Romantik (Friedrich, Runge, Kersting, Blechen, Spitzweg), des Biedermeiers, des Realismus und des Idealismus (Waldmüller, Menzel, Thoma, Leibl, Feuerbach, Marées) sowie des Impressionismus (Uhde, Liebermann, Slevogt).
Der Ausbau des dritten Geschosses durch den Architekten Johann Frei, 1995, schuf zusätzlichen Raum für wechselnde Ausstellungen.