Das historische Gebäude der Neuen Galerie war zunächst ein Ausstellungsort für gar nicht so „neue“ Kunstwerke: Ab 1871 wurde das Haus an der Karlsaue als „Gemäldegalerie“ für die Kasseler Sammlung „Alte Meister“ aufgebaut. Nach dem Zweiten Weltkrieg zog dieser Kunstbestand ins Schloss Wilhelmshöhe um, weil große Teile des Galeriegebäudes zerstört waren.
In den 1960er und 70er Jahren wurde der Bau umfassend saniert – mit dem Plan, hier eine große Sammlung neuerer und zeitgenössischer Kunst aufzubauen. Schon 1964 fanden Teile der documenta 3 in einigen provisorisch wiederaufgebauten Räumen statt. Seither war das Gebäude immer wieder ein temporärer Ausstellungsort für die große Weltkunstschau.
1976 eröffnete das Museum wieder – voll saniert und mit neuem Konzept – als „Neue Galerie“. Zu den Ausstellungsstücken gehörten Werke aus städtischem und staatlichem Besitz: Malerei des 18. und 19. Jahrhunderts, Hauptwerke des deutschen Impressionismus, Arbeiten der Klassischen Moderne. Auch eine Skulpturengalerie mit Stücken aus vom 18. bis 20. Jahrhundert war Teil der Ausstellung – und eine Sammlung mit Gegenwartskunst. Zu den Highlights zählt bis heute ein von Joseph Beuys selbst eingerichteter Ausstellungsraum.
Seit den 1980er Jahren wird der Bestand ständig ergänzt und erweitert, vor allem mit zeitgenössischen Werken und documenta-Erwerbungen. 2011 wurde die Neue Galerie komplett saniert und modernisiert. Dabei entstand ein offener, heller Museumsbau mit deutlich mehr Fläche.