Auf dem innerhalb der ältesten Stadtmauer direkt angrenzend östlich des Zerbster Tores gelegenen Grundstück befand sich ursprünglich das 1228 erstmals erwähnte Heilig-Geist-Hospital. Fürst Leopold III. Friedrich Franz von Anhalt-Dessau verlegte das fürstlich privilegierte Hospital 1794/95 in die von ihm als Bauherr geplante und realisierte südliche Stadterweiterung Franzstadt, wo sich schon das Armen- und Arbeitshaus befanden. Die alten Hospitalgebäude ließ er abbrechen.

Nach Plänen von Friedrich Wilhelm von Erdmannsdorff wurde 1797 ein klassizistisches Stadtpalais als zweigeschossiger Putzbau mit Mittelportal und zweiflügeliger Freitreppe fertiggestellt. Den Bau überließ Fürst Franz seinem Reisemarschall Anton von Branconi. 1815 übernahm der Kammer¬rat Wilhelm Peter Mann das Palais. Es ver¬blieb im Besitz der Familie Mann, bis es der Bauunternehmer Friedrich Bolling im Jahr 1903 übernahm. Bolling wollte hier die modernste Gaststätte Dessaus einrichten. Dabei orientierte er sich an dem 1851-1854 von John Paxton in London errichteten Chrystal Palace. Im Februar 1904 eröffnete das neue große Vergnügungsetablissement „Kristallpalast“ mit Restaurant- und Caféräumen, das 1905 um einen großen Saalanbau erweitert wurde. Mit dem großen und den kleineren Sälen zog der Kristallpalast viele gesellschaftliche Veranstaltungen des Dessauer Bürgertums an sich. Bereits 1906 musste er Konkurs anmelden. In wechselnden Eigentums- und Pachtverhältnissen dienten die Räumlichkeiten neben Theater und Varieté den verschiedensten Festivitäten und Veranstaltungen.

Nach der Vernichtung des Hoftheatergebäudes in der Kavalierstraße durch einen Großbrand am 25./26. Januar 1922 fand das Ensemble für den Rest der laufenden Spielzeit und noch bis zur Eröffnung der Interimsspielstätte in der früheren herzoglichen Reitbahn im Februar 1923 eine zeitweilige Beheimatung im „Branconi/Kristallpalast“ sowie im „Tivoli“ und konnte so den Spielbetrieb aufrechterhalten.

In den 1920er und 1930er Jahren war der große Saal oft politischer Kampfplatz. Hier fanden sich die Anhänger der NSDAP zu politischen Veranstaltungen und Kundgebungen ein.

Wie auch im Ersten diente das Haus während der Jahre des Zweiten Weltkrieges als Behelfslazarett.

Im Feuersturm des 7. März 1945 brannte der Kristallpalast völlig aus. Vom schönen Erdmannsdorffschen Palais blieb nur die Fassade stehen. Der Saal wurde allerdings recht schnell wieder hergerichtet. Vom ersten Weihnachtstag 1945 bis zur Wiedereröffnung des Theaters am 20. August 1949 diente er dem Dessauer Theater als Spielstätte („Großes Haus“). 1950 übernahm die Konsumgenossenschaft den Kristallpalast, der sich nun wieder zu einem kulturellen und gastronomischen Zentrum der Stadt entwickelte. 1964 musste die Fassade des einst von Erdmannsdorff entworfenen Palais baulich gesichert werden. Dabei wurden die drei großen Schmuckvasen aus Sandstein, die den Dreiecksgiebel geziert hatten, aus Sicherheitsgründen entfernt, die Fensteröffnungen zugemauert und in der Mitte der Front wieder ein Eingang geschaffen.

Der Kristallpalast blieb einer der beliebtesten kulturellen und gesellschaftlichen Treffpunkte der Stadt, bis er nach 1990 wegen baulicher Mängel und ungeklärter Eigentumsverhältnisse geschlossen werden musste. Der Verfall schritt dann rasch voran.

Alle bisherigen Versuche, den Kristallpalast wiederzubeleben, blieben in der Planungsphase stecken und scheiterten.