1895 – ein Jahr, nachdem der Bankier Carl Schwartz (1828–1915) in den Ruhestand getreten war – begann er mit dem Bau der Villa als Sommerresidenz. Am 16. Februar 1898, zur Taufe des ersten Enkels Wolfgang, wurde das Haus eingeweiht. Der Architekt und Königliche Baurat Christian Heidecke (1837–1925) zählte zu den bevorzugten Villenarchitekten des Großbürgertums. Er entwarf auch das im Krieg zerstörte Haus von Max Liebermann am Brandenburger Tor und die Villa Oppenheim in Charlottenburg. Die spätklassizistische Villa, deren floraler Dekor der ursprünglichen Bestimmung entspricht, stand damals inmitten eines Parks mit Gewächshäusern, Stallungen und einer Remise. Die Räume im Hauptgeschoss dienten dem gesellschaftlichen Leben, darüber befand sich der private Bereich und darunter die Wirtschaftsräume.
Nach dem Tod von Carl Schwartz 1915 bezogen seine beiden Töchter das Haus. An der Stelle des Wintergartens errichteten sie zwei Küchen und eine Nebentreppe, schlossen den Lichthof, bauten das Dach aus und zogen leichte Trennwände ein. Die Ausführung geschah durch die Architekten Bruno Noack und Ludwig Antz. Im Erdgeschoß wohnte nun die Tochter Gabriele Schwartz mit ihrer Haushälterin Auguste Schulz und deren Tochter Lotte Lehmann und im ersten Obergeschoß lebte die Tochter Charlotte mit ihrem Mann Stephan Wiesand.
Gabriele Schwartz starb bei einem Bombenangriff in den letzten Kriegswochen 1945. Nachdem auch Auguste Schulz, die mittlerweile die Mansarde bewohnte, verstorben war, stand das Haus völlig leer.
Nach Kriegsende bis 1947 war die Wadzeck-Anstalt, ein Waisenheim, kurzzeitig im ersten Stock untergebracht. Die Räume wurden dann von der “Schloßpark–Gesellschaft” gemietet, die dort ein Lager der Firma Butter–Beck einrichtete. Das Bezirkswohnungsamt widersprach heftig dieser Zweckentfremdung von Wohnraum.
1961 erwarb das Land Berlin das Grundstück von der Erbengemeinschaft der Nachkommen. Beabsichtigt war zunächst ein Erweiterungsbau des Rathauses Steglitz. Spätere Bebauungspläne sahen die Errichtung eines “Hauses der Erwachsenenbildung” (VHS) oder eines Hallenbades vor. Die “Kulturinitiative Lankwitz” setzte sich seit Anfang 1981 für den Erhalt und den Ausbau der Villa zum Kulturzentrum ein. Sie veranstaltete im Juni 1981 ein erstes Straßenfest auf dem Hermann–Ehlers–Platz, mit dem sie für ihre Idee warb.
1983 wurde das Haus unter Denkmalschutz gestellt. Am 25. Mai 1983 gründete sich der “Trägerverein Kulturhaus Schwartzsche Villa”, der ein erstes Nutzungskonzept entwickelte. In der Folge fiel die Entscheidung für ein Kulturzentrum. 1991 wurde die Bausumme von 10 Mio. DM durch das Abgeordnetenhaus von Berlin bewilligt. Im Februar 1992, genau 97 Jahre nach der Einweihung des Sommersitzes, erlebte das Haus seine zweite Grundsteinlegung. 1995 wurde die Schwartzsche Villa als Kulturhaus eröffnet.
Im September 2020 wurde die Dauerausstellung “Die Villa Schwartz” zur Geschichte des Hauses eröffnet.
