Der Luisenfriedhof II wurde im Mai 1867 wie der Evangelische Luisenfriedhof I außerhalb bewohnter Gebiete auf einem Sandgrubengelände angelegt, auf dem Areal eines während der Cholera-Epidemie 1831 eingerichteten Seuchenfriedhofs.
Zur Anlage gehört eine Kapelle, die 1868 vom Maurermeister Rudolf Zeitler als neugotischer Backsteinbau erbaut und 1993 bis 1995 restauriert wurde.
Die Aufteilung der Grabstellen folgt dem damals üblichen Rechteckschema. Als Baumbestand wurden einheimische Pflanzen, besonders Ahorn, gewählt. Anfangs fanden auf dem Friedhof vor allem alteingesessene Westender Familien ihre letzte Ruhestätte. Ab 1881 erfuhr der Luisenfriedhof II, der längere Zeit als Westend-Friedhof bezeichnet wurde, durch zahlreiche aufwendig gestaltete Erbbegräbnisse eine räumliche Erweiterung. Zu den damals für Militärangehörige Charlottenburgs angelegten Erbbegräbnisstätten gehört die 1882 angelegte Ruhestätte der Familie von der Goltz, der zahlreiche Offiziere sowie Diplomaten angehörten.
Carl Friedrich Graf von der Goltz (1815-1901) war Generaladjutant unter den Kaisern Wilhelm I., Friedrich III. (1831-1888) und Wilhelm II. (1859-1941). Als 1891 der Evangelische Luisenfriedhof III am Fürstenbrunner Weg eröffnet wurde, wurde der Luisenfriedhof II bis zu seiner Wiedereröffnung 1902 vorübergehend geschlossen. Bedingt durch die Verbreiterung der Königin-Elisabeth-Straße an seiner Westseite und vor allem durch den Bau der Stadtautobahn an seiner Ostseite hat sich das Areal des Luisenfriedhofs II in den 1960er Jahren deutlich verkleinert. Er verfügt heute über eine Fläche von 49.743 m².
Den damaligen Veränderungen an der Ostseite fielen viele Erbbegräbnisstätten und Mausoleen zum Opfer, darunter das Mausoleum der Familie des Zeitungsverlegers Schaeffer-Voit (1819-1887).
Gleichzeitig bewirkten sie eine unwiderrufliche Zerstörung des einstigen Erscheinungsbildes des Friedhofes.