Eine erste urkundliche Erwähnung des Dorfes “Glinik” fand man im Landbuch Kaiser Karl IV. von 1375. Im Juli 1764 zogen 12 Pfälzer Familien in das Dorf Glienicke ein, um sich auf Werben Friedrich des Großen als Bauern niederzulassen. Die Pfälzer bekamen einen eigenen Gemeindestatus, so dass aus dem Dorf Glienicke fortan Alt- und Neuglienicke wurde. Auf Erlass Kaiser Wilhelm II. wurde 1893 die Vereinigung der Gemeinden Alt- und Neuglienicke verfügt. Um sich von anderen Glienickern in Brandenburg abzuheben, wurde als Name nicht Glienicke sondern Altglienicke festgelegt.
Der Altglienicker Friedhof wurde ursprünglich für die Bestattung von Niederschöneweider Einwohnern angelegt, da durch die ständig fortschreitende Industrialisierung die Grundstücke in Schöneweide begehrt und teuer waren. Deshalb wurde im August 1910 durch die Niederschöneweider Gemeinde ein entsprechendes Gelände an der Schönefelder Chaussee in Altglienicke erworben und nach Plänen des Berliner Architekten K. A. Herrmann der jetzige Friedhof angelegt. Ab September 1910 konnte bereits bestattet werden. Von den Friedhofsgebäuden wurde das Friedhofswärterhaus als Erstes erbaut. Später folgten der Bau der Feierhalle, der Wartehallen, der Sarghebeanlage und der Erbbegräbnisanlagen.
Eine Besonderheit in der Feierhalle ist die Sarghebeanlage. Im Keller wird über eine manuelle Pumpe durch Wasserdruck eine Plattform bewegt und der Sarg dadurch in die Feierhalle gehoben.
Im Juli 1920 wurde das “Friedhofsgelände der Gemeinde Nieder-Schöneweide” auch für Altglienicker als Gemeindefriedhof zur Verfügung gestellt. Gleichzeitig fand damit die Umbenennung in Friedhof Altglienicke statt. Mit dem Bau der Berliner Mauer am 13. August 1961 wurde der hinter der Feierhalle liegende Bereich zum Sperrgebiet erklärt.
Im Jahr 2004 beträgt die Größe des Friedhofes ca. 23.500 Quadratmeter. Der städtische Friedhof mit Feierhalle und umgebender Bebauung sind als Gartendenkmal Bestandteil der Berliner Denkmalliste.