Die Berliner Landgerichte entstanden im Zuge der Reichseinheit im Jahre 1879. Das Landgericht I war seinerzeit für den Stadtkreis zuständig und hatte seinen Sitz in dem 1896 bis 1905 erbauten Gebäudekomplex im Bezirk Mitte, Grunerstraße/Ecke Neue Friedrichstraße, der jetzigen Littenstraße. Für das Landgericht II, das für die südlichen stadtnahen Kreise von Groß Lichterfelde bis Zossen zuständig war, entstand ein Justizgebäude an der Möckernstraße in Kreuzberg zwischen Kleinbeerenstraße und Halleschem Ufer, von dem heute nach dem Zerstörungswerk des Bombenkrieges nur noch ein Teil übrig geblieben ist (Amtsgericht Tempelhof-Kreuzberg). Im Jahre 1899 wurde schließlich die Errichtung eines Landgerichts III beschlossen, um eine Zuständigkeit für die nordwestlich bis nordöstlich gelegenen stadtnahen Kreise von Nauen und Bernau bis Strausberg zu begründen.
Im Juli 1933 wurden die drei Landgerichte zu einem Landgericht Berlin verschmolzen. Nach dem Kriege und der Spaltung der Stadt wurde das Gerichtsgebäude in der Littenstraße in dem dreistufigen Gerichtsaufbau der DDR neben anderen Justizbehörden für die Unterbringung des Obersten Gerichts der DDR und des Stadtgerichts Berlin genutzt. Im Westteil der Stadt musste das Landgericht hingegen zunächst in mehreren Zehlendorfer Villen Recht sprechen. Erst Ende 1950 bezog es das Gebäude des ehemaligen Landgerichts III am Tegeler Weg, wo es bis heute einen seiner Standorte hat.
Nach der Wiedervereinigung der Stadt im Oktober 1990 hat das Landgericht seine Dienststellen von bisher zwei auf drei erweitert. Neben dem Standort in der Moabiter Turmstraße, dem Sitz des Kriminalgerichts, sind die Zivilkammern und die Gerichtsverwaltung zunächst in Berlin-Charlottenburg verblieben. Im Zuge zahlreicher Veränderungen sind sie in den Folgejahren zwischen den Standorten Tegeler Weg und Littenstraße verteilt worden. Auch der Präsident des Landgerichts hat seinen Sitz seit dem Jahr 2006 im Dienstgebäude Littenstraße.