Der angrenzende Palas, das eigentliche Wohngebäude, stammt aus dem 15. Jahrhundert (mindestens zwei Vorgängerbauten sind nachgewiesen). Die Entscheidung, die Burg nach modernsten Gesichtspunkten der Festungsbaukunst auszubauen, fiel auf dem Landtag in Spandau 1559. Begründet wurde er vom Kurfürsten mit dem Schutz der Spandauer Bürger und seines Hofstaats im nahen Berlin. Die Pläne stammten von Francesco Chiaramella de Gandino, erster Bauleiter war Christoph Römer, ehe der Italiener selbst den Bau übernahm. Vollendet wurde er 1594 unter Graf Rochus zu Lynar. Kernfigur ist ein Quadrat, an dessen Ecken vier spitzwinklige Bastionen angesetzt sind: König, Kronprinz, Brandenburg und Königin.