Die Herren von Röbel waren ab 1450 alleinige Lehnsbesitzer von Buch geworden. Erst 1483 nahmen Tamme und Klaus von Röbel auch ihren Wohnsitz dort. In diese Zeit fällt auch der Bau des ersten Guts- oder Herrenhauses, das vermutlich wie auch Kirche und Mühle als Fachwerkbau errichtet wurde. Hans-Dietrich von Röbel (1595 -1654) wurde als erstes und letztes Familienmitglied in dem Vorgängerbau der heutigen Bucher Schlosskirche beigesetzt. Nach seinem Tod verkauften seine Erben 1669 das Gut, einschließlich der Güter Karow und Birkholz, für insgesamt 15.000 Taler an Gerhard Bernhard Freiherr von Pölnitz (1617-1679). Der neue Gutsherr ließ, entsprechend dem Zeitgeschmack, den Garten im holländischen Stil anlegen, bewohnte aber weiterhin das alte Herrenhaus. Als von Pölnitz starb, erbte seine Gattin Buch. Ihre Enkel wiederum veräußerten 1724 die Güter Buch, Karow und Birkholz an Adam Otto von Viereck (1684 –1758) für 47.000 Taler.
Von Viereck ließ das Herrenhaus unter Einbeziehung alter Gebäudeteile zu einem einfachen Schloss umbauen. Dabei bediente er sich des Architekten Friedrich Wilhelm Diterichs (1702 –1782). Der Baumeister des Friderizianischen Rokokos wirkte auch an verschiedenen Orten in Berlin. Er gestaltete unter anderem das Prinzessinnenpalais (heute Palais Populaire der Deutschen Bank) und das Ephraim-Palais.
In Richtung des Gutshofes wurden an das alte Herrenhaus zwei einstöckige Flügel angefügt. Ein breiter langgestreckter Flur führte zu einem repräsentativen Speisesaal an der Gartenseite. Von diesem Flur ging eine Treppe zu den oberen Etagen ab. Das verspielte Rokokogeländer dieser Aufgangstreppe wurde beim späteren Abriss des Schlosses geborgen und in das heutige Palais Populaire eingebaut. Die Decken des Speisesaals und der Gesellschaftsräume waren mit zarten Rokokoelementen geschmückt, die Wände mit Damast-Tapeten bespannt.
Ab 1731 wurde Diterichs Baumeister der Bucher Schlosskirche. Das Erbe von Karow ging drei Jahre nach dem Tod von Adam Otto von Viereck durch Losentscheid an seine Tochter Amalie Ottilie (1736 -1767). Sie war verheiratet mit dem Legionsrat und Dompropst Hieronymus von Voß.
Sein Sohn, Otto Karl Friedrich von Voß (1755 -1823), der 1784 das Gut erbte, blieb kinderlos, und so folgte als Besitzer dessen Bruder Wilhelm Friedrich Maximilian von Voß (1782-1847). Ihm wurde 1840 der Grafentitel verliehen. Während die folgenden Erbherren ihren Hauptwohnsitz in Berlin hatten, nahm Graf Gustav Hermann Otto Leopold von Voß-Flotow (1822 -1892) seinen ausschließlichen Wohnsitz wieder in Buch.
1881 ließ er das Schloss im Stil der Neorenaissance umbauen: Die Seitenflügel wurden verlängert und ein weiteres Stockwerk aufgesetzt. An beiden Giebeln ließ er sein gräfliches Wappen befestigen. Nach seinem tragischen Tod – er wurde durch einen umfallenden Baum erschlagen – erbte sein jüngerer Bruder Graf Georg von Voß (1831-1904) das Anwesen. Er lebte meist im Ausland und verkaufte daher die 1.250 Hektar des Rittergutes Buch einschließlich Park und Schloss 1898 für 3,5 Millionen Goldmark an die Stadt Berlin.
Die schnell wachsende Stadt Berlin benötigte dringend für das geplante Abwassersystem Verrieselungsflächen, was zum Ankauf des Rittergutes führte. Das Schloss und der Park wurden hingegen zum Sommersitz der amtierenden Berliner Oberbürgermeister.
Das Schloss war ohne direkte Kriegsschäden geblieben, und so zog zwischen 1952 und 1958 zunächst ein Kinderferienheim in die Räume ein. Durch Schwammbefall hatte sich der Zustand des Schlosses jedoch so sehr verschlechtert, dass es schließlich 1964 abgerissen wurde. Den zuständigen Behörden fehlte es an den ökonomischen Möglichkeiten und am politischen Willen, das Schloss zu erhalten. Es gab mehrere Vorschläge, das Schloss wieder aufzubauen, doch bis heute ließ sich keiner umsetzen.
Für weitere Informationen: QR-Code scannen und den Schlosspark Buch anhand des Parkplans erschließen.