Der Rechnungshof hat nach der Verfassung von Berlin eine besondere Stellung. Er ist weder Teil der Exekutive (Regierung und Verwaltung), noch der Legislative (Gesetzgebung) oder der Gerichtsbarkeit und auch keine Strafverfolgungsbehörde. Er ist weder organisatorisch noch materiell in die Entscheidungsstrukturen der Berliner Verwaltung eingebunden, sondern eine unabhängige oberste Landesbehörde, die nur dem Gesetz unterworfen ist. Seine Unabhängigkeit zeigt sich unter anderem in der Freiheit, selbst darüber zu entscheiden, was zu welchem Zeitpunkt in welcher Weise geprüft wird. Er entscheidet auch selbst über seine Organisation und Geschäftsverteilung, über Prüfungsverfahren und -methoden sowie über den Einsatz des Personals. Der Rechnungshof ist frei von Weisungen des Parlaments oder der Regierung und nimmt seine Aufgaben unabhängig vom Bundesrechnungshof und vom Europäischen Rechnungshof wahr.
Der Rechnungshof ist nicht wie eine Senatsverwaltung organisiert, sondern hat eine kollegiale Leitungsstruktur. Das Große Kollegium besteht aus der Präsidentin, dem Vizepräsidenten und fünf weiteren Mitgliedern. Sie sind unabhängige, nur dem Gesetz unterworfene Beamte. Auf Grund ihrer richterlichen Unabhängigkeit sind ihnen gegenüber fachliche Weisungen unzulässig. Das Große Kollegium entscheidet in allen Angelegenheiten von grundsätzlicher oder sonst erheblicher Bedeutung, insbesondere über den Jahresbericht. Die Präsidentin leitet die Tätigkeit des Rechnungshofs, führt seine Verwaltung und vertritt ihn nach außen.
Der Rechnungshof wirkt bereits durch seine Existenz, denn er kann das konkrete Verwaltungshandeln jederzeit in seine Prüfungstätigkeit einbeziehen. Er kann aber weder gegenüber den geprüften Stellen Weisungen erteilen noch hat er Sanktionsmöglichkeiten oder Zwangsmittel zur Durchsetzung seiner Forderungen. Die Entscheidungen darüber, welche Konsequenzen aus den Feststellungen des Rechnungshofs zu ziehen sind, treffen allein das Parlament und die Regierung.