Das Schloss befindet sich auf dem Pfingstberg, der 76 Meter hoch ist. Es wurde wegen der schönen Aussicht unter Friedrich Wilhelm IV. errichtet und ist nur ein Teil eines ursprünglich wesentlich umfangreicheren Bauvorhabens. Die Doppelturmanlage nach Vorbildern der italienischen Renaissance erlebte zwei Bauphasen, deren erste von 1847 bis 1852 war, die zweite von 1860 bis 1863. Nach Entwurfszeichnungen des Königs erhielten die Architekten Ludwig Persius, Friedrich August Stüler und Ludwig Ferdinand Hesse den Auftrag. Die Planung der Außenanlagen übernahm der Gartenarchitekt Peter Joseph Lenné.
