Ende des 17. Jhs. ging die Stadt nach dem Tod des letzten aus der Linie der Familie Grudziński aus Złotów in die Hände der Familie Działyński über, die mit Grudzińskis verwandt waren. Danach waren die Güter von Złotów im Besitz von F. W. von Fahrenheit und J. von Gerhard, der sie 1822 an den preußischen König Friedrich Wilhelm III. verkaufte. Aus den Gütern ist das Majoratsgut entstanden, dh. ein Güterkomplex, der weder verkauft, hinterlegt noch geteilt werden durfte. Es war durch die jüngeren Verwandten der Könige von Preußen – die Prinzen Karl, Wilhelm, Friedrich Leopold verwaltet. Der Palast ist auch Palast von der Familie Działyński oder Palast von Hohenzollern genannt, obwohl weder die einen, noch die anderen hier lebten. Das Gebäude entstand in der 2. Hälfte des 18. Jhs., der Turm sollte nach dem Entwurf von C. F. Schinkl 1830 gebaut werden. Der Palastgarten hat einen  historischen Wert. In dem Schloss befanden sich nach 1945 der Reihe nach: Technische Landwirtschaftsschule und Schulinternat, Krankenhausstation, Försterei. Die sich an dieser Stelle kreuzende Wege führen nach Piła, Zalesie, Tarnówka, Jastrowie, Radawnica und Okonek.

1823 verordnete Friedrich Wilhelm dem Königsgärtner P.J. Lene die Bearbeitung des Bewirtschaftungsplans von Vorwerk in Złotów. Dieser Plan umfasste die Palastumgebung, das Gebiet der Schlossinsel des Vorwerks bis auf Zwierzyniec. Die Plankopie und die Notizen von Lenne werden im Museum von Złotów und der Gegened aufbewahrt.