Den Schloss baute vor 1618 die Familie Potulicki auf der Insel am See Jezioro Miejskie, genannt auch als Jezioro Zamkowe. 1657 nahmen die durch Złotów durchmarschierenden schwedischen Truppen einen Sturmangriff auf den Schloss, den Eigentum von Andrzej Karol Grudziński, auf. Die Besatzung bekam eine so großen Angst vor den schwedischen Kanonen, dass sie nach einem Sturmangriff kapitulierte. Die Sturmangriffszene verewigte der Hauptquartiermeister der schwedischen Truppen, Erich Dahlbergh. Der Kupferstich nach seinem Bild befindet sich in den Sammlungen des Museums in Złotów.

Aufschrift über der Belagerungsszene
Zlotow, Pommernfestung, schwer zugängig / verteidigt durch ein Garnison von 400 Soldaten, nach 24 Stunden Belagerung / zum Ehren des Schwedenkönigs, eingenommen am 28. Juni 1657.
Erich Jönson Dahlbergh (1625-1703) war während der "Sintflut" der generelle Quartiermeister der schwedischen Armee. Er war ein mutiger Offizier, sowie ausgezeichneter Zeichner. Er schuf Bilder der Städte, Festungen, Genresszenen. Nach seinem Werk wurde ein Kupferstich ausgeführt, der die Szene der Belagerung von Zlotow darstellt - das einzige Zeugnis des von Schweden zerstörten Schlosses.