Der Bau der pomezanischen Kapitelburg nach dem Vorbild der germanischen Burgen begann an der Wende vom 13. zum 14. Nach der Vorbereitung des Geländes wurde mit der Errichtung der Burgflügel und der Vorburgen begonnen. Die Burg wurde aus Steinen und Ziegeln in Form eines vierflügeligen Gebäudes auf einem annähernd quadratischen Grundriss errichtet, mit Türmen in den Ecken, einem zweigeschossigen Kreuzgang im Hof und einem Eingang von Norden, wo sich der Wirtschaftsraum des Vorschlosses befand. Der größte Teil der Bauarbeiten an der Burg wurde zwischen 1340 und 1350 abgeschlossen, wobei der Gdanisko in den 1480er Jahren fertiggestellt wurde. Ursprünglich war die Burg ein eigenständiges Bauwerk, erst später wurde sie mit dem Dom verbunden und ihr südöstlicher Eckturm zu einem Glockenturm umgebaut. Die Fertigstellung der neuen Domkirche wird auf die Regierungszeit von Bischof Jan Mönch (1377 - 1409) datiert.

In dieser Zeit entstand in Kwidzyn ein einzigartiges architektonisches Ensemble, das zwei Burgen (Bischofs- und Kapitelsburg), eine Kathedrale und eine Stadt umfasste. Die einzelnen Teile hatten ihre eigenen Befestigungen und bildeten, durch Mauern verbunden, ein Verteidigungssystem, das sich perfekt in die natürlichen Gegebenheiten des Gebiets einfügte. Die Burg wurde zum Sitz des Domkapitels von Pomezan und zu einem religiösen und politisch-administrativen Zentrum. Im Rahmen des Zweiten Friedens von Toruń wurde Kwidzyn zusammen mit der bischöflichen Herrschaft an den Deutschen Orden übergeben. Das pomezanische Bistum wurde dem polnischen Bischof von Chelmno, Wincenty Kielbas, auf Lebenszeit übertragen. Nach seinem Tod versuchte der Orden mit Unterstützung des Domkapitels, das Pomezanier-Bistum zu besetzen. Dies führte zum Einmarsch polnischer Truppen in die Gebiete der Bistümer Pomezanien und Ermland. Im Jahr 1478 nahm das polnische Heer Kwidzyn ein. Die Einwohner flüchteten sich in die Burg des Kapitels und setzten die Stadt in Brand. Während der Kriegshandlungen wurde die Burg schwer beschädigt - bei den 1487 durchgeführten Reparaturarbeiten wurden die beschädigten Ecktürme abgerissen. Im Jahr 1520 zerstörte das polnische Heer in Folge weiterer Kriegshandlungen die bischöfliche Burg vollständig und beschädigte wahrscheinlich auch die Burg des Kapitels. In den 1530er Jahren ließ der erste protestantische Bischof Paulus Speratus die Kapitelsburg auf eigene Kosten instand setzen. Nach seinem Tod im Jahr 1551 wurde die Burg von Beamten des Herzogs Albrecht von Hohenzollern übernommen und wurde zu einem Regierungsgebäude und einer Residenz, in der 1709 Zar Peter I. von Russland auf Einladung von König Friedrich I. von Preußen während seines Aufenthalts in Kwidzyn wohnte.
Im Jahr 1728 wurde der Südflügel des Schlosses zu einem Lebensmittellager für die Militärgarnison umgebaut. Nach der ersten Teilung Polens wurde das Schloss zum Sitz des Gerichts. Aufgrund der veränderten Funktion wurden die notwendigen Anpassungsarbeiten durchgeführt. Die Säle des ersten Stocks wurden in eine Reihe kleinerer Räume unterteilt. Der westliche Kreuzgang wurde teilweise abgerissen, und es wurde eine Treppe gebaut, die vom Innenhof in den ersten Stock führte. Ein Teil des Schlosses wurde als Gefängniszellen eingerichtet. 1798 wurde beschlossen, die beiden Flügel des Schlosses abzureißen: den östlichen und den repräsentativsten südlichen Flügel, um mit dem gewonnenen Material ein eigenes Gebäude zu errichten.

Im Jahr 1798 wurde beschlossen, die beiden Schlossflügel - den östlichen und den repräsentativen südlichen - abzureißen, um aus dem gewonnenen Material ein eigenes Gebäude zu errichten. Nach 1854 wurde die Verwüstung des Schlosses durch einen Erlass von König Friedrich Wilhelm IV. gestoppt und der Wiederaufbau begann. Die bedeutendste Phase des Wiederaufbaus fand 1874 statt, als die Ecktürme wieder aufgebaut, die Gewölbe in den Räumen des ersten Stocks des Nordflügels rekonstruiert und die architektonischen Details vervollständigt wurden. Bis 1935 wurde das Schloss als Gericht und Gefängnis genutzt. 1936 wurde das Schloss nach einigen Umbauten zum Sitz der Hitlerjugend HJ-Ostlandführerschule und diente als solcher bis 1945. Nach der Besetzung der Stadt durch die Rote Armee blieb das Schloss im Gegensatz zur Altstadt glücklicherweise von größeren Zerstörungen verschont, lediglich die Innenräume wurden geplündert. Im Dezember 1949 wurde das Schloss vom Ministerium für Kultur und Kunst übernommen. Seit 2018 steht der Komplex aus Schloss und Kathedrale unter Denkmalschutz.
Eintrittskarten für die Besichtigung sind gegenüber dem Haupteingang erhältlich. Führungen sind mit einem Führer oder einem Hörbuch möglich. Die Besichtigung des Schlosses dauert etwa 2/3 Stunden.
Ein Parkplatz für Touristen befindet sich direkt unterhalb des Schlosses.
Nicht weit von der Burg entfernt liegt das "Old Town Restaurant".
Neben dem Schloss befindet sich das komfortable "Hotel Maxim" für Besucher.