Do budowy zamku kapituły pomezańskiej, wzorowanego na zamkach krzyżackich przystąpiono na przełomie XIII i XIV wieku. Po pracach mających na celu przygotowanie terenu rozpoczęto wznoszenie skrzydeł zamkowych i zabudowań przedzamcza. Zamek wzniesiono z kamieni i cegieł w formie czteroskrzydłowej budowli na planie zbliżonym do kwadratu, z wieżami w narożach, dwukondygnacyjnym krużgankiem na dziedzińcu i wjazdem od strony północnej, gdzie znajdowało się gospodarcze przedzamcze. Większość prac budowlanych przy zamku zakończono w latach 1340 – 1350, w latach 80 XIV wieku ukończono Gdanisko. Pierwotnie zamek stanowił samodzielne założenie, dopiero później został połączony z katedrą, a jego narożną wieżę południowo-wschodnią przekształcono w dzwonnicę. Ukończenie nowego kościoła katedralnego jest datowane na okres rządów biskupa Jana Möncha (1377 – 1409).

W tym czasie powstał w Kwidzynie unikatowy zespół architektoniczny, w którego skład weszły dwa zamki (biskupi i kapituły), katedra oraz miasto. Poszczególne człony miały własne umocnienia, a połączone murami tworzyły system obronny, doskonale wkomponowany w warunki naturalne terenu. Zamek stał się siedzibą kapituły pomezańskiej, a także centrum religijnym i polityczno-administracyjnym.
Na mocy ustaleń drugiego pokoju toruńskiego Kwidzyn, wraz z dominium biskupim, przyznany został Zakonowi Krzyżackiemu. Biskupstwo pomezańskie zostało dożywotnio oddane polskiemu biskupowi chełmińskiemu Wincentemu Kiełbasie. Po jego śmierci Zakon podjął próbę obsady biskupstwa pomezańskiego, mając poparcie ze strony kapituły katedralnej. Doprowadziło to interwencji wojsk polskich na terenach należących do biskupstwa pomezańskiego i warmińskiego. W 1478 roku wojska polskie zdobyły Kwidzyn. Mieszczanie schronili się w zamku kapituły i podpalili miasto. W trakcie działań wojennych zamek został poważnie uszkodzony – podczas prac remontowych przeprowadzonych w roku 1487, rozebrano uszkodzone wieże narożne.

W roku 1520 w wyniku kolejnych działań wojennych, wojska polskie zniszczyły całkowicie zamek biskupi i najprawdopodobniej uszkodziły zamek kapituły. W latach 30 XVI wieku pierwszy biskup protestancki Paulus Speratus, przeprowadził na własny koszt remont zamku kapitulnego. Po jego śmierci, w roku 1551 zamek został przejęty przez urzędników księcia Albrechta Hohenzollerna, stając się budynkiem rządowym i rezydencją, w której , w 1709 roku, zatrzymał się car Rosji Piotr I, w czasie swojego pobytu w Kwidzynie, na zaproszenie króla pruskiego Fryderyka I.
W roku 1728 skrzydło południowe zamku zostało przekształcone w magazyn spożywczy dla garnizonu wojskowego. Po pierwszym rozbiorze Polski zamek stał się siedzibą sądu. W związku ze zmianą funkcji, przeprowadzono konieczne prace adaptacyjne. W salach I piętra wprowadzono podział na szereg małych pomieszczeń. Rozebrano częściowo zachodni krużganek, budując schody prowadzące z dziedzińca na I piętro. Część zamku zaadaptowano na cele więzienne. W roku 1798 podjęto decyzję o rozbiórce dwóch skrzydeł zamkowych: wschodniego i najbardziej reprezentacyjnego południowego, by z pozyskanego materiału wybudować osobny budynek.

W 1798 roku podjęto decyzję o rozbiórce dwóch skrzydeł zamkowych: wschodniego i najbardziej reprezentacyjnego południowego, by z pozyskanego materiału wybudować osobny budynek. Po 1854 roku, na mocy rozporządzenia króla Fryderyka Wilhelma IV zaprzestano dewastacji zamku i rozpoczęto prace rekonstrukcyjne. Ich najistotniejszy etap przeprowadzono w roku 1874. W rezultacie odbudowano wieże narożne, zrekonstruowano sklepienia w pomieszczeniach pierwszego piętra skrzydła północnego i uzupełniono detal architektoniczny.

Zamek pełnił funkcje sądu i więzienia do roku 1935. W roku 1936 po przeprowadzeniu szeregu prac adaptacyjnych, zamek stał się siedzibą hitlerowskiej szkoły Hitlerjugend HJ-Ostlandführerschule, i tę funkcję pełnił do roku 1945. Po zajęciu miasta przez Armie Czerwoną zamek, w odróżnieniu od Starego Miasta, szczęśliwie uniknął poważniejszych zniszczeń, splądrowano jedynie jego wnętrza. W grudniu 1949 roku zamek został przejęty przez Ministerstwo Kultury i Sztuki. Obecnie mieści się w nim Muzeum w Kwidzynie.Od 2018 zespół zamkowo-katedralny posiada status pomnika historii.