Znajdują się tutaj białe kredowe klify, którym Anglia zawdzięcza swoją poetycką nazwę "Albion".
Jest też i "klucz do Anglii" tj. jeden z najbardziej ufortyfikowanych zamków.
Wzgórze, na którym wznosi się zamek pamięta czasy Rzymian. Oni to wznieśli tu, zachowaną do dzisiaj latarnię. Z czasów anglosaskich zachował się zaś, stojący tuż obok rzymskiej latarni, kościół St. Mary in Castro stanowiący część umocnionej osady z tych czasów.
W XI w. a dokładniej, po bitwie pod Hastings (1066 r.) fortyfikacje na wzgórzu wzniósł Wilhelm Zdobywca. W dzisiejszej postaci zamek powstał za rządów Henryka II w drugiej połowie XII wieku.
Podczas ostatniej tj. II Wojny Światowej, zamek zasłynął jako podziemne miejsce dowodzenia.
Stąd, w maju 1940 r., admirał sir Bertram Ramsey kierował ewakuacją spod Dunkierki (tzw. "Operacja Dynamo") W 1941 r. zainstalowano w tutejszych podziemnych tunelach centralę telefoniczną, która zapewniała
łączność z gabinetem wojennym w Londynie, Marynarką Wojenną i
głównymi bazami morskimi jak i głównymi lotniskami wojskowymi takimi jak
Manston, Hawkinge and Biggin Hill.
To tutaj opracowano plany inwazyjne które, z czasem, przeprowadzono w Afryce Północnej, na Sycylii aż po najsłynniejszy - "Operacja Neptun" tj plan inwazji na Normandię w
czerwcu 1944 roku.