El sistema defensiu de Peratallada era la muralla, però a diferència d’altres pobles fortificats, no pertanyen a un sol recinte. El recinte principal, tenia el castell al centre i els altres dos eren a la part nord i a la part de llevant. Els fossats que millor es conserven son els que hi ha al costat del portal de la Verge. La seva fondària (uns 7 m) s’explica perquè aquest indret enlairat respecte de la resta de la vila, forma un petit tossal rocós.

Les parets dels fossats estan tallades gairebé verticalment, però no són gaire llises i en les parets arenoses s’hi observen les empremtes dels cops de pic, en forma de zig-zag.

La visita a les muralles i fossats de Peratallada és una activitat molt agradable que es pot fer, en qualsevol moment, des de l’Hotel El Cau del Papibou.