El sistema defensivo de Peratallada era la muralla, pero a diferencia de otros pueblos fortificados, no pertenecen a un solo recinto. El recinto principal, tenía el castillo en el centro. Había dos recintos amurallados más, uno en la parte de levante y el otro en la parte norte. Los fosos que mejor se conservan son los que hay junto al Portal de la Virgen. Su profundidad (unos 7 m.) se explica porque este lugar elevado respecto al resto de la ciudad, forma un pequeño cerro rocoso.

Las paredes de los fosos están cortadas casi verticalmente, pero no son muy lisas y en las paredes arenosas se observan las huellas de los golpes de pico, en forma de zigzag.

La visita a las murallas y los fosos de Peratallada es una actividad muy agradable que se puede realizar en cualquier momento desde el Hotel El Cau del Papibou.