Está comprobado que el Castillo ya existía en 1065 en Peratallada, pero parece que anteriormente ya había una fortaleza en este sitio. Este castillo siempre ha tenido fama de inexpugnable. Las tierras que la rodean, muy esponjosas e inundables, han actuado como defensa natural de la fortaleza ya que los enemigos, que no conocían el terreno, a menudo acababan hundidos y embarrados en algún humedal.

El Castillo-Palacio de Peratallada, en cambio, está construido sobre un montículo rocoso que sobresale unos 4 o 5 metros sobre el terreno que la rodea, que fue cortado artificialmente para darle verticalidad. El elemento más visible del Castillo es la Torre del Homenaje, está situada en el centro del recinto amurallado y se levanta unos 10 metros sobre una base de piedra natural, es de planta rectangular y está rematada por almenas cuadrados. Tiene una puerta adintelada y tenía un piso intermedio de madera. La visita al Castillo-Palacio de Peratallada es un paseo muy agradable desde el Hotel El Cau del Papibou