Està comprovat que el Castell ja existia al 1065 a Peratallada, però sembla que anteriorment ja hi havia una fortalesa en aquest lloc. Aquest castell sempre ha tingut fama d’inexpugnable. Les terres que l’envolten, molt esponjoses i inundables, han actuat com a defensa natural de la fortalesa ja que els enemics, que no coneixien el terreny, tot sovint acabaven enfonsats i enfangats en algun aiguamoll.

El Castell-Palau de Peratallada, en canvi, està construït sobre un monticle rocós que sobresurt uns 4 o 5 metres sobre el terreny que l’envolta, que va ser tallat artificialment per a donar-li verticalitat. L’element més visible del Castell és la Torre de l’Homenatge, està situada al centre del recinte emmurallat i s’aixeca uns 10 metres sobre una base de pedra natural, és de planta rectangular i està rematada per merlets quadrats. Té una porta adovellada i tenia un pis intermedi de fusta. La visita al Castell-Palau de Peratallada és un passeig molt agradable des de l’Hotel El Cau del Papibou.