Il Castello di Roca Vecchia si trova nei pressi di Borgagne, sulla via che conduce a Torre S. Andrea. Di esso rimane solo un rudere in pessime condizioni.
Era la metà del XVI secolo quando Gualtiero VI di Brienne, conte di Lecce, diede ordine di costruire il Castello di Roca Vecchia e il borgo circostante, sulle rovine dell’antica città messapica che vi sorgeva in epoca remota. Il Castello di Roca Vecchia, si ricorda oltre che per la sua importanza culturale e artistica, anche per il ruolo storico avuto nel 1480 durante la riconquista di Otranto dalle mani turche.
Successivamente, nel 1525, quando il castello fu assediato dagli invasori turchi che lo depredarono e lo incendiarono, perse il suo ruolo difensivo e venne abbandonato lasciandolo nelle mani dei pirati. A questa situazione mise fine Ferrante Loffredo, allora Preside della provincia, che verso la metà del ‘400, lo fece demolire su consenso di Carlo V. Rimangono tuttora visibili e solo in parte percorribili, le gallerie segrete scavate nella roccia, che collegavano i sotterranei del castello al mare per permettere la fuga dei suoi abitanti in caso di pericolo.