Il castello è posizionato sulla collina di Monteoliveto, circa 380 metri sopra il livello del mare. Questa costruzione, rappresenta il monumento più antico del comune.
L’edificio fu residenza del conte Rainulfo, avversario di Ruggiero I (Re delle Due Sicilie). Venne ingrandito da Federico II tra il XII ed il XIII secolo e poi ereditato dal conte Della Leonessa. Successivamente, divenne proprietà dei Carafa e dei D’Avalos dopo il 1529.
Ad oggi, i resti della fortezza consistono per lo più in: un muraglione, l’ingresso con lo stemma del Caracciolo e parte del ponte levatoio.