Castillo de origen musulmán. Sus restos se localizan sobre la falda de una montaña que protege la población y que está culminada por una gran cruz dedicada a Cristo, la Santa Cruz.
Existen restos de un edificio de planta rectangular, elevados en sillarejo con argamasa de cal que podrían ser parte de la primitiva fortificación musulmana reutilizados con posterioridad como ermita. La fortaleza musulmana debió de estar estructurada en dos niveles.
La zona más elevada, la actual ermita de Santa Cruz, constituiría un recinto superior o torre defensiva del que se conservan elocuentes restos arquitectónicos; lienzos de murallas de sillería y gran longitud reforzadas por contrafuertes rectangulares, que sirven de muros de contención para los desprendimientos de tierra de la montaña.
En su parte superior existe una plataforma de gran extensión, donde anteriormente se asentaba el castillo. En la parte baja de la muralla había sótanos y pasadizos ya cegados, que la tradición popular dice que comunican la iglesia de la villa y el palacio residencial del señor feudal.