El Castillo de Zafarraya se alza como una pequeña fortificación roquera ubicada cerca de la pedanía de Pilas de Algaida y sus características la situán más como una torre con recinto fortificado que como un castillo tradicional. La estructura conservada revela un recinto de planta cuadrada con un torreón rectangular adosado al muro sureste. La construcción emplea mampostería dispuesta en hiladas regulares, con muros de gran espesor que evidencian su carácter defensivo.
Entre los elementos más interesantes se conservan vestigios de un aljibe, testimonio de la autonomía que requería esta posición privilegiada, que dominaba los caminos que conducían hacia los cortijos cercanos.
Actualmente, parte de sus restos se encuentran en el interior de una finca privada, lo que dificulta su acceso y conservación, convirtiendo este antiguo puesto de vigilancia en un vestigio casi oculto del paisaje zafarrayero.
