La cueva junto al castillo de Bujalamé

La fortaleza se levantó en época islámica con la principal función de refugio de las aldeas que poblaban su entorno. En el año 1235 fue conquistada por los Caballeros de Santiago y en las Relaciones Topográficas de Felipe II, de 1576, se menciona que dentro del castillo existía una iglesia. El torreón es el único resto que se puede contemplar de lo que fue la fortaleza medieval, que también ha sido utilizado como cárcel.

En una cueva, de difícil acceso, cercana al castillo de La Puerta de Segura, que había permanecido semiescondida durante mucho tiempo, una cierta tarde unos pastores, que volvían con su rebaño tras una dura jornada, perdieron a un corderillo, que al verse solo no dejaba de balar.

Dos de los pastores buscaron la llamada del animal, mientras que el resto quedaron al cuidado del rebaño. Llegaron hasta la mencionada cueva con una entrada bastante dificultosa. Con mucho esfuerzo lograron entrar y coger al pequeño cordero, que golpeaba su hocico contra el suelo. Al acercarse uno de los pastores observó que bajo ese lugar había algo de madera, por lo que comenzaron a escarbar con las manos. Al cabo de un rato descubrieron una imagen, que más tarde supieron que se trataba de San Blas.

Lo llevaron rápidamente al cura de La Puerta de Segura y, una vez que se propagó la historia por los contornos, las autoridades de Beas de Segura querían apropiarse de la imagen porque la cueva se encontraba en su término, aunque los de La Puerta aseguraban que el lugar donde se halló la imagen estaba en terreno propio. Los de Beas, malhumorados, les dijeron que tendrían que ofrecer al santo una fiesta anual y en el momento que no fuera así se lo llevarían a su villa. Desde entonces, San Blas se convirtió en patrón de La Puerta de Segura.