Por otro lado, entre sus muros, además del citado Don Diego de los Cobos, descansan los restos de las monjas que atendían el hospital, de algún médico e incluso de gran parte de los muertos del bando nacional durante la Guerra Civil. Asimismo, existe una leyenda que habla del momento en el que se cerró la capilla y el centro hospitalario, tras lo cual se desprendieron la mano y la espada de la figura de Santiago 'matamoros' que hay en la fachada. Entonces incluso se comentó que se seguían oyendo las campanas.
Más recientemente, siempre han sido una constante los comentarios y rumores sobre ruidos, apariciones extrañas y sucesos inexplicables, que nunca han dejado de ser leyendas urbanas surgidas del boca a boca y que llaman la atención de los amantes del misterio y lo sobrenatural. Y a todo ello hay que unir que la exposición Tierras del Olivo contenga piezas de gran antigüedad, incluso del siglo VIII antes de Cristo. Aunque, como suele ocurrir con este tipo de asuntos calificados de misteriosos, nunca se ha pasado de las palabras a los hechos.





