Pocos restos quedan la antigua fortaleza y ninguno de la puebla, si bien el perímetro de aquélla es fácilmente reconocible sobre el terreno. Los materiales constructivos empleados fueron la roca natural, aprovechada como cimiento, el sillarejo, la tabiya, la mampostería y cal y canto.
Su planta era regular, de forma casi rectangular, muy alargada, ocupando la casi totalidad del cerro en que se asienta. Se conservan algunos vestigios de cortinas -que apenas levantan del suelo-, torres desmochadas, que han perdido gran parte de su alzado y núcleo, y cámaras internas. Su perímetro tenía una longitud aproximada de 250 m., encerrando una superficie de unos 3.000 m². Sus frentes estaban orientados a los cuatro puntos cardinales, siendo los de los lados norte y sur los más largos, con unos 90 m., frente a los de Poniente y Oriente, con una longitud próxima a los 30 m.
Carecía de foso artificial, innecesario si tenemos en cuenta que se habían trabajado las laderas del cerro para aumentar su verticalidad. En cambio, sí hay restos de antemuro en los frentes norte, este y oeste. Entre ambos recintos, especialmente en la zona oeste, se extiende una plataforma natural, que quizás sirviera de emplazamiento a la puebla. Asimismo, dentro del recinto interno hay una cámara excavada, de paredes revocadas, que puede corresponder a un aljibe.

Un estudio de la cerámica hallada en el castillo de Eznavejore arroja luz acerca de su ocupación. Prescindiendo de restos premedievales hallados en el lugar, hay abundantes vestigios cerámicos de los siglos X-XI. Son fragmentos de cerámica vidriada, del tipo califal. También abundan los restos de cerámica cristiana de los siglos XIII-XIV, que correspondería al establecimiento de la Orden de Santiago. Con posterioridad a esa época no se han aparecido restos, lo que confirmaría su abandono en ese momento.

Su estado actual, francamente ruinoso, poco delata la importancia que este enclave pudo tener en su día. En las crónicas aparece nombrado con diferentes nombres (Avensore, Feznavessore, Hisb Abu Xoray y Santiago). Este emplazamiento ya tuvo una ocupación prehistórica, concretamente en la Edad de Bronce, como así lo atestiguan diferentes materiales encontrados en el lugar. Fue una de las fortalezas que dominaba el Valle del Alto Guadalén y, encargada de controlar el tráfico entre La Mancha y Andalucía.

No quedan restos de murallas, aunque pueden reconocerse aún los límites del castillo. Este tendría una forma más o menos rectangular con torres que guardarían ambos lados. De ellas sólo quedan en pie dos, pero podemos observar los vestigios de otras. Está edificado sobre roca y utiliza como materiales el sillarejo y la mampostería fundamentalmente. También encontramos una especie de foso interior, que puede tratarse de un aljibe y una sala rectangular orientada de Este a Oeste.

Gracias al historiador musulmán Dozy sabemos que por aquí anduvo el árabe Aben Hafsum capitaneando una revuelta de moros y cristianos contra el emir de Córdoba. Hafsum fue derrotado por Valid Abdelhamid en el año 885 en Torres de Xoray. En el año 1031, al ser derrocado en Córdoba el último Califa Hixem III fue conducido prisionero a la fortaleza de Torres de Xoray, pero éste consiguió escapar de la misma y llegó hasta Lérida, donde murió cinco años después. En el año 1182 en uno de los avances cristianos, reinando Alfonso VIII, caen en su poder Montiel y Alcaraz y después Albaladejo, Santa Cruz y las torres de Xoray entre otros, pero esta ocupación no llegó a consolidarse ya que la derrota de Alarcos supuso la pérdida de estas plazas pasando todo el Campo de Montiel nuevamente a manos musulmanas.

En el año 1213 Alfonso VIII reconquista definitivamente las Torres de Xoray. En el año 1214, el 7 de marzo, Alfonso VIII dona, mediante Privilegio Real, las torres de Joray a la Orden de Santiago. Este privilegio se conserva en el Archivo Histórico Nacional. Es documento original escrito en latín en pergamino de piel de vaca, con emblema real y sello de plomo.