Al
Sur de la provincia, limitando con Guadalajara, encontraremos esta villa
a los pies de la Sierra Pela (la Sierra de Miedes del Cantar), en plena
comarca conocida como de los Pueblos Rojos por el color de la arenisca arcillosa
que cubre estas tierras. En toda esta comarca nos sorprenderá descubrir
las joyas que se esconden enterradas por el abandono y la despoblación.
Lugar de antiguos pobladores arévacos, con restos celtíberos repartidos por los cerros de la sierra, se tiene constancia por Taracena de yacimientos de industria lítica de superficie del Eneolítico-Bronce. Por su parte, en 1911 Juan Cabré Agulló localiza grabados esquemáticos rupestres, que se encuentran en la Cueva del Tambor, Cañada del Monte y la Cerrada de Saturnino.
Guillermo García,
en su obra Las
rutas del Cid, nos descubre vías antiguas de comunicación
excavadas en piedra, una vía romana que une Tiermes con Medinaceli
y que discurre por el paraje de Carramedina y varios caminos medievales.
No en vano el topónimo Retortillo es de origen caminero según
el mismo autor. A unos tres kilómetros por la carretera a Tarancueña,
en lo alto del collado, encontraremos los Cantos Migeros y los restos
de lo que podría ser un castillejo caminero. 
Por esos caminos cabalgaría el Çid camino del destierro, según la discutida ruta de Menéndez Pidal que pasaría por Fresno de Caracena, Retortillo y Miedes y que no comparte Guillermo García. La cidiana Ruta de Corpes en cambio sí parece que se sitúa en la vía que atraviesa Retortillo desde Medinaceli, Miño de Medinaceli, Yelo, Romanillos, Alpanseque y Barcones y que sigue hacia Tiermes en dirección a los gemelos cerros de Collados (1305m) y Rivas (1300m).
La configuración actual de la villa, sus puertas y recinto murado, parecen ser del siglo XIV. En origen el recinto contaba con cuatro puertas, según Ángel Almazán, de las que hoy sólo quedan dos, la de Oriente y la de Sollera, a la que pertenece la imagen. Consta de dos altos cubos redondos de flanqueo, con restos de matacanes en uno de ellos, unidos por un lienzo que alberga el arco de medio punto de acceso y cubierto por almenas.
Fueron estas tierras
del Señor de Lérida, despoblado situado a unos cuatro kilómetros
en dirección NO y donde se encuentra la ermita de San Miguel a
la que se acude en procesión, que junto con las fiestas de Semana
Santa se muestran como las más destacadas de la villa.
Tuvo esta villa picota,
hoy desaparecida, y un hospital para enfermos pobres según
nos indica Madoz.
