Como a un kilómetro hacia el sur de esta población, en el punto más alto de una alargada muela pétrea y próximo a lo que es el despoblado de Algarbe, entre el río Henar y el Arroyo de Zárabes, quedan los restos de lo que fuera una torre de defensa y vigilancia del valle, conocida como Torre de Algarbe. En la población se conoce el paraje como Carra Algarbe y suponían que servía de comunicación con La Peña (Peñalcázar).

De la exploración directa en campo se deduce que los restos que quedan son los de una torre de planta rectangular de 5,05 por 5,25 metros de lado en la base, sin talud, con muros de 1,65 metros de grosor en fábrica de mampostería bien alineada, de los que apenas queda un metro de altura, y que presenta un hueco interior de reducidas dimensiones (1,75 por 2,05 metros). Por el lado sur se encuentra casi a nivel del terreno labrado mientras que por el norte y noreste se asoma sobre un pequeño cortado rocoso.

Sin embargo la descripción que  podemos leer en el Corpus de castillos medievales de Castilla es que se trataba de una torre de planta casi cuadrada de 9,30 metros de lado, con unos muy sólidos muros de mampostería arenisca de algo más de tres metros de ancho, de casi igual tamaño al hueco. Es posible que se trate de un error o que no se refiera a los mismos restos.

El topónimo de origen árabe Algarbe, Al-garb, significa el poniente, que apoya la teoría de que era una avanzada de señales de la importante plaza de Peñalcázar respecto a la cuál se encuentra efectivamente a poniente, frente a la que la supone perteneciente al grupo de torres defensivas del valle del Rituerto por su forma y estructura, como Noviercas, y por tanto de origen beréber de los siglos X - XI. No obstante, como se aprecia en el perfil del terreno entre Torre Algarbe y Peñalcázar, no existe enlace visual directo entre ambas.

Hubo un hospital de beneficencia probablemente en el siglo XVI y una Arca de la Misericordia, que facilitaba créditos en especie. Parroquial gótica de Nuestra Señora la Blanca y Ermita de la Soledad. En el despoblado de Algarve se encuentran los restos de la Ermita de Santiago, despoblado que en los mapas de Francisco Coello de 1860, con textos de Madoz, aparece como la Torre de Algarbe. Almazul contó con una importante cabaña trashumante en época del Honrado Concejo de la Mesta.