No está claro que se pueda catalogar este conjunto de torre y palacio, bien conservado, como una auténtica casa fuerte, ya que si bien la torre pudo tener su origen en la serie de torres de defensa beréber del siglo X que se utilizaron en esta parte de la provincia, cuyo mejor ejemplo es la de Noviercas, y se sabe de su utilización durante las guerras entre castellanos, navarros y aragoneses como refugio, el resto de la edificación y el palacio del siglo XVI está poco orientada a la defensa, siendo por ejemplo las almenas de la tapia sólo decorativas.

La torre, que ha recibido recrecidas y profundas modificaciones con el tiempo, tiene una forma ligeramente troncopiramidal, con una base de 9 x 7 metros y una altura de 26 metros, con seis pisos de madera. La fábrica es de mampostería, con los remates en esquinas y ventanas de sillares de arenisca, más pequeños en la parte más antigua de la torre. Actualmente cuenta con ventanas con arcos lobulados y carpanel, y en los últimos pisos las ménsulas de lo que pudo ser un cadalso. La fachada tiene dos puertas, una con un gran escudo con dos medallones y otra que da acceso a las escaleras del palacio.

La primera noticia que tenemos de esta población procede del censo de Alfonso X El Sabio, de 1270, en la que cita la Aldea del Senor con 16 vecinos (alrededor de la treintena en la actualidad). López de Salcedo, cuya familia era dueña de la casa fuerte, escribió una crónica en la que explicaba el origen e historia de esta torre. Dice que en 1350, en tiempo del rey don Pedro de Castilla, Fernando de Morales, un caballero del linaje de Morales negros, recibió entre otros la casa fuerte de una aldea llamada Aldea del Señor, que tenía una torre que servía de defensa en toda aquella tierra contra las entradas de navarros y aragoneses en Castilla.

A finales del S XVIII la casa sigue siendo propiedad de la misma familia según Loperráez Corvalán, que indica que ...en el lugar de  la Aldea del Señor tienen los Ríos y Salcedos de Soria, cuya línea siguen los condes de Gómara, su casa solar con una buena torre, en donde se ven los escudos de sus armas... En Madoz, 1845-1850,  podemos leer que se trata de un palacio del señor conde de Gormaz [en realidad se trata del Conde de Gómara], cuyo edificio si bien es muy sólido y de bastante capacidad, no contiene cosa alguna notable...

La población cuenta con una iglesia románica y gótica, dedicada a  Ntra. Sra. de la Blanca, con un relieve reutilizado de un águila con las alas extendidas al estilo de las fíbulas visigóticas.