O conxunto, rodeado por un recinto circular amurallado, está formado por unha vivenda e tres torres de planta cadrada que perderon as almenas. No andar superior dunha das torres destaca unha balconada de madeira apoiada sobre ménsulas de pedra. A entrada realízase por un arco oxival situado nunha das torres.
Tras un tempo abandonado, no século XX foi adquirido por Pedro Abelenda Díaz de Andrade, tataravó do actual propietario, Agustín Ordoñez Armán, que foi o encargado da súa rehabilitación, transformando o conxunto en vivenda familiar. O traballo realizado para rehabilitar o edificio, mereceu o recoñecemento institucional e recibiu o premio Hispania Nostra en 1993, premio que se outorga a monumentos recuperados e salvados da ruína.
Nas Torres de Mens cóntase unha lenda relacionada coa existencia dun paso secreto entre as Torres, a igrexa de Santiago e a praia de Seiruga. O conde que vivía nas Torres tiña presa unha moza do pobo e cando os veciños quixeron liberala, durante o ataque o conde fuxiu polo pasadizo, pero eles puxeron lume nas saídas impedindo así que fuxise.
Desde entón dise que o millo e o trigo que se sementen nas proximidades do pasadizo medran antes que o resto.