Este castelo é un símbolo das aspiracións dos galegos e coma tal aparece no escudo do Concello de Cospeito. A Torre de Caldaloba, rodeada por un singular sistema de fosos, sufriu a furia da guerra Irmandiña (1467-1469) e foi reconstruída por Fernán Ares de Saavedra, o xenro de Pardo de Cela. A posición serviu aos herdeiros do mariscal de Galicia para resistir os ataques de Diego López de Haro, enviado polos Reis Católicos, ata que en 1485 o alxibe quedou estragado, forzando a rendición dos defensores. Segundo sinala o historiador Xabier Moure, a fortaleza foi entón vendida e desmantelada para aproveitar os escombros.
A Torre foi erixida entre os séculos XIII e XIV encol dun outeiro de algo máis de catrocentos metros de altura, o Coto do Mato, aproveitando os fosos dun castro da Idade de Ferro. Este conxunto segue a ser de propiedade privada, malia ser Monumento Nacional por decreto de 1949, e Ben de Interés Cultural dende 1994. Logo de máis dun século sen reparacións, en 1998 foi consolidada de xeito parcial por expertos da Universidade Politécnica de Madrid. Dúas décadas despois, aquelas obras resultan insuficientes por mor da ausencia de mantemento e a filtración da auga.
Este baluarte de base cadrada e vinte e cinco metros de alto está na lista vermella de Patrimonio Galego, a entidade altruísta que leva catalogados máis de dez mil bens do país. A situación da Torre é crítica, rodeada de maleza e con numerosos derrubamentos e fendas na pedra. Na parte superior desapareceron o teito e parte do muro. Dende 2016, asociacións a prol do patrimonio e veciños de Cospeito instan ao Concello a rehabilitar o castelo e instalar sinalización, para preservar o monumento histórico, conservar os restos arqueolóxicos da contorna e que poida atraer turismo.
Así as cousas, a propietaria da fortaleza e mailo Concello puxéronse de acordo en 2017 na necesidade de acondicionar os accesos e asegurar a fortaleza, mais tal vontade é insuficiente sen a fórmula legal axeitada e as condicións de financiamento necesarias para asegurar a estrutura. O alcalde de Cospeito, Armando Castosa, tentou obter a concesión temporal do castelo e procurou apoios na administración galega, esforzos polo de agora baldíos. Apois doutro duro inverno, o estado da Torre da Caldaloba podería chegar a ser irreversible.
