Es uno de los mejores ejemplos de torre-palacio que se conocen en España, es una torre esbelta y airosa. Se levantó a finales del siglo XV, hacia 1480-1490, y aunque de con aire militar y defensivo, de bélico no tiene nada, ya que su función militar es nula utilizándose en este caso este aire militar de una manera meramente estética y urbana. Parece ser que es el único resto que ha permanecido del antiguo palacio al que debió de estar adosada. También reseñar que es posible que gracias a su belleza se librara de ser desmochada por los Reyes Católicos como muchas otras torres de la ciudad ante el levantamiento de la nobleza.Presenta dos cuerpos. El inferior es de planta cuadrada realizado en mampostería a excepción de la base, ventanas y esquinas que están realizadas en sillería. Pasa de este cuerpo cuadrado a un segundo cuerpo de forma octogonal realizado en sillería al que se adosan en cada uno de los lados garitones, unicamente como hemos dicho con función decorativa, pero que llenan de gracia, galanura y altivez al conjunto de la torre. La decoración de esta torre totalmente gótica pudiéndose observar arquillos ciegos en la cornisa y decoración de red en la parte inferior de los garitones. Adosados a los garitones se alternan los escudos de Anayas y Sotomayores. Este es el motivo por el que se duda acerca de quién mandó construir esta torre. Para la gran mayoria fue el Clavero de la Orden de Alcántara don Francisco de Sotomayor, de quien recibe el nombre, y para otros el comendador de la misma orden fray Diego de Anaya.
Según han notado algunos estudiosos como Cooper la torre tiene un gran parecido con la torre del homenaje del castillo de los Sotomayor en Belalcázar, Córdoba, por lo que la autoría sería claramente dela familia Sotomayor. Realmente esta Torre del Clavero parece ser la versión palaciega, urbana y refinada de la torre de dicho castillo.
