La torre fu costruita dagli Spagnoli poco dopo la metà del Cinquecento, quando l'intera zona apparteneva già allo Stato dei Presidii. Integrata nel sistema difensivo del promontorio dell'Argentario, le sue funzioni erano quelle di avvistamento e di difesa della costa settentrionale del promontorio, potendo comunicare in caso di pericolo con le vicine torri situate lungo il medesimo tratto costiero attraverso i caratteristici segnali luminosi.
All'inizio dell'Ottocento, durante il periodo napoleonico, nei pressi della torre fu costruito un altro fortino, oggi scomparso, che serviva a rafforzarne il sistema difensivo. Nel 1859 la struttura venne completamente disarmata e in seguito venduta a privati.
Durante la seconda guerra mondiale, più precisamente nel 1943, l'edificio venne semidistrutto nel corso di un bombardamento.
La Torre del Calvello, situata all'interno del parco di una struttura alberghiera, conserva solo alcuni dei suoi resti dopo essere stata colpita dai bombardamenti del 1943.
Originariamente, la struttura difensiva era cinta da una cortina muraria poligonale, che racchiudeva l'area di acceso, ove una rampa di scale esterna con ponte levatoio sommitale conduceva al portone d'ingresso che si apriva al piano rialzato.
Dell'antica torre si conservano soltanto i resti murari in pietra del basamento a scarpa a pianta quadrata, su cui poggiava la parte superiore della struttura turriforme che, nell'insieme, si sviluppava su tre livelli.