Appena fuori del centro storico di San Rufo, a monte del Santuario della Tempa, su un cocuzzolo si vedono ancora i ruderi del Castello di Calvanello, mentre non sono più visibili i resti dell’antico borgo che si sviluppava ai suoi piedi.
Sorto tra il IX ed il X secolo non assunse mai il carattere di una residenza, conservando sempre invece quello militare. Intorno ad esso infatti crebbe l’omonimo borgo fortificato, i cui abitanti trovavano rifugio all’interno delle mura del castello, ricambiando la protezione ricevuta prestando la propria manodopera nelle terre del proprietario.
La distruzione del Castello e del borgo avvenne, sembra, a causa della sopraffazione reciproca col vicino e ormai scomparso borgo di San Marzano, probabilmente tra il XIV ed il XV secolo.