La memoria storica del “Castrum S. Victorini” risale al 1163, in uno dei diplomi con i quali l’imperatore Federico Barbarossa accordava una serie di benefici al Comune di Gubbio. Il “Palatium”, massiccia costruzione in pietra, ingentilita da una torre rotondeggiante, sorge su una collina, sicuramente luogo privilegiato per vigilare le vie d’accesso alla città.

La collina e il suo palazzo fortificato si inquadrano nella struttura difensiva; la corte su cui esso sorge, insieme alla chiesa e alla sua prebenda, oltre a costituire un insieme architettonico unico e austero, forse erano il luogo destinato ad offrire asilo ai forestieri di passaggio. Là passava la “Via Francescana” che continuava per l’abbazia di Vallingegno, San Pietro in Vigneto e Assisi.