Secondo i documenti antichi, Santa Vittoria era abitata già nella preistoria e poi, più tardi, ai tempi dei Romani. L’attuale fisionomia del paesaggio è dovuta allo stretto legame con la vicina città di Alba e con il sito romano “Pollentiaâ€, oggi Pollenzo.

Come in molti altri luoghi, anche qui, nel corso della storia, si susseguirono molteplici feudatari, signori del luogo. Nel 1381 Antonio Porro, appartenente alla nobile famiglia dei Visconti, ottenne in feudo i territori di Santa Vittoria e di Pollenzo, che rimasero sotto il suo controllo fino al 1404. Senza dubbio gli investimenti finanziari del nuovo signore si concentrarono maggiormente sul borgo di Pollenzo, che nel 1386 venne completamente ricostruito sulle antiche fondamenta.
Indipendentemente dalle testimonianze storiche, sono visibili interventi architettonici operati anche nel borgo di Santa Vittoria: Antonio Porro fece rialzare la torre, sulla quale fece installare caditoie più profonde, e potenziò le costruzioni esterne della fortezza con una struttura muraria, eretta davanti al portone d’ingresso alla villa, simile a quella esistente a Pollenzo. E’ molto probabile che la costruzione sia stata effettuata prima a Santa Vittoria e poi, in seguito, a Pollenzo.
Già nel 1381, in presenza del Magister Michelino di Asti, Porro affidò ad un ingegnere il compito di restaurare l’intero castello. Nel 1433, per desiderio della Famiglia Visconti, il feudo passò alla Famiglia Romagnano e rimase in suo possesso fino al 1730.
In seguito all’estinzione della stirpe dei Romagnano, Santa Vittoria venne ceduta al conte Caisotti e rimase in possesso della sua famiglia fino al 1799, quando venne lasciata in eredità all’ “Ospedale Maggiore di San Giovanni†di Torino.
Il territorio fu poi acquistato dal re Carlo Alberto e divenne così parte, insieme a Verduno e a Pollenzo, delle proprietà della corona. Dal 1907 il borgo è di proprietà privata. La torre e le mura del castello hanno ispirato lo scenario per l’adattamento cinematografico del romanzo “Il segreto di Santa Vittoriaâ€, scritto da Robert Crichton nel 1966: si tratta di una commedia americana che vede tra i suoi protagonisti Anna Magnani e Anthony Quinn.