La serie dei documenti scritti di epoca altomedievale e medievale testimonia l’esistenza a partire dalla fine del X secolo di una turris „che è detta S. Vito“ , che potrebbe rappresentare il primo nucleo di un insediamento fortificato nel nostro territorio.

La presenza di un castello a Vignale è tuttavia attestata per la prima volta con sicurezza solo nel 1077 e poi ancora in un documento del 1150, in cui si parla di un „castro et burgo et curte de Vignale“. L’ubicazione di questo insediamento fortificato rimane però ancora del tutto ignota. I resti di un impianto fortificato che sono ancora oggi visibili tra la fitta vegetazione della collina detta appunto „Poggio del Castello“ sono con ogni probabilità quelli di un secondo insediamento, che sarebbe stato trasferito in questa posizione meglio difendibile solo verso la fine del XIII secolo.

Quest’ultimo castello di Vignale avrebbe comunque avuto vita piuttosto breve, dato che già agli inizi del XV secolo l’intero sistema delle fortificazioni signorili delle colline dell’entroterra piombinese appare in fase di progressivo smantellamento.