La prima notizia del castello risale al 951 quando Berengario II e Adalberto re confermarono alla badessa Ermenegilda la corte di Casei con il Castello; così pure fece Enrico III nel 1054.