Nel 1123 i Normanni sbarcarono a Pantelleria per annetterla al Regno di Sicilia. Ad essi si deve la costruzione del Castello.
I Normanni lasciarono pressoché immutata l'organizzazione sociale, impiantata nel periodo arabo, soprattutto per quanto riguardava la distribuzione delle terre, per cui l'economia dell'isola, in genere, rimase fondata sull'agricoltura.
Cambiò, quindi, la giurisdizione della comunità pantesca, i musulmani rimasti sull'isola, infatti, non erano più i padroni, ma gli inquilini di una terra, che da lì a poco sarebbe passata sotto il governo cristiano.
Ai Normanni, e, successivamente agli Svevi, subentrarono gli Angioini, che, anche a Pantelleria, si resero autori di una serie di angherie e di una strangolante politica fiscale.
Con gli Aragonesi comincia l'ampia parentesi spagnola, durante la quale Pantelleria diventa Feudo e il Castello viene ampliato per ospitare nuove milizie. Lo stabilirsi del Regno cattolico di Spagna, e la caduta di Granada nel 1492, portò ad un'improvvisa fine della collaborazione con il potere musulmano africano.
Il Regno spagnolo determinò un nuovo flusso d'immigrazione dalla Sicilia, dalla penisola, e dalla Catalogna, oggi testimoniato dal nome delle famiglie residenti: Valenza, Errera, Belvisi, Ferrandes. Nel 1713, Pantelleria con la Sicilia passò sotto il Ducato dei Savoia, e, nel 1720, all'Austria, che ne resse le sorti fino a quando, nel 1734, Carlo di Borbone venne incoronato Re del Regno di Napoli e di Sicilia.