Dopo i Vespri siciliani nel 1282, l’isola partecipò alla rivolta riconoscendo come sovrano Pietro III d'Aragona, ma fu riconquistata dagli angioini l’anno seguente. Nel 1284 fu riconquistata dalle truppe aragonesi e Carlo II d'Angiò non fu in grado di riottenere il controllo fino al 1299.
Come conseguenza dell’ultima eruzione la popolazione si rifugiò a Baia dove rimase per ben 4 anni. Nel 1320 Roberto d'Angiò e la moglie Sancia in visita presso l’isola dove furono ospitati da Cesare Sterlich, che dalla Santa Sede era stato mandato da Carlo II a governare l’isola nel 1306 e che aveva, al tempo, ben 100 anni.
Ischia fu assoggettata da Carlo Durazzo nel 1382, riconquistata da Luigi II d'Angiò nel 1385 e occupata nuovamente da Ladislao di Durazzo nel 1386; fu saccheggiata dalla flotta dell’Antipapa Giovanni XXIII sotto il comando di Gaspare Cossa nel 1410 solo per poi essere ripresa l’anno seguente da Ladislao. Nel 1422 Giovanna II d'Angiò diede l’isola al figlio adottivo Alfonso V d'Aragona ma, quando questo cadde in disgrazia, la riprese nel 1424 con l’aiuto di Genova.
Nel 1438 Alfono rioccupò il castello, mandando via tutti i cortigiani e lo proclamò colonia del Regno di Castiglia, facendo sposare ai propri soldati, le loro mogli e figlie di quelli espulsi. Diede l’avvio ai lavori di costruzione di un ponte che collegasse il castello al resto dell’isola scavando così una grande galleria. Infatti a tutt'oggi entrambe di questi lavori possono essere visibili ancora. Nel 1442 offrì l’isola a una delle sue favorite, Lucrezia d’Alagno che, una volta al potere, delegò il governo al genero, Giovanni Torella. Alla morte di Alfonso, nel 1458, restituirono l’isola alla casata angioina.
Ferdinando I di Napoli diede ordine ad Alessandro Sforza di cacciare Torella dal castello e affidò l’isola, nel 1462, a Garceraldo Requesens. Nel 1464, dopo una breve insurrezione a favore di Torella, fu nominato governatore Marino Caracciolo.
Nel febbraio 1495, con l’arrivo di Carlo VIII, Ferdinando II approdò sull’isola e prese possesso del castello e, dopo aver ucciso il castellano traditore Giusto di Candida con le sue stesse mani, lasciò il controllo dell’isola a Innico d'Avalos, marchese di Pescara e Vasto, che difese l’isola dalla flottiglia francese. Fernando e la sorella Costanza, giunti sull'isola, diedero origine alla dinastia D’Avalos che avrebbe retto la signoria dell’isola nel corso del 16° e 17° secolo.
