Il castello normanno-svevo di Vibo Valentia si ritiene sia stato edificato da Ruggero il Normanno, che costruì nel 1074 la prima torre, sui resti di un antica costruzione greca.

 L'idea, in origine, era di costruire una sorta di fortificazione della città. Le caratteristiche di questa prima struttura non sono ancora ben accertate, si hanno dubbi anche sull'esistenza di questa prima torre (probabilmente di impianto esagonale o triangolare) di cui oggi l'edificio non conserva traccia.

 Federico II di Svevia affidò a Matteo Marcofaba l'opera di ampliamento della struttura, successivamente ripresa da Carlo d'Angiò nel 1289.

Tra le parti dell'edificio risalenti al periodo svevo è ancora visibile la "torre mastra" così chiamata, nelle fonti settecentesche, la torre angolare della parte nord-est. La tipologia di questa torre riprende le caratteristiche degli impianti difensivi della Puglia e del castello di Belvoir in Israele.

A questo periodo risalgono anche i resti della scala a chiocciola, posta nelle vicinanze della torre circolare.

Originariamente l'ingresso era posto sulla parte orientale del castello, dove ancora oggi è possibile osservare i resti di un portale.

Con Carlo d'Angiò si dette l'avvio a nuovi lavori di ampliamento, con interventi sulle mura che ne migliorarono le caratteristiche difensive.

Tra le altre cose furono aggiunte altre due torri circolari, una cisterna nel cortile e un nuovo ingresso sul lato sud-occidentale.

Nel 1500 il Pignatelli fece costruire una chiesa per il culto di San Michele, di cui è possibile ritrovare i resti dell'abside nel cortile del castello.

Oggi l'edificio è la sede del museo archeologico e gli uffici della Soprintendenza Archeologica della Calabria.

Il museo "Vito Capialbi" custodisce numerosi reperti di origine romana e greca ritrovate nell'antica zona di Hipponion.

Al piano superiore sono esposti ritrovamenti del territorio relativi all'area preistorica e protostorica mentre al piano terra  vi è l'esposizione delle città greche con le necropoli e i materiali provenienti da alcune importanti collezioni vibonesi (Capialbi, Cordopatri, Albanese), tra cui il monetiere Capialbi.

Per quanto riguarda le testimonianze riferibili alla città romana, il museo custodisce statue di togati, pavimenti a mosaico e oggetti di vario uso.

Nella torre nord sono esposti alcuni reperti provenienti dalla necropoli romana, altri dalla città tardo-antica ed altri ancora dagli scavi effettuati a Vibo Marina, Briatico, Bivona, Cessaniti.