Des travaux considérables sont entrepris de 1850 à 1856 pour fortifier le château.
Vauban avait fait une erreur en construisant celui-ci trop en retrait par rapport à la ville, l’ennemi pouvant passer entre les deux sans qu’on le voit, ni d’en haut, ni d’en bas.
Toujours obnubilé par le possible retour des Espagnols, Napoléon III plaque trois ouvrages mi-bastions, mi-tours carrées côté vallée Mont Louis, Vernet les Bains et Prades qui serviront de canonnières avec feux croisés. L’entrée du château sera transférée au nord-est de celui-ci protégée par une tour ronde, se dérobant ainsi aux feux d’Ambulla.
Mais surtout il fera construire le fameux souterrain dit « des milles marches ».
