Il demande de commencer à tracer l'hexagone, puis le plate forme. Il faudra excaver jusqu'au « roc vif » pour établir les fondations. La maçonnerie sera « de bons moellons non sujets à la gelée, assis en bains de mortier, lequel sera composé d'un tiers de chaux vive et de deux tiers de sable ». Au dessus du cordon, on établira un petit parapet à l'épreuve des petites pièces, surélevé d'un autre parapet de briques percé de créneaux. Les chemins de ronde avec garde-fous seront destinés à la mousqueterie... Le 16 mai 1680 , Louvois arrive en tournée d'inspection en Roussillon. Il écrit au roi au sujet du château de Villefranche « il est d'une nécessité absolue de construire un espèce de chasteau proposé M. de Vauban sur une hauteur qui commande toutes celles dont on peut incommoder le ville moyennant quoi ce poste qui est d'une extrême conséquence tant pour la conservation de Montlouis que pour celle du Roussillon deviendra extrêmement bon en ce que ( ) l'ennemi sera réduit à attaquer ce chasteau qui sera extrêmement fort ( ) ». Le ministre de la guerre donne les ordres de commencer les travaux en suivant le projet de Vauban tout « en y apportant modifications et nouveaux aménagements. Au lieu d'un magasin à poudre, faire autant de caves que l'on pourra sous les bâtiments et les voûter à l'abri de la bombe, l'une d'entre elles pouvant servir de magasin. Etablir une communication à la casemate par une galerie souterraine traversant sous le fond d'un fossé. Dès le 8 Juillet 1680, un marché est passé avec le sieur Boyer pour la construction du château. Les travaux commencent, se poursuivent au cours de l'hiver et au mois de février 1681, l'intendant annonce au ministre que l'on pourra conduire jusqu'au château l'eau de la source que l'on a trouvé dans les montagnes. Le 15 novembre, il reçoit la garnison, cent soldats supplémentaires sont demandés pour activer les travaux. Le château est opérationnel mais ceux-ci dureront six ans. Pour une vingtaine de canonnières, il n'y aura que deux pièces de 12, deux de 8 et six de 4, avec de quoi tirer deux cents coups chacune, ainsi que 12.000 milliers de poudre, du plomb et de la mèche à proportion, 24 arquebuses à crocs, une dizaine d'arquebuses rayées, 2000 grenades Vauban conclura :
« on ne saurait apporter trop de soins aux bâtiments de ce fort, d'autant que de sa beauté particulière dépend tout le mérite de Villefranche, qui sans la protection de cette pièce, ne peut jamais rien valoir, quelques choses qu'on y peut faire ». L'ennemi ne pourra tirer aucun avantage des hauteurs grâce au fort : « s'il prenait résolution de l'attaquer, il faudra qu'il fasse monter du canon trois ou quatre fois assez haut que les tours de Notre Dame, par des rampes aussi droites que des toits de maison ».