C'est en 1424, à l'occasion du rachat de la Seigneurie de Sedan à Guillaume de Braquemont, son beau-frère, qu'Evrard de la Marck a fait construire un premier château qui englobait un prieuré. 

Ce château triangulaire fut très largement agrandi et renforcé par les descendants d'Evrard, huit princes et une princesse firent du Château Fort, le Géant de Sedan : le plus grand château fort d'Europe avec ses 35 000 m² de superficie 

En 1549, Sedan était une principauté comprenant 21 villages. Endroit stratégique entre le royaume de France et le Saint Empire Romain Germanique, la ville restera Principauté durant un siècle. Mais en 1642, Frédéric Maurice de la Tour d'Auvergne participe au complot de Cinq-Mars et, pour sauver sa tête, donne Sedan à la France.

L'armée française occupa alors le château durant 320 ans jusqu'en 1962, où la ville de Sedan le racheta pour le franc symbolique et vota lors d'un Conseil Municipal, à une voix près, de ne pas le détruire...  En 1963, Le château est classé Monument Historique.