Le château de Passy-les-Tours est situé sur la commune de Varennes-lès-Narcy dans la Nièvre. Grâce à la mobilisation de l’association Les Tours de Passy qui œuvre pour sa sauvegarde et sa mise en valeur, le château fait l’objet d’un classement au titre des monuments historiques le 25 juillet 2018.

A son apogée, l’édifice mesurait environ 50 m de côté flanqué à chaque coin de quatre tours rondes. Seule subsiste la tour sud-est avec des murs d’un mètre soixante dix d’épaisseur dont la base comporte une pièce voûtée. Elle forme un angle avec le corps de logis, dans lequel se trouvent les vestiges d’une tourelle en surplomb.

Construit à la fin du XIV^e siècle par Jean de Chevenon, alors Conseiller de Charles VI de France, il était pourvu d’un donjon de 25 m de hauteur qui dominait la voûte d’entrée, encadrée de deux tourelles de contrefort.

Le bâtiment fut probablement construit par le même architecte que celui du château de Chevenon (Nièvre), propriété de son frère Guillaume, qui était capitaine du château de Vincennes. Le corps de logis et les murs d’enceinte furent abattus lors des guerres de religion, puis le colombier, une partie des tours et des murailles le furent par les propriétaires successifs pour en tirer des pierres afin de réaliser d’autres constructions.

Pendant la guerre de Cent Ans, à partir de 1422, il est occupé par le capitaine Perrinet Gressart qui tint tête à Jeanne d’Arc lors du siège de La Charité-sur-Loire en 1429. Le château devient en 1782, la propriété du marquis de Vergennes, homme politique et diplomate.

Aujourd’hui, le site sert de décor à une fête médiévale annuelle qui se tient début septembre. Une danse (une bourrée précisément) porte le nom de Passy. Elle s’exécute en quadrette. Probablement pour évoquer la forme du château.