La liste des seigneurs qui l'ont provisoirement possédé se décline du Xe siècle avec les sires de Coligny, puis les Monnet à partir du XIIIe siècle, jusqu'au XVIIIe avec les Blandin
(petits seigneurs de Châlain), en passant par Nicolas Rolin, chancelier de Philippe le Bon en 1423. Sa relative petite emprise lui permit de traverser le temps beaucoup mieux que la plupart de ses homologues plus conséquents. Une haute cour très
resserrée autour du grand donjon ne permettant pas d´abriter une troupe réellement inquiétante... Lui non plus ne fut pas épargné par les deux "grands" Louis de France, le XIème en 1479 et le XIVème en
1668, mais il est l'un des seuls à pouvoir encore arborer des blessures de guerre (on distingue encore sur son flanc nord le passage d'un boulet ayant localement enfoncé le parement), tant ses agresseurs le dédaignèrent et nous
livrèrent ainsi un des plus beaux témoins comtois.
Il constitue un vestige modeste par sa taille certes, mais précieux en tant que tel, car peu remanié et assez bien préservé.