Histoire
D'après la legende, le nom du château viendrait du géant Isoré, personnage issu d'un roman de Chrétien de Troyes du 12ième siècle. Le géant Isoré était un roi Sarrasin qui dépouillait et tuait les pélerins allant du Nord à Compostelle. Un ermite, Guillaume d'Orange (de la ville d'Orange), le décapita lors d'un combat et libéra ainsi le chemin vers Compostelle.Le nom vient plus probablement du latin Isuriacum, ou propriété d'Isurius, un noble gallo-romain.
Le premier propriétaire documenté est Jean d'Armagnac, qui acquit le domaine en 1581. Le château, encore un manoir car sans tour, comprenait uniquement l'aile est et une tourelle hexagonale abritant l'escalier. Jean d'Armagnac était 1er valet de chambre du roi, charge qui échut à son fils, Jean II d'Armagnac,dont les armes sont reproduites au dessus de la porte de la tourelle. Au cours du 17ième siècle, on ajouta l'aile nord ainsi que la grange dimière et les dépendances.
Après 1714 le domaine est vendu et connait une succession de propriétaires. En 1914 le château est réquisitionné par l'armée française, pour y créer un 'sanatorium' pour les officiers français. Ceci ne fût pas de bonne augure pour le château vu que la dernière propriétaire de la noblesse Jeanne Vatar de Aubiers vendit le château à une famille d'agriculteurs qui en firent une ferme.
En 1983 la commune d'Avoine achète le château, pour en faire un centre équestre et une maison de retraite, ce qui ne s'avéra pas possible. Le château fut finalement acquis en 2009 par les propriétaires actuels.