Jusqu'au XIIIe siècle, les gens du village où se situe le château était loyaux aux comptes de Toulouse qui, à l'époque, étaient des potentats indépendants plus puissants encore que le roi de France lui-même. La région était connue pour sa tolérance; sans doute que certains des habitants du début du XIIIe furent des cathares. La bataille décisive de la croisade des Albigeois fut livrée dans le village de Muret, proche du château.
Le village local a été recensé en premier par les romains. Les chevaliers de l'ordre de malte furent les seigneurs du manoir pour une longue période; ils ont probablement été succédés par les templiers. Les premiers seigneurs laïcs du manoir étaient l'ancienne et riche famille de Siregand, qui est entrée en possession de ces terres en 1633.
Joseph Jean Pierre Gaston de Siregand, comte d'Erce et vicomte d'Aulus (1760-1825) fut le premier châtelain de la maison actuelle. La construction a probablement débutée à l'époque de son père, autour de 1770, pour se terminée vers 1785 juste avant la révolution. Le jeune comte à vécu ici avec sa femme et ses deux petites filles jusqu'à la révolution. Ensuite, durant la première partie de ces temps troublés, il s'est enfui en Angleterre, laissant sa femme et ses enfants derrières lui. Son épouse fut arrêtée et emprisonnée à Cazères et ses deux filles données pour adoption à de soi-disant bonnes familles révolutionnaires. Les employés de la maison et les fermiers locaux furent indignés par cette nouvelle et, toujours fidèles à la famille, ont marchés sur Cazères afin d'obtenir la libération de leur maitresse. Elle fut libérée et ses deux filles lui furent rendues. Ils retournèrent discrètement au château où la maitresse s'occupa des affaires de la propriété jusqu'au retour de son mari quelques années plus tard. La chapelle fut réquisitionnée comme chambre de réunion par les révolutionnaires et ne fut rendue à la famille que bien des années plus tard après des longues négociations.
Pendant le XIXe, la maison est passée de famille en famille, la plupart du temps du coté maternelle au travers des mariages successifs. La maison a été occupée sans interruption depuis sa construction.
Cependant, les plus grands changements qui ont eu lieu dans cette région étaient récents. Jusqu'aux années trente, peu de choses avait changée depuis la révolution, et probablement, même depuis la fin du XVIIe. La communauté locale s'est beaucoup réduite depuis les années 1950 puisque le hameau ne compte plus qu'un quart de la population qu'il recensé en 1918. Néanmoins, la communauté rurale et les traditions locales sont toujours aussi vivaces.
