Le premier chevalier connu est Foucaud de Barrière cité en 1190. On peut penser que le château de Barrière montait au Xe et XIe siècle une garde vigilante sur l'antique voie reliant Agen à Périgueux via Bergerac, Villamblard et Grignols. L'édifice passera successivement aux mains des de Barrière, Talleyrand, Calvimont, de Lur et Taillefer. A la Révolution, les métairies seront vendues comme bien national. Le château, partiellement pillé, sera acheté par la famille Lafaye vers 1808.
Un document de l'année 1631 nous le décrit de la façon suivante: "Il est entouré de beaux et grands fossés taillés dans le roc, pleins d'eaux vives et pont-levis avec une belle et grande basse-cour entourée elle aussi de murailles et fossés".
Au XVIIe siècle, des procès et d'importants travaux de restauration justifiés par les dommages subis au cours du Moyen-Age et par les sièges menés contre lui durant les guerres de religion faillirent entrainer sa vente.
Le plan dressé en 1808 donne une vision précise de l'aspect de ce château. Une grande partie des fossés est comblée par le tracé d'une route. La grande tour ronde placée au sud (emplacement de l'ancien hôtel du Périgord) est rasée vers 1860. En avril 1898, un violent incendie ravage ce qu'il reste de l'édifice. La famille Murat fera don des ruines à la commune de Villamblard en 1924. L'effondrement d'une partie de la tour de la chapelle en 1980 sera l'ultime épreuve de cette longue agonie. Une partie des fossés et des deux enceintes subsiste encore. Près d'eux s'élève l'ancien châtelet d'entrée auquel étaient accolées les écuries (privées).
D'importants travaux de consolidation et de rénovation ont été entrepris par la commune depuis les années 2000 afin de sauvegarder les structures existantes du bâtiment. Elle est accompagnée dans sa tâche par l'association TAILLEFER créée en 1996. Les trois planchers du logis nord et de l'ancien donjon ont été rétablis ainsi qu'un escalier permettant l'accès aux étages. Une Quatrième tranche de travaux qui avait pour but de remonter la brèche de la façade donnant sur le bourg s'est achevée en 2020. Le volume du logis Est restauré accueille une exposition sur les fanciennes forges de la vallée de la Crempse. Une importante collection de plaques de cheminée est également visible au deuxième étage du château. Une nouvelle tranche de travaux concernant l'accessibilité du bâtiment va bientôt débuter.