Brousse le Château est bâti sur un éperon rocheux dominant la rivière Tarn, très large à cet endroit.

Le magnifique château fort fut la propriété des seigneurs d’Arpajon.

Château et village forment un admirable ensemble, typique de l’architecture médiévale (rouergate).

L’accès au village se fait par un pont médiéval qui enjambe la rivière Alrance. Brousse le Château est également classé "Plus Beaux Villages de France".