Dominant la vallée de la Vézère depuis le Moyen Âge, le château de Losse connaît son âge d'or au XVIe siècle sous l'impulsion de Jean II de Losse, gouverneur de Guyenne et homme de cour des derniers Valois. 

Il transforme l'ancienne forteresse en une demeure Renaissance, sans renoncer à ses bastions. Losse incarne ainsi cette alliance entre architecture militaire, art de vivre et jardins. 

En 1930, la princesse Nhu May d’Annam, fille de l’empereur Hàm Nghi et ingénieure agronome, devient propriétaire du château de Losse et transforme le domaine en exploitation agricole. Après sa retraite, elle transmet la propriété à son neveu et se retire dans une maison voisine, où elle vit jusqu’à sa mort en 1999. À partir de 1976, une famille franco-belge engage une vaste campagne de restauration du château, toujours poursuivie aujourd’hui.