James Leith fit construire la première tour de ce qui allait devenir Leith Hall en 1650. Depuis, les lairds successifs l'ont agrandie, ce qui en fait aujourd'hui l'un des plus beaux exemples de châteaux de style « château » en Écosse. Le domaine de 113 hectares abrite également certains des plus beaux jardins d'Écosse. Le manoir est aussi l'un des rares châteaux écossais à être resté dans la même famille, transmis de père en fils. La famille avait des liens militaires très étroits et le manoir fut un bastion majeur lors de la rébellion jacobite de 1745-1746, avec des liens étroits avec Bonnie Prince Charlie. À la veille de la bataille fatidique de Cullodon, le laird, Andrew Hays, reçut un étui à écriture des mains du Prince, qui se trouve toujours au musée. Le musée abrite également le seul pardon jamais accordé à un jacobite par les Anglais après la bataille. Conformément à son passé militaire, le manoir fut transformé en hôpital militaire pendant la Première Guerre mondiale. La tragédie frappa en 1939 lorsque les deux derniers Lairds furent tués.