En collaboration avec un directeur de prison progressiste, le juge Garth obtient la libération conditionnelle de Matthew Cordell (Robert Redford), un homme qui a passé la majeure partie de sa vie en orphelinat ou en prison. Il est affecté à son ranch Shiloh pour y travailler un an comme forgeron. Cordell, qui a subi des mauvais traitements toute sa vie, reste distant et a plusieurs altercations avec les ouvriers du ranch. Il sauve le cheval de Betsy Garth, qui commence à tomber amoureuse de lui, mais il est davantage intéressé par Rita Marlow, la propriétaire de la boutique de vêtements du village. Les ennuis commencent lorsque Deke (Don O'Kelly), un ancien compagnon de prison de Cordell, arrive et tente de le convaincre de l'aider à cambrioler le juge Garth.