Antiquité
Plusieurs tumulus établissent un peuplement celte ancien sur le plateau alors que des vestiges de villas gallo-romaines sont relevés au niveau du village actuel.
Moyen Âge
De 1078 à 1400, on trouve la trace d’un monastère féminin placé sous la règle de Saint-Benoît. Le premier château est bâti vers 1220. Le 26 février 1430, lors de la guerre de Cent Ans, la noblesse bourguignonne est convoquée à Semur-en-Auxois pour résister aux ennemis du duc de Bourgogne qui viennent de prendre le château de Larrey. Ces ennemis étaient les Anglais qui s’étaient rués sur des possessions du duc de Bourgogne à la Chandeleur (vers le 2 février 1430). Vers le 7 mars, les troupes bourguignonnes assiègent ledit château qui sera finalement repris à la Quasimodo 1430 (le dimanche qui suit Pâques) par les Bourguignons.
Époque moderne
Henri IV en campagne contre les troupes du duc de Mayenne s’y arrête le 1er juin 1595 pour y recevoir l’allégeance des échevins de Châtillon-sur-Seine. Les habitants sont affranchis un peu plus tard de mainmorte par Charlotte de Gramont. Jusqu’à la Révolution, Larrey dépend du duché de Bourgogne et du bailliage de Châtillon.