Le Parc Major's Hill a été construit par la Commission de la capitale nationale et est dédié au Major Daniel Bolton, du Corps of Royal Engineers.
Lorsque le Lieutenant-Colonel By arrive au Canada en tant qu’ingénieur-surveillant chargé de la construction du canal Rideau, il fait bâtir une maison pour sa famille et lui sur un tertre à l’intérieur de l’enceinte militaire, surplombant l’entrée du canal. Au fil des ans, l’emplacement de sa demeure devient connu sous le nom de « colline du Colonel ». Lorsque le Lieutenant-colonel By retourne en Angleterre en 1832, son commandant en second, le Major Daniel Bolton, le remplace et déménage dans sa résidence. L’emplacement est alors appelé la « colline du Major », nom qui lui restera en dépit du fait que d’autres remplaçants viendront par la suite habiter la maison.
En devenant le premier parc officiel de la Ville d’Ottawa, le lieu a été nommé « parc Major’s Hill », en l’honneur du Major Daniel Bolton. On y trouve de nombreuses plaques commémoratives et des statues du Lieutenant-colonel By, du Major Bolton et de leurs successeurs.