Il est le fils de Philippe Aubert de Gaspe, avocat, fonctionnaire et futur seigneur usufruitier de Port-Joly, et de Susanne Allison. De 1827 a 1832, il fait des etudes au seminaire de Nicolet. Jusqu'en 1836, il vit a Quebec, ou il est stenographe et journaliste aux journaux The Quebec Mercury et Le Canadien. En 1835, une altercation avec le depute Edmund Bailey O'Callaghan lui vaut une condamnation en justice et un mois de prison. En 1836, il doit quitter Quebec apres avoir cause l'evacuation du parlement en y deposant une bouteille puante. Il reside alors au domaine de sa famille, a Saint-Jea...