Dans les années 1871 et 1872, la paroisse de Saint-Elie était desservie par le curé de Saint-Paulin. C'est lui qui fit construire le premier presbytère. Ce premier presbytère fut détruit par un ouragan en 1877. Il fallut ensuite attendre près de 30 ans pour qu'on reconstruise un nouveau presbytère. On déplaça la structure de l'ancien et on la répara pour en faire la maison du bedeau. Le presbytère actuel coûta, lors de sa construction, $12 598.61.
