Origine et signification Cet odonyme peut avoir pour origine le nom du siège épiscopal de Capsa (ou Capse), aujourd'hui Gafsa, en Tunisie, attribué en 1788 « in partibus infidelium » à Charles-François Bailly de Messein (1740-1794), originaire de Varennes, et qui fut nommé, la même année, évêque coadjuteur du diocèse de Québec. Curé de Pointe-aux-Trembles (Neuville) pendant la plus grande partie de son épiscopat, Bailly a légué une bonne partie de ses biens aux pauvres de Neuville où il avait d'ailleurs voulu être inhumé. Il avait lui même attribué le nom Capsa à un rang de l'arrière-pays de Neuville.