Notre premier seigneur, le sieur Nicolas Rioux, était le fils aîné de Jean Rioux, second seigneur de Trois-Pistoles. Ce dernier était cultivateur à l'Ile d'Orléans quand il échangea sa terre en 1696, pour la seigneurie de Trois-Pistoles qui avait été concédée en 1689 au sieur Charles Denys de Vitré. La seigneurie de Trois-Pistoles avait deux lieues de front, de la Pointe-à-la-Loupe au lieu occupé par l'église actuelle de cette paroisse. Jean Rioux acheta, en 1712, une seigneurie supplémentaire, concédée en 1701 au sieur de la Minotière, et qui mesurait une lieue de front, bornée à l'est par la paroisse actuelle de Saint-Simon. Il se trouvait donc propriétaire de trois lieues de front qui furent partagées entre ses fils, à sa mort, survenue entre 1700 et 1710.

             Nicolas Rioux avait hérité de la moitié de la seigneurie de son père. Il semble toutefois qu'il ne s'en trouva pas suffisamment pourvu puisque très tôt, il présente une requête aux autorités de la Nouvelle-France disant que "se trouvant à l'étroit pour établir sa nombreuse famille, il sollicitait une nouvelle concession de terre, c'est-à -dire l'espace non concédé qui se trouvait entre sa seigneurie et celle du Bic, ce qui formaient trois lieues de front sur quatre lieues de profondeur, ou douze lieues de superficie". On fit droit à sa demande. C'est ainsi que la seigneurie de la Baie du Ha! Ha! ou de Nicolas Rioux, fût concédée par le marquis de la Jonquière, gouverneur de la Nouvelle-France, à Nicolas Rioux le 6 avril 1751.

(Histoire de St-Fabien, Marielle Coulombe)