Au gré des fluctuations de la loi sur les paris, Oller mènera en parallèle sa carrière de directeur de théâtres et d¹opérateur de paris mutuels.
La rivalité entre Joseph Oller et Albert Chauvin, fondateur du "Pari Mutuel Chauvin" (1888) à l'imitation du Pari Mutuel Oller" (créé vingt ans plus tôt) s¹est étendue du monde des courses à celui du spectacle, tournant à la haine, et au drame: en février 1900, la foule se presse devant le Trianon-Concert; la salle, bâtie sur le jardin de l¹Elysée-Montmartre, appartient alors à Albert Chauvin. On fait la queue pour acheter les places du dernier spectacle à sensation : Fregoli, le transformiste. Albert Chauvin s¹est déplacé à Londres pour convaincre la star de se produire chez lui. On imagine la tête de Joseph Oller en voyant la file des acheteurs jusque devant son Moulin-Rouge qu¹il n¹arrive plus à remplir.
Quelques jours plus tard, le 18 février, le Trianon-Concert est en flammes. Les décors, la machinerie et les deux cents costumes de Fregoli partent en fumée dans la nuit. Albert Chauvin est effondré et on pense évidemment à un incendie criminel organisé par Oller, quand celui-ci annonce que Fregoli se
produira chez lui, à l¹Olympia, dix jours plus tard. Il fait le pari qu¹en moins de dix jours, ses ouvriers parviendront à recréer les costumes et les décors du grand Fregoli. Pari tenu. Fregoli restera suffisamment longtemps à l¹affiche de l¹Olympia pour en faire une salle mythique.

Joseph Oller meurt en 1922, ses descendants auront le soin de continuer la bagarre avec Albert Chauvin qui mourra sept ans plus tard, laissant le Pari Mutuel Chauvin à son gendre, André Carrus. Les deux familles poursuivront jusque dans les années 1980 leur lutte pour conquérir le marché des paris
hippique, mais elles le feront dans le cadre du PMU, institué par les sociétés de courses en 1931. Joseph Oller repose au Cimetière du Père-Lachaise.