Larbaud Vichyben született, egy gyógyszerész egyetlen gyermekeként.Apja meghalt, amikor ő 8 éves volt, édesanyja és nagynénje nevelte föl. Mivel apja tulajdonában volt a Vichy Saint-Yorre ásványvíz forrás, annak bevétele könnyű életet biztosított számára. Luxus körülmények között járta be Európát, az Orient Expressen dandyként utazott.
A Poèmes par un riche amateur (egy gazdag amatőr versei) 1908-ban jelentek meg, Octave Mirbeau a Goncourt díjra javasolta. Három évvel később a Fermina Márquez című regénye capott pár szavazatot a díjra, de nem nyerte el. Ennek ellenére a francia irodalom kisebb klasszikusai között tartják számon.
Hat nyelven beszélt, így angolul, olaszul és spanyolul is. Franciaországban Coleridge, Walt Whiteman, Butler, Joyce műveit népszerűsítette, az Ulysses fordítását az ő felügyelete mellett végezte Auguste Morel (1924–1929).
1935-ben megbénult, és könnyű életének vége lett: el kellett adnia 15000 kötetes könyvgyűjteményét. Betegsége ellenére továbbra is elismerésekben részesült, végül 1952-ben kitűntették a Grand Prix national des Lettres díjjal. 1967-ben pedig az ő emlékére lapítottak irodalmi díjat.