Au début des années 30, Olivier Châteauneuf, dix ans, orphelin de père, vit à Montmartre, rue Labat. Il y grandit insouciant avec ses copains (Riri, Loulou, Capdeverre...) et sa mère, la jeune et jolie mercière Virginie. Un matin cependant, celle-ci ne se réveille pas. Provisoirement recueilli par ses cousins Jean et Élodie, de jeunes mariés qui vivent dans le quartier, il échappe au déracinement redouté. Grâce à sa liberté de petit orphelin, il peut continuer de flâner dans « son » quartier, limité par le boulevard Barbès et la rue Marcadet. Dans sa solitude et son désespoir, il côtoie quelques figures chaleureuses et pittoresques : le mystérieux infirme Daniel, surnommé l'Araignée en raison de ses malformations, qui lui offre ses premiers livres ; la troublante et ravissante Mado, dont les charmes ne le laissent pas indifférent ; l'ultraconservateur Gastounet, nostalgique du passé et de la Grande Guerre ; le sans-filiste Lucien-le-Bègue et sa femme poitrinaire ; la vieille concierge Albertine Haque, obèse, bourrue, ridicule, mais qui aime offrir des tartines de chocolat… Et il y a surtout Bougras, un anarchiste septuagénaire, qui, bien que misanthrope, se prend d'amitié pour lui. Il lui apporte ainsi le partage, la chaleur et une sorte de figure paternelle qu'il recherchait. L'enfant l'accompagne dans quelques-uns de ses mille « petits boulots » et bricole avec lui des bagues dans des pièces de monnaie, part à la recherche de bois de chauffage ou va cirer les parquets d'un appartement de « riches ». Mais le chômage frappe la société de l'époque. Jean et Élodie ne peuvent plus l'héberger malgré l'affection qu'ils ont pour lui. Le départ est inévitable pour ce lointain Paris où vivent sa tante Victoria et son oncle qui « ont réussi ».