Il passe toute sa jeunesse à Quimper, puis s'installe à Paris, où il fréquente notamment dans le quartier de Montmartre et se fait de nombreux amis dont Picasso qu'il rencontre en 1901, Braque, Matisse, Apollinaire et Modigliani. Juif de naissance, il se fait baptiser à l'âge de 40 ans, en 1915 avec Picasso comme témoin.
Après avoir vécu à Saint-Benoît-sur-Loire de 1921 à 1928 auprès de l'abbaye bénédictine, il y revient en 1936 pour s'y retirer définitivement et y mène une vie quasi-monastique.
C'est là qu'il est arrêté par la Gestapo d'Orléans le 24 février 1944, avant d'être déporté au Camp de Drancy, où il meurt d'épuisement deux semaines plus tard en dépit de diverses interventions pour le faire libérer, dont celles de Jean Cocteau et Sacha Guitry. Max Jacob comptait parmi ses nombreux amis Jean Moulin qui prendra le pseudonyme de Max dans ses activités de résistant . Son corps a été inhumé en 1949 à Saint-Benoît-sur-Loire. Sa tombe a été ornée d'un de ses portraits réalisé en 1935 par son ami René Iché.