Gaston Chaissac nait le 13 août 1910 à Avallon (Yonne) de parents corréziens. Son père est cordonnier. Après la guerre et la séparation de ses parents, le jeune Chaissac demeure avec sa mère. Sa scolarité est, comme il le dira lui-même, "courte et chétive". L'école ne lui convient guère. Sa santé se révèle fragile. Souvent malade, il développe peu à peu un style de vie frileux et ascétique. On observe d'ailleurs que les personnages de ses tableaux – et même de ses "totems"- ont un corps fréquemment atrophié, et que leur visage exprime parfois un sentiment de souffrance.

A l'âge de treize ans, Chaissac quitte l'école pour entrer en apprentissage. Il touche à divers métiers sans se décider à en embrasser aucun en particulier.

En 1926, la famille Chaissac s'installe à Villapourçon (Nièvre).

En 1931, il est durement éprouvé par la mort de sa mère. Le mariage de sa sœur, qui quitte dès lors la cellule familiale, constitue également un choc pour lui. Il mettra longtemps à surmonter ce double traumatisme.