Gailit sündis Valgamaal Sangaste mõisa läheduses Kuiksillal. Üles kasvas ta Laatre mõisas. Alates 1899. aastast õppis ta Valgas läti kihelkonna- ja linnakoolis, aastatel 1905–1907 Tartu linnakoolis.

Aastatel 1911–1914 töötas ta ajakirjanikuna Lätis, aastast 1916 Tallinna Teataja toimetuses, 1917–1918 Postimehe toimetuses. Ta võttis osa Vabadussõjast sõjaväeametnikuna ja sõjakirjasaatjana. Aastatel 1922–1924 elas ta Saksamaal, Prantsusmaal ja Itaalias ning seejärel kutselise kirjanikuna Tartus, hiljem Tallinnas. Aastatel 1932–1934 oli ta Vanemuise direktor.

Aastal 1944 põgenes Gailit koos perekonnaga Rootsi, kus ta elukohaks sai Örebro lähistel olev Ormesta mõis. Suri 5. novembril 1960 ja tuhastatud põrm on maetud Örebro põhjakalmistule. Matusetalitus toimus 13. novembril Örebro Olaus Petri kirikus. Hauakivi (kus leegitseva Tallinna silueti alla on kirjutatud "Üks leegitsev süda / üle rahutu vee") kujustas E. Raudsepp.

Gailit kuulus kirjanike rühmitusse Siuru. Tallinna Kirjanike Ühingu juhatuse liige. Alates 1945 Välismaise Eesti Kirjanike Liidu liige.