Bábel nació en una familia de origen judío en el gueto de Odesa, durante un periodo de desasosiego social en el que tuvo lugar el éxodo masivo de muchos judíos del Imperio Ruso. Bábel sobrevivió el pogromo del 1905, con la ayuda de vecinos cristianos que dieron refugio a su familia, pero su abuelo Shoyl fue uno de los 300 judíos asesinados.