All'anagrafe di Montgomery, in Alabama, è Nathaniel Adams Coles . Fu la madre, organista di una chiesa, a insegnare al figlio a suonare il piano fino ai 12 anni, quando iniziò regolari lezioni di musica, anche classica, jazz ed il gospel. Quando poteva, usciva di casa di nascosto ed andava a sentir Louis Armstrong. Dalla seconda moglie Maria Ellington, ha avuto tre figli, tutti cantanti, e due adottati.
