Kisgyermek korában kezdett zongorázni, tízenévesen már többek közt Liszt Ferenc műveit játszotta és hangszerelte. A Frederick Russell Jones néven született Jamal húszévesen tért át az iszlámra, egy évre rá pedig megalapította The Three Strings nevű trióját, amellyel a New York-i Embers Clubban fedezte fel őket John Hammond és szerződtette le az Okeh Records.
Zenei befolyását Thelonious Monk-hoz is hasonlították, Miles Davis pedig egyszer úgy nyilatkozott: „Minden inspirációm Ahmad Jamaltól származik.” 
New Yorkba költözött majd 1970-ben elismerést kapott Johnny Mandel zeneszerző M*A*S*H című szitkom című témájának elektromosan erősített billentyűs változatáért. Ugyanebben az évben Jamal adta ki egyik jelentősebb trióalbumát, a The Awakening-et Jamil Nasser basszusgitárossal és Frank Gant dobossal. Hip-hop előadók például Jay-Z, Common és Nas rengeteg inspirációt és zenei mintát kölcsönöztek tőle. 2017-ben Grammy Életmű-díjat kapott.

fotó: Gerald Martineau/The Washington Post, Sarah Lee/The Guardian