Kállai Kiss Ernő 1939-ben született Budapesten roma családban. Már általános iskolás korában bekerült egy fúvószenekarba, elvégezte a Liszt Ferenc Zeneművészeti Főiskolát, ahol Váczi Károly klarinétművésznél tanult.

1956-tól foglalkozott cigányzenével, a Magyar Rádió Népi Zenekara és a Magyar Állami Népi Együttes klarinét szólistája volt. Külföldi vendégszereplései során szinte az egész világot bejárta, 1971-ben az Egyesült Államokban Benny Goodman világhírű klarinétossal lépett fel. 1983-ben a margitszigeti Danubius Nagyszálló zenekarának vezetője lett.

1996-ban a magyar cigányzenészek "királyukká" választották, "megkoronázása" a Gellért Szálló halljában történt. 1998-ban az MDF színeiben indult az országgyűlési választásokon. Fia, ifj. Kállai Kiss Ernő is zenész, prímás.

A Liszt Ferenc-díjat kétszer (1987, 1997) kapta meg, 2001-ben a Magyar Köztársasági Érdemrend lovagkeresztje kitüntetést, 2003-ban a Kossuth-díjat vehette át, utóbbit félévszázados virtuóz előadóművészetéért, a műfaj megismertetését, megújítását és népszerűsítését segítő tevékenységéért. Kállai Kiss Ernőt 2006-ban a Magyar Köztársasági Érdemrend Középkeresztjével ismerték el, 2019-ben Józsefváros, 2020-ban Budapest díszpolgára lett.