A zeneszerző Budapesten született 1927. november 8-án. Zenei tanulmányait viszonylag későn, 12 éves korában kezdte. 1947 és 1954 között Viski János és Farkas Ferenc növendékeként zeneszerzést tanult a Liszt Ferenc Zeneakadémián, majd ugyanott Ferencsik János, Kórodi András és Somogyi László irányításával karmesteri tanulmányokat folytatott. 1948 és 1969 között több budapesti kórust vezényelt.

Csaknem fél évszázados alkotói időszakában instrumentális műveket, dalokat, kantátákat egyaránt komponált. Darabjai közül nyolcvan-kilencven mű Magyarországon, mintegy ötven pedig külföldön (Darmstadtban, Pohlheimben, Frankfurtban, Tokióban, Moszkvában, Bostonban, Helsinkiben) jelent meg.

Karai Józsefet szoros szálak fűzték a kórusélethez. Sok magyar és külföldi énekkarral állt alkotói kapcsolatban. Műveit előadták Európa szinte valamennyi országában, Ausztráliában, az Egyesült Államokban, Japánban és Kanadában. 1998-ban a római Santa Maria in Vivario plébániatemplomban tartott Euro Festival Mariano verseny zsűrije az első díjat Karai József zeneszerző Ritmus és Mária-ének című, eddig kiadatlan kompozíciójának ítélte oda, amelyet Zákányi Zsolt vezényletével adott elő a kaposvári Vikár Béla Kórus.

Műveiben egyszerre kereste az újat és az éneklés ősi örömét, alkotásait éppúgy szánta hivatásos kórusoknak, mint amatőröknek.

Karai József temetéséről később intézkednek.