Apja szociáldemokrata orvos volt, aki családjával 1907-ben költözött Moszkvába. Romm a középiskola elvégzése után rögtön megkapta a behívóparancsot, s két évig katonáskodott. 1921-től 1925-ig képzőművészeti tanulmányokat folytatott, szobrásznak készült, de egy idő után kételkedni kezdett saját tehetségében. Foglalkozott színházi rendezéssel, művészeti kiállításokat rendezett, plakátokat és könyvborítókat tervezett, francia szépirodalmat fordított, a filmezés közelébe a Nevelésmódszertani Intézet gyermekfilm-osztályán került. 1931-ben a Moszfilm stúdió munkatársa lett, ahol vágóasszisztensként, majd forgatókönyvíróként foglalkoztatták.

1934-ben kapott először lehetőséget az önálló rendezésre: Maupassant Gömböc című novellájának némafilm-változatát készítette el. Következő filmje, a Sivatagi tizenhármak - az amerikai kalandfilmek mintájára - egy maroknyi elszánt komszomolista küzdelmét ábrázolta a közép-ázsiai harcosok ellen. A drámai erejű, expresszív előadásmódú filmet nem sorolta legsikerültebb művei közé, noha a közönségnek tetszett.

A harmincas évek végén két filmet is készített Leninről, Lenin októbere és Lenin 1918-ban címmel, amelyekkel megkísérelte az októberi forradalom vezetőjének emberi arcát ábrázolni, de nem szabadulhatott a kor ideológiai kényszereitől. (1955-ben kivághatta a filmekből a Sztálin-epizódokat, de a kép így is egyoldalú maradt.) 1943-ban forgatta - az általa legjobbnak tartott - Ábránd című filmjét, amely azonban a háború miatt nem kapott nagy figyelmet.

A művészi alkotómunka körülményei a háború után sem javultak a Szovjetunióban. Romm az ötvenes években készült filmjeinek konfliktusa, cselekményvezetése, hangvétele egyaránt a kor esztétikai előírásait követte, így a rendező, aki tisztában volt alkotásainak e fogyatékosságával, 1956 és 1961 között nem jelentkezett új filmmel. A moszkvai Állami Filmművészeti Főiskola tanáraként viszont számos fiatal és tehetséges rendező, például Grigorij Csuhraj, Andrej Tarkovszkij indulását segítette.

1961-ben elkészítette az atomfizikusokról szóló Egy év kilenc napja című alkotását, amelyben az élet és halál kérdéseiről töprengett. Utolsó - egyben legjobb és legismertebb - filmje az 1965-ben forgatott Hétköznapi fasizmus, amely dokumentarista eszközökkel, a tragikum és az irónia nyelvén leplezte le a nácizmust, egyéni módon kutatva a fasizmus lélektanát.

Moszkvában a Filmszínészek Színházának művészeti vezetője lett. Filmpublicisztikai munkáiból Jegyzetek a filmről címmel 1968-ban Magyarországon is megjelent válogatás. A szovjet filmművészet első nemzedékének nagy hatású alkotója 1971. november 1-jén halt meg Moszkvában.