Budapesten született tisztviselőcsaládban. Az egyetem magyar-német szakának elvégzése után nevelőtanárként dolgozott, majd 1964-ben főiskolai nyelvtanár lett. Fiatalon bekerült egykori gimnáziumi tanára, Nemes Nagy Ágnes írói-baráti körébe, ahol többek között Mészöly Miklóssal, Ottlik Gézával és Mándy Ivánnal állt szoros kapcsolatban. 1958 és 1968 között írt verseiből állította össze első verseskötetét Töredék Hamletnek címmel, s szinte azonnal magára vonta az irodalmi közélet figyelmét, sokan költészettörténeti fordulatról beszéltek vele kapcsolatban. E kitüntető figyelem megsokszorozódott a következő kötet, az 1973-as Egy talált tárgy megtisztítása című után, amelyet az első magyarországi posztmodern verseskötetnek tart az irodalomkritika.

A hetvenes évektől kezdve Tandori kiterjedt "kalandozásokat" folytat a műfajok és művészeti ágak világában. Írt gyermekverseket és ifjúsági regényt (Nagy gombfocikönyv), filozofikus esszéket a magyar és a világirodalom, a zenei, a képzőművészeti élet jeles alakjairól, többek között Keserü Ilonáról, John Cage-ről, Wittgensteinről, Szép Ernőről, Ottlik Gézáról, Peter Handkéről. A saját nevének anagrammájából készült Nat Roid álnéven bűnügyi regényeket is publikált, színművei, hangjátékai Beckett és Thomas Bernhard abszurd kamaradarabjaira emlékeztetnek.

A hetvenes évek elején keletkeztek első képzőművészeti munkái (Dekalkomániák sorozat), majd önálló ciklusokként jelentek meg indigó- és írógéprajzai. 1980 óta szépirodalmi kötetei is igen gyakran az általa készített borítókkal és illusztrációkkal jelentek meg.

Műfordítóként is igen jelentős, elsősorban angol és német nyelvekből fordít, Musil, Kafka, Rilke, Handke, Bernhard, Sylvia Plath, Cummings, Salinger, Beckett, Virginia Woolf műveit. A hetvenes évek végén visszavonult az irodalmi élet nyilvánossága elől, ebben az időszakban nagy szerepet töltöttek be madarai, Szpéró veréb és társai, akik műveinek egyik legfontosabb ihletforrásai lettek. A nyolcvanas-kilencvenes évek fordulójától ismét kilépett a nyilvánosság elé, sokat utazott, s a lovak is bekerültek témái közé. Ebben az időben gyakori szereplője lett különböző irodalmi rendezvényeknek, saját műveit adta elő, meglepő és izgalmas módon, sőt - fején elmaradhatatlan kötött sapkájával - egy televíziós showműsornak egyedi hangú és megjelenésű házigazdája is volt.

Munkásságát számos kitüntetéssel ismerték el: 1978-ban József Attila-díjat, 1986-ban Déry Tibor-, 1989-ben Szép Ernő-jutalmat, 1990-ben Weöres Sándor-díjat, 1996-ban a Magyar Köztársaság Babérkoszorúját, 1998-ban Kossuth-díjat, 2000-ben Pro Urbe Budapest díjat, 2001-ben Tiszatáj-díjat, 2002-ben Soros-életműdíjat kapott. 2007-ben a rangos német kitüntetést, a Goethe-érmet is átvehette.