1907 június 25-én született Elisavetgrádban egy narodnyik családba (forradalmi mozgalom volt). Amint ő maga állítja, a bilitől kezdve verseket írt, mert a Tarkovszkij családban a a kommunikáció természetes formája volt a költészet. Egymásnak rímbe szedett leveleket írtak, a feljegyzéseik és a család története is rímekben íródott. Arszenyij Alexandrovics ezt a szokását élete végéig megtartotta.
Az iskola befejezése utám Moszkvába ment, ahol a frissen érkezett költő az Összoroszországi Költő Egyesülés Magasabb állami Irodalmi Kurzusain vett részt. Gregorij Shengheli, első mentora javaslatára jutott munkához.
A háború után "Néhány év versei" címmel kiadásra készítette elő összegyűjtött verseit, amelyek azonban nem jelentek meg, mivel a Kommunista Párt Központi Bizottsága lapőjai, a a Zvezdá-ban és a Leningrádban amegsemmisítő kritikával illették a legjelentősebb kortárs költőket. Tarkovszkij költészete sokáig maradt ismeretlen a nagyközönség számára, bár fordításai igen népszerűek voltak. Keleti költők verseinek ragyogó fordításait máig újra meg újra publikálják.
1989 május 27-én halt meg. Boris Pasternak mellé temették, Pasternak sírköve alá Peredelkinoban.