Родился в слободе Голодаевка (ныне село Куйбышево, Куйбышевский район, Ростовская область).

В Красной армии с декабря 1919 г., доброволец. Участник Гражданской войны.  

В первые дни Великой Отечественной войны подполковник Гречко досрочно окончил академию и проходил службу в оперативном управлении Генеральном штабе РККА. С июля 1941 г. командовал 34-й отдельной кавалерийской дивизией Юго-Западного фронта.С января 1942 г. — командир 5-го кавалерийского корпуса, с апреля — командующий 12-й, с сентября — 47-й, с октября 1942 г. — 18-й армиями. В январе 1943 г. вступил в командование 56-й армией, в октябре 1943 г. назначен заместителем командующего войсками Воронежского фронта, а в декабре — командующим 1-й гвардейской армией, которую возглавлял до конца войны.

После окончания войны командовал войсками Киевского военного округа. С 1953 г. — главнокомандующий Группой советских войск в Германии. В 1955 г. Гречко присвоено звание Маршала Советского Союза. С ноября 1957 г. — первый заместитель министра обороны СССР — главнокомандующий Сухопутными войсками, с 1960 г. — первый заместитель министра обороны СССР, главнокомандующий Объединенными вооруженными силами государств — участников Организации Варшавского Договора.

С апреля 1967 г. А.А. Гречко — министр обороны СССР. 

А.А. Гречко — дважды Герой Советского Союза, награжден шестью орденами Ленина, тремя орденами Красного Знамени, двумя орденами Суворова 1-й ст., двумя орденами Кутузова 1-й ст., двумя орденами Богдана Хмельницкого 1-й ст., орденом Суворова 2-й ст., медалями СССР, орденами и медалями иностранных государств.