Родился 12 июня 1923 года в Москве, в семье рабочего.

В предвоенные годы Анатолий окончил 9 классов, прошел обучение в аэроклубе. В армии с 1940 года. В 1941 году окончил Тбилисскую военно-авиационную школу пилотов. С сентября 1941 года он — пилот истребительного авиационного полка. Позднее был командиром звена, заместителем командира авиационной эскадрильи 85-го гвардейского истребительного авиационного полка.

Свою боевую работу военный летчик А. Константинов начал в 19 лет с участия в Сталинградской битве. В ходе этой битвы лейтенант Константинов в ноябре 1942 года был легко ранен в руку.

Больше половины боевых вылетов у Константинова было связано с сопровождением штурмовиков. Анатолий обеспечивал эффективность их удара, отбивал атаки истребителей врага. За это он пользовался уважением у летчиков-штурмовиков, имел от командования штурмовых полков и дивизий благодарности.

И вот новая страница боевой биографии летчика А. Константинова — участие в боях по освобождению Крыма. В тот период он лично выполнил 44 успешных боевых вылета на сопровождение групп штурмовиков. В условиях ожесточенных воздушных боев с фашистскими истребителями молодой летчик сбил 6 самолетов противника: Ме-109ф, Ю-87, четыре ФВ-190.

С каждым месяцем росло мастерство Анатолия Устиновича. Он все чаще действовал как подлинный герой. Вот как сложился у него бой с фашистскими стервятниками 8 апреля 1944 года. Тогда он, ведущий четверки Як-1, выполнял боевую задачу по сопровождению группы штурмовиков. В районе цели они были атакованы 10 немецкими истребителями ФВ-190 и Ме-109ф.

Гвардии капитан Константинов, приняв мужественное решение, вступил в неравный бой. Под его руководством четверка истребителей сбила 3 вражеских самолета, остальные скрылись. Сам А.У. Константинов лично сбил тогда Ме-109ф. А главное — удалось предотвратить потери среди сопровождаемых штурмовиков.

В 1944—45 годах Константинов принимал участие в боях на территории Румынии и Венгрии. Тогда его эскадрилья успешно выполняла задания по прикрытию своих войск и военных объектов, не допускала их бомбардировки самолетами противника. В ряде воздушных боев летчикам приходилось бить численно превосходящего врага. Так, 21 октября 1944 года шестерка Як-1 под командованием гвардии капитана Константинова вылетела с задачей не допустить бомбардировки наших аэродромов самолетами противника. Истребители встретили до 30 самолетов ФВ-190 с подвешенными бомбами. Даже при пятикратном превосходстве противника Константинов завязал воздушный бой. В первой же атаке он сбил ФВ-190. Его ведомые последовали примеру комэска: сбили еще 2 ФВ-190. Смелые действия советских летчиков вызвали панику у противника. Не долетев до цели, вражеские летчики беспорядочно сбросили бомбы и ушли на свой аэродром.

К февралю 1945 года гвардии капитан Константинов на самолетах Як-1 и Як-9д совершил около 300 боевых вылетов на сопровождение штурмовиков и бомбардировщиков, прикрытие своих войск и перехват бомбардировщиков противника. Главный итог: в 90 воздушных боях Константинов лично сбил 19 самолетов противника. 4 февраля 1945 года он был представлен к званию Героя Советского Союза, которое было присвоено 15 мая 1945 года.

Помимо смелости и боевого мастерства, Анатолий Устинович в ходе войны проявил и талант руководителя. Являясь командиром эскадрильи, он умело командовал подчиненным летным составом. К февралю 1945 года летчики его эскадрильи сбили 25 самолетов противника, не понеся ни единой потери.

Всего за войну Анатолий Устинович совершил 327 боевых вылетов, провел 96 воздушных боев, сбил 22 самолета противника.

После окончания войны А.У. Константинов остался служить командиром авиаэскадрильи. Вскоре он был назначен заместителем командира полка. А с ноября 1952 года возглавил авиаполк. С февраля 1956 года он уже заместитель командира, а с марта 1957 года — командир истребительной авиационной дивизии. В апреле 1958 года он стал командиром дивизии ПВО.

В 1964 году А.У. Константинов окончил Военную академию Генерального штаба. С 1968 года командовал корпусом ПВО. В декабре 1970 года стал командующим Отдельной армией ПВО — заместителем командующего Дальневосточным военным округом по войскам ПВО.

В 1973 году Анатолий Устинович назначен командующим войсками Бакинского округа ПВО. В марте 1980 года он стал командующим войсками Московского округа ПВО.

В 1982 году окончил Высшие академические курсы при Военной академии Генерального штаба. С мая по август 1987 года и в 1990—92 годах работал в Группе генеральных инспекторов МО СССР.

Герой Советского Союза маршал авиации А.У. Константинов награжден двумя орденами Ленина, четырьмя орденами Красного Знамени, орденом Александра Невского, двумя орденами Отечественной войны I степени, орденом Отечественной войны II степени, двумя орденами Красной Звезды, орденом «За службу Родине в Вооруженных Силах СССР» III степени, многими медалями. Удостоен ряда иностранных орденов и медалей.

Живет в Москве.