Родился 18 апреля 1921 года в селе Косяково Воскресенского района Московской области. Отец — Азаров Яков Петрович (1896—1972). Мать — Азарова Елена Тимофеевна (1897—1973). Супруга — Азарова Антонина Владимировна (1921—1992), участница Великой Отечественной войны, младший лейтенант медицинской службы; награждена орденом Отечественной войны II степени, медалями «За боевые заслуги», «За оборону Ленинграда», «За взятие Будапешта» и другими. Сын — Азаров Анатолий Викторович (1947 г. рожд.), зубной техник. Внучка — Бахерева Елена Анатольевна, преподаватель иностранных языков.

На фронте с июня 1941 года. В должности секретаря комсомольского бюро 505-го полка в составе 153-й стрелковой дивизии принимал участие в освобождении Ельни. После переименования дивизии в 3-ю гвардейскую участвовал в боях на Ленинградском и Волховском фронтах. В конце сентября был назначен на должность помощника начальника политотдела 4-го гвардейского стрелкового корпуса. В 1943—1944 годах был помощником начальника политотдела 57-й армии по комсомольской работе. Участвовал в Курской битве, освобождении Украины, Ясско-Кишиневской операции, во взятии Будапешта и Белграда. Был пять раз ранен.

После демобилизации в 1948 году заочно окончил Ростовский-на-Дону государственный педагогический институт. Работал директором Виноградовской средней школы Московской области, затем первым секретарем Виноградовского райкома КПСС. По окончании Высшей партийной школы был назначен директором Советско-партийной школы, затем первым секретарем Рузского райкома КПСС, а в 1961 году — первым секретарем Волоколамского горкома КПСС.

С 1966 по 1986 год являлся начальником управления культуры и начальником Главного управления культуры Московской области. В эти годы особое внимание уделялось развитию культуры на селе, укреплению кадров работников учреждений культуры, реставрировались памятники культуры, в том числе усадьбы А. Блока в поселке Менделеево, А. Пушкина в Б. Вяземах, Ф. Тютчева в Муранове, музея-заповедника «Абрамцево». Избирался депутатом Верховного Совета СССР, областного и Московского советов.

В.Я. Азаров награжден орденом Ленина, двумя орденами Трудового Красного Знамени, орденом Отечественной войны I степени, двумя орденами Отечественной войны II степени, двумя орденами Красной Звезды, орденом Дружбы народов, медалями «За оборону Ленинграда», «За оборону Москвы», «За освобождение Белграда», «За взятие Будапешта», «За победу над Германией», многими другими наградами.

В.Я. Азаров — Заслуженный работник культуры РФ, почетный гражданин Волоколамского района и Московской области.

С 1987 года Виктор Яковлевич является неизменным руководителем Московского областного совета ветеранов войны, труда, Вооруженных сил и правоохранительных органов. За эти годы совет превратился в хорошо организованную структуру, объединяющую около 2 млн ветеранов, 67 районных и городских советов, более 1700 первичных организаций.

Живет в Москве.