Андрей Петрович был организатором и участником многих международных конференций, учёных групп, главных редколлегий советских и иностранных научных журналов, активным деятелем Международной федерации по обработке информации (IFIP)практически c момента ее создания в 1962 г. Труды А. П. Ершова по информатике, в том числе по теоретическому и системному программированию, получили международное признание: он был членом Американской ассоциации по вычислительной технике (1965), почётным членом Британского общества по вычислительной технике (1974).
Работы Андрея Петровича Ершова оказали большее влияние на юного Дональда Кнута, впоследствии его друга. Американский учёный, почётный профессор Стэнфордского университета, идеолог программирования, вспоминал: «Это началось ещё когда я был студентом последнего курса. Тогда только появилась книга Андрея „Программирование для БЭСМ“, и мы, группа студентов, смогли убедить преподавателя русского языка включить её в курс в качестве одного из двух сборников текстов для изучения научной лексики».
С апреля 1987 года Андрей Петрович был председателем Научного совета АН СССР по комплексной проблеме «Кибернетика». Активно участвовал в создании отраслевого журнала «Микропроцессорные средства и системы».
За существенный вклад в теорию смешанных вычислений А. П. Ершов был удостоен премии имени академика А. Н. Крылова. Имя А. П. Ершова носит Институт систем информатики, премия для молодых учёных СО РАН, аудитория и студенческая стипендия в НГУ, в институте хранится его мемориальная библиотека.
Делом его последних лет, которому Ершов отдал много сил и внимания, было осуществление национальной программы информатизации образования. Незадолго до смерти им была подготовлена рукопись рабочего варианта концепции информатизации народного образования, которая позже была издана. (было создание школьной энциклопедии по информатике).