През есента на 1930 г. става член на преподавателския състав към университета като асистент по математика и физика. Със своята академична подготовка Атанасов чувства увереност, че може да открие по-ефективен начин за пресмятане на сложните математически задачи от своята дисертация. През периода на експериментите си с вакуумни лампи и в областта на електрониката той е повишен в доцент и по математика, и по физика.

След опити с много математически сметачни устройства, налични по това време, Атанасов установява, че те са два класа — аналогови и цифрови. Тъй като терминът „цифров“ тогава още не е използван, Атанасов отбелязва аналоговите устройства като „по-добрите машини за пресмятане“. През 1936 г. започва последния си опит за конструиране на малък аналогов калкулатор, използван за анализ на геометрията на повърхности. Атанасов вижда, че тази машина има същите проблеми като всички други аналогови устройства, където точността зависи от работата на други части на машината.

Силното му желание да намери решение на проблема го подлудява през зимата на 1937 г. Една нощ, разочарован от множеството безплодни мисли, се качва на колата си и кара без конкретна посока. След двеста километра спира в крайпътно заведение в Илинойс. Там пие бърбън и продължава да мисли по създаването на машината. Не след дълго, без нерви и напрежение открива, че мислите му се подреждат. Той започва да „ражда“ идеи как да направи компютър. След като му отпускат 650 долара от Щатския университет на Айова през март 1939 г., Атанасов се впуска в това вълнуващо приключение. За помощник наема добрия студент по електроинженерство Клифърд Бери (Clifford E. Berry). През периода 1939 — 1941 г. те работят по създаването и усъвършенстването на ABC (Atanasoff-Berry Computer), както е наречен по-късно техният компютър. Когато започва Втората световна война, на 7 декември 1941 г., работата по компютъра е прекъсната. Въпреки че Щатският колеж в Айова започва процедура по патентоване, компютърът им така и не е патентован.

През 1949 г. става научен ръководител на пехотните части във Форт Монро, Вирджиния. След една година се завръща във Вашингтон като директор на морската отбранителна програма в Морската артилерийска лаборатория. Там е до 1951 г. През 1952 г. създава The Ordnance Engineering Corporation (компания, която се занимава с научни изследвания и разработки в Роксвил, Мериленд) заедно със стария си приятел и състудент Дейвид Биичър. Компанията е продадена на Aerojet General Corporation през 1957 г. и Джон става мениджър на Атлантическия корпус от 1957 до 1959 г. и вицепрезидент от 1959 до 1961 г. През 1961 г. се пенсионира.

През 1974 г. се завръща в Щатския университет на Айова (името е променено на „университет“ през 1959 г.), за да бъде почетен гост и ръководител на най-голямото студентско събитие на нацията: Veisha. Съкращението идва от първите букви на дисциплините в университета: Veterinary Medicine, Engineering, Industrial Science, Home Economics и Agriculture. На фестивала обикновено присъстват повече от 250 000 човека. Той е поканен заедно със съпругата си Алис и двете им деца Джоан и Джон и техните семейства. Елси е в Индонезия със съпруга си и не може да присъства.