Джон Винсент Атанасов е роден на 4 октомври 1903 г. близо до Хамилтън, Ню Йорк. Неговият баща Иван Атанасов е български емигрант, роден в село Бояджик, Ямболско, през 1876 г., когато в разгара на Априлското въстание загиват неговите родители. През 1889 г. на 13-годишна възраст Иван Атанасов заедно с чичо си емигрира в Америка.

В училище, Джон Атанасов е добър ученик с интерес към спорта и най-вече към волейбола. Интересът му към волейбола намалява, когато баща му купува нова сметачна линийка, с която да си помага в работата. Джон е напълно запленен от сметачната линийка. Бил много доволен, че може да коригира отговорите. Баща му скоро вижда, че няма голяма нужда от линийката и тя е забравена от всички с изключение на Джон.

Джон е заинтересован от математическите принципи на операциите, извършвани с линийката, и от познанията за логаритмите. Това довежда до интереса му към тригонометричните функции. С помощта на майка си прочита учебника по алгебра за колежа на Тейлър. В този учебник са включени начални познания по диференциално смятане, раздел за безкрайни редове и как се пресмятат логаритми. През това време той научава от майка си за съществуването на бройни системи, различни от десетичната, и ги разучава — най-вече двоичната бройна система.

Когато Джон трябвало да постъпи в гимназия, семейството се премества във ферма в Олд Чикора, Флорида. Той завършва гимназията в Мълбъри за две години с отличие по науки и математика. След това решава, че иска да се занимава с теоретична физика. През 1921 г. постъпва в университета на Флорида в Гейнсвил. Тъй като университетът не предлага програма по теоретична физика, той започва курсове по електроинженерство. По време на курсовете проявява интерес към електрониката и продължава с висша математика. Дипломира се като бакалавър по електроинженерство през 1925 г. Получава много предложения за работа, включително от Харвард. Приема това от Щатския колеж на Айова, защото това е първото предложение, което получава, а и заради репутацията на заведението по отношение на техниката и науките.

Така през един летен ден на 1925 г. 22-годишният Джон се качва на влак, който го отвежда в Еймс, Айова, където се намира Щатският колеж на Айова. От септември до ноември е зает с работа по магистърската си степен и с преподаване на два математически класа. Въпреки че неговият социален живот бил твърде скромен заради напрегнатия му график, той бил запознат със студентското градче и с Dixie Club — клуб, организиран за студентите, които са далеч от домовете си.

През юни 1926 г. Джон защитава магистърска степен по математика в Щатския колеж на Айова и няколко дни по-късно се жени за Люра. Щатът Айова го наема за учител по математика; Люра още не е завършила своето образование по икономика и подписва договор за преподавател в училище през учебната година 1926-1927 в Монтана. Така тя може да спести достатъчно пари за обучението

По средата на годината решава да прекрати договора и да се върне в Еймс, за да е близо до съпруга си. Година по-късно се ражда най-голямата им дъщеря Елси. Преместват се в Медисън, Уисконсин, където Джон става докторант. Двете им други деца са близнаци. Работата му върху дисертацията „Диелектрическа константа на хелия“ дава на Джон първите познания по сложни пресмятания. Той прекарва часове с калкулатора на Монро — една от най-модерните сметачни машини по това време. През няколкото тежки седмици на пресмятания за завършване на дисертацията си е осенен от идеята да изобрети по-добра и по-бърза машина за пресмятания. След защитата на доктората си по теоретична физика през юли 1930 г. той се завръща в Щатския колеж на Айова с убеждението да направи по-добра машина за пресмятания.