Obično se navodi da je od sve Ivanove braće i sestara preživjela samo njegova tri godine starija miljenica - sestra Ljubica (1813. - 1842.). Međutim, to nije posve točno, jer je na životu ostao i njegov 11 godina stariji brat Eduard (1807. - 1842.), koji se u dnevničkim zapisima češće spominje. Sva su ostala braća i sestre doista pomrli u ranoj ili najranijoj dobi, po svoj prilici rođena odviše neotporna za život, djeca tuberkulozne majke. Ta bolest bila je i razlogom da je Ivan svoje otužno djetinjstvo morao provoditi daleko od roditeljskog doma, najprije kod očeva prijatelja u Zajezdi, a zatim po konviktima u Varaždinu i Zagrebu.
O tom svojem đakovanju Ivan ne daje najbolje svjedočanstvo. On priznaje da za učenje nije imamo mnogo volje, ali ipak prešućuje da se pod kraj do te mjere zapustio da je dospio među drugoredaše. On to objašnjava time da je tada bio opsjednut željom za junačkim činima, želeći se posvetiti vojničkom pozivu. Navaljivao je na oca i nije mirovao dok nije postigao da je otac uslišao njegove molbe i dopustio mu teška srca da prekine školovanje i ode u vojsku.