Родился в деревне Зайцево Горецкого района Могилёвской области в крестьянской семье. После окончания семилетней школы участвовал в создании колхозов, работал разнорабочим на кирпичном заводе. В 1930—1932 гг. учился в Оршанском педагогическом техникуме. Учительствовал. Окончил Объединённую белорусскую военную школу (1934), Ленинградские бронетанковые курсы усовершенствования командного состава (1935), Военную академию Генштаба (1943). В Красной Армии с 1932 г. С 1934 г. на командных должностях, был преподавателем Пуховичского пехотного училища, командиром учебного батальона. Участник похода Красной Армии осенью 1939 г. в Западную Белоруссию и Западную Украину, советско-финляндской войны 1939—1940 гг. Во время Великой Отечественной войны на Западном, Южном, Юго-Западном, Сталинградском, Донском, Брянском, Центральном, Воронежском и 1-м Украинском фронтах в качестве командира танкового батальона, полка, бригады, заместителя командира танкового корпуса. Участник оборонительных боёв под Минском, Могилёвом, Тулой, Харьковом, Воронежем, Сталинградской и Курской битв, освобождения Украины, Львовско-Сандомирской, Сандомирско-Силезской, Висло-Одерской, Берлинской и Пражской операций. После войны Якубовский И. И. командовал танковой дивизией, бронетанковыми и механизированными войсками, танковой армией в Ленинградском и Прикарпатском военных округах. С 1957 г. 1-й заместитель и Главнокомандующий Группой советских войск в Германии, с 1965 г. командующий войсками Киевского военного округа. С 1967 г. 1-й заместитель министра обороны СССР и Главнокомандующий Объединёнными вооружёнными силами стран-участниц Варшавского договора. Автор книг «Боевое содружество» (1971), «Земля в огне» (1975) и других. Депутат Верховного Совета СССР в 1961—1976 гг.
Награждён орденами: четырьмя Ленина, четырьмя Красного Знамени, двумя Суворова II степени, четырьмя Отечественной войны I степени, Красной Звезды, «За службу Родине в Вооружённых Силах СССР», медалями.
Похоронен у Кремлёвской стены на Красной площади в Москве.
Именем И. И. Якубовского в 1978 г. названа улица во Фрунзенском районе.
На улице расположен сквер Якубовского, средняя школа № 167.
Во время Великой Отечественной войны на Западном, Южном, Юго-Западном, Сталинградском, Донском, Брянском, Центральном, Воронежском и 1-м Украинском фронтах в качестве командира танкового батальона, полка, бригады, заместителя командира танкового корпуса. Участник оборонительных боёв под Минском, Могилёвом, Тулой, Харьковом, Воронежем, Сталинградской и Курской битв, освобождения Украины, Львовско-Сандомирской, Сандомирско-Силезской, Висло-Одерской, Берлинской и Пражской операций.
Представлен к награждению званием Героя Советского Союза за героизм в боях за Фастов, где бригада под его командованием только за день боя уничтожила 30 танков врага. Указом Президиума Верховного Совета СССР «О присвоении звания Героя Советского Союза генералам, офицерскому, сержантскому и рядовому составу Красной Армии» от 10 января 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом отвагу и геройство удостоен звания Героя Советского Союза.
За геройские действия в Львовско-Сандомирской операции полковнику Якубовскому вторично присвоено звание Героя Советского Союза указом от 23 сентября 1944 года.
Якубовский Иван Игнатьевич // Их именами названы... Улицы Минска: энциклопедический справочник / [редколлегия: В. В. Андриевич (главный редактор) и др.]. — Минск : Беларуская Энцыклапедыя, 2014. — С. 485.
Якубовский Иван Игнатьевич // Герои страны: Международный патриотический интернет-проект [Электронный ресурс]. — Режим доступа: URL: https://warheroes.ru/hero/hero.asp?Hero_id=295. — Дата обращения: 02.11.2023.
Якубовский Иван Игнатьевич // Минск: энциклопедический справочник / Белорусская Советская Энциклопедия ; [редколлегия: И. П. Шамякин (главный редактор) и др.]. — Изд. 2-е, дополненное и переработанное. — Минск: Белорусская Советская Энциклопедия, 1983. — С. 452.
Якубовский Иван Игнатьевич // Республика Беларусь: энциклопедия: [в 6 т.] / редколлегия: Г. П. Пашков (главный редактор [и др.]. — Минск: Беларуская энцыклапедыя, 2008. — Т. 7. — С. 718—719.