Родился в селе Малый Истороп Сумской области (Украина) в семье рабочего. Призван в армию в 1914 г., прошел рядовым Первую мировую войну. С 1917 г. в Красной гвардии, с 1919 г. в Красной Армии. В Гражданскую войну комиссар полка Первой Конной армии, воевал на Южном и Юго-Западном фронтах. Окончил курсы усовершенствования начсостава, в 1934 г. Военную академию имени М. В. Фрунзе. Командовал эскадроном, полком, был комиссаром полка. В 1937—1940 гг. служил военным атташе в  Китае.

В Великую Отечественную войну в 1942—1943 гг. начальник кафедры разведки Высшей специальной школы Генштаба Рабоче-Крестьянской Красной Армии, командующий 5-й танковой армией (участвовала в Сталинградской битве), 3-й танковой армией (успешно вела боевые действия в Острогожско-Россошанской, Харьковской наступательных, Харьковской оборонительной операциях), 3-й гвардейской танковой армией (отличилась в Курской битве и битве за Днепр). С конца 1943 г. танковые армии под командованием Рыбалко П. С. участвовали во Львовско-Сандомирской, Сандомирско-Силезской, Нижнесилезской, Берлинской и Пражской операциях.

С 1945 г. маршал бронетанковых войск, с 1947 г. командующий бронетанковыми и механизированными войсками.

Награжден орденами: двумя Ленина, тремя Красного Знамени, тремя Суворова I степени, Кутузова I степени, Богдана Хмельницкого I степени.

Похоронен на Новодевичьем кладбище в Москве.

Именем П. С. Рыбалко в 1948 г. названа улица в Ленинском районе. На доме № 1 установлена мемориальная доска.

За успешное форсирование Днепра (Битва за Днепр), умелое руководство армией в битве под Курском и Киевской наступательной операции 17 ноября 1943 года Павлу Семёновичу Рыбалко присвоено звание Героя Советского Союза.

 Второй медали «Золотая Звезда» Рыбалко удостоен 6 апреля 1945 года за боевые отличия войск под его командованием на завершающем этапе войны и проявленный личный героизм.

Рыбалко Павел Семенович // Герои Советского Союза : краткий биографический словарь : [в 2 т.] / Министерство обороны СССР, Главное управление кадров, Институт военной истории, Центральный архив ; [А. А. Бабаков (руководитель) и др.] ; редколлегия : И. Н. Шкадов (председатель) [и др.]. — Москва : Воениздат, 1988. — Т. 2. — С. 387.

Рыбалко Павел Семенович // Их именами названы... Улицы Минска : энциклопедический справочник / [редколлегия : В. В. Андриевич (главный редактор) и др.]. — Минск : Беларуская Энцыклапедыя, 2014. — С. 342.

Рыбалко Павел Семенович // Минск : энциклопедический справочник / Белорусская Советская Энциклопедия ; [редколлегия : И. П. Шамякин (главный редактор) и др.]. — Изд. 2-е, дополненное и переработанное. — Минск : Белорусская Советская Энциклопедия, 1983. — С. 357.