Родился в деревне Сковорово Селижаровского района Тверской области (Россия) в семье сельского кузнеца. В 1916 г. окончил Селижаровское высшее начальное училище. Работал на железной дороге в городском поселке Пено, сплавщиком леса в верховьях Волги, грузчиком в городе Самара. В Красной Армии добровольцем с апреля 1919 г. Участник Гражданской войны 1918—1929 гг. и советско-финляндской войны 1939—1940 гг. Окончил военные академии имени Фрунзе (1931) и Генштаба  (1953). В Великую Отечественную войну на Западном, Северо-Западном, Калининском, Сталинградском, Воронежском, Степном, Юго-Западном, 2-м Украинском и 3-м Белорусском фронтах. Во время Белорусской операции 1944 г. 5-я танковая армия во главе с Ротмистровым П. А. участвовала в освобождении Борисова и Минска. После войны командовал бронетанковыми и механизированными войсками Группы советских войск в Германии, потом на Дальнем Востоке. С 1948 г. заместитель начальника и начальник кафедры Военной академии Генштаба, с 1958 г. начальник Военной академии бронетанковых войск. С 1964 г. помощник министра обороны СССР по высшим военно-учебным заведениям. Автор книг «Время и танки» (1972), «Танки на войне» (1975) и других.

Награжден орденами: шестью Ленина, Октябрьской Революции, четырьмя Красного Знамени, Суворова I и II степени, Кутузова I степени, Красной Звезды, «За службу Родине в Вооруженных Силах СССР» III степени, медалями, Почетным революционным оружием, иностранными наградами.

Похоронен на Новодевичьем кладбище в Москве. 

Именем П. А. Ротмистрова в 1988 г. названа улица в Заводском районе. На доме № 2 установлена мемориальная доска (1988).

На улице расположена непассажирская железнодорожная станция Шабаны.

В Великую Отечественную войну на Западном, Северо-Западном, Калининском, Сталинградском, Воронежском, Степном, Юго-Западном, 2-м Украинском и 3-м Белорусском фронтах. Во время Белорусской операции 1944 г. 5-я танковая армия во главе с Ротмистровым П. А. участвовала в освобождении Борисова и Минска.

Указом Президиума Верховного Совета СССР от 7 мая 1965 года за умелое руководство войсками, мужество, отвагу и героизм, проявленные в борьбе с немецко-фашистскими захватчиками, и в ознаменование 20-летия победы советского народа в Великой Отечественной войне 1941—1945 гг. главному маршалу бронетанковых войск Ротмистрову присвоено звание Героя Советского Союза.

Ротмистров Павел Алексеевич // Герои Советского Союза : краткий биографический словарь : [в 2 т.] / Министерство обороны СССР, Главное управление кадров, Институт военной истории, Центральный архив ; [А. А. Бабаков (руководитель) и др.] ; редколлегия : И. Н. Шкадов (председатель) [и др.]. — Москва : Воениздат, 1988. — Т. 2. — С. 374.

Ротмистров Павел Алексеевич // Их именами названы... Улицы Минска : энциклопедический справочник / [редколлегия : В. В. Андриевич (главный редактор) и др.]. — Минск : Беларуская Энцыклапедыя, 2014. — С. 337.

Ротмистров Павел Алексеевич // Республика Беларусь: энциклопедия: [в 6 т.] / редколлегия : Г. П. Пашков (главный редактор [и др.]. — Минск : Беларуская энцыклапедыя, 2008. — Т. 6. — С. 516.