เมื่อท่านต้องรับตำแหน่งนายกรัฐมนตรีเป็นคนที่ 2 ของประเทศ แทนที่พระยามโนปกรณนิติธาดา (ก้อน หุตะสิงห์) ที่ถูกรัฐประหารไปเมื่อวันที่ 20 มิถุนายน พ.ศ. 2476 การทำหน้าที่ของท่านไม่ราบรื่น เนื่องด้วยประสบกับปัญหาหลายด้าน ทั้งทางด้านเศรษฐกิจ การเมือง รวมทั้งการสงคราม ที่กำลังจะเกิดสงครามโลกครั้งที่สอง ขึ้น ทำให้ท่านต้องดำรงตำแหน่งนายกรัฐมนตรีติดต่อกันถึง 3 สมัย จากนั้นก็ลงจากตำแหน่ง แล้วเข้ามาเป็นรัฐมนตรีอีก 3 กระทรวง คือ รัฐมนตรีว่าการกระทรวงกลาโหม ในปี พ.ศ. 2477 รัฐมนตรีว่าการกระทรวงการต่างประเทศ และรัฐมนตรีว่าการกระทรวงการคลังในปี พ.ศ. 2478 จากนั้นเมื่อมีเหตุการณ์ผันผวนทางการเมือง ท่านก็กลับมาเป็นนายกรัฐมนตรี เป็นสมัยที่ 4 โดยนั่งควบตำแหน่งรัฐมนตรีว่าการกระทรวงเกษตราธิการ หลังจากนั้น ก่อนจะเข้าดำรงตำแหน่งเป็นนายกรัฐมนตรีสมัยที่ 5 วันที่ 21 ธันวาคม พ.ศ. 2480 และลาออกจากตำแหน่ง เมื่อวันที่ 11 กันยายน พ.ศ. 2481 และยุติบทบาททางการเมืองไป ซึ่งตำแหน่งนายกรัฐมนตรีคนต่อมาก็คือหลวงพิบูลสงคราม นายทหารรุ่นน้องที่ท่านไว้ใจนั่นเอง

พระยาพหลพลพยุหเสนาได้รับพระราชทานวังปารุสกวัน จากพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว ให้เป็นที่พำนัก แม้ถึงตอนที่พ้นจากตำแหน่งไปแล้ว ซึ่งท่านได้ใช้ที่นี่เป็นที่พำนักพักอาศัยตราบจนถึงวาระสุดท้ายของชีวิต[1]

พระยาพหลพลพยุหเสนา มีคติประจำใจว่า "ชาติเสือต้องไว้ลาย ชาติชาย ต้องไว้ชื่อ" ชีวิตของท่านไม่มีทรัพย์สินเงินทองมากมายเลยแม้จะผ่านตำแหน่งสำคัญ ๆ มามากก็ตาม[1] ใน พ.ศ. 2487 ระหว่างปลายสงครามโลกครั้งที่ 2 ในรัฐบาลพันตรีควง อภัยวงศ์ ที่ขึ้นมาแทนที่รัฐบาลของจอมพลแปลก ที่ได้ลาออกไปก่อนหน้านั้น เมื่อรัฐบาลมีมติปลด จอมพลแปลก ออกจากตำแหน่งแม่ทัพใหญ่ (ปัจจุบันคือ ผู้บัญชาการทหารสูงสุด) ก็ได้ขอให้ท่านรับตำแหน่งนี้เอาไว้ ทั้งที่ท่านประกาศไม่ยุ่งเกี่ยวกับการเมืองอีกแล้ว ประกอบกับร่างกายที่เป็นอัมพาตจากอาการเส้นโลหิตในสมองแตก แต่ท่านก็รับไว้ในที่สุด แม้จะปรารภว่าจะให้เป็นท่านเป็นแม่ทัพกล้วยปิ้งหรืออย่างไร อีกทั้งระหว่างการดำรงตำแหน่งนายกรัฐมนตรีของพันตรีควง ในช่วงนี้ เป็นที่หวาดวิตกว่า อาจมีรัฐประหาร ด้วยกำลังทหารจากจังหวัดลพบุรี ที่ยังให้การสนับสนุนจอมพลแปลกอยู่ เพื่อยุติภาวะอันนี้ พันตรีควง จึงตัดสินใจเดินทางไปพบจอมพลแปลกด้วยตัวเองถึงที่บ้านพักส่วนตัว ภายในศูนย์การทหารปืนใหญ่ จังหวัดลพบุรี หลังจากเจรจากันแล้ว จอมพลแปลกได้ยืนยันว่า ไม่มีความคิดเช่นนั้นเลย อีกทั้งยังมีความรักใคร่ พันตรีควง เสมือนเป็นน้องชายตนเอง ในการครั้งนี้ ด้วยความเป็นห่วงพันตรีควง พระยาพหลพลพยุหเสนาได้โทรศัพท์ไปสอบถามถึงบ้านพักของพันตรีควงถึง 2 ครั้ง เมื่อไม่ได้ความ ก็เดินทางออกจากวังปารุสกวันไปที่หลักสี่เพื่อรอคอยการกลับมาของพันตรีควงด้วยตนเอง ทั้งที่สภาพร่างกายไม่เอื้ออำนวย [2]

พระยาพหลพลพยุหเสนา ได้ล้มป่วยลงด้วยโรคอัมพาตเมื่อวันที่ 20 สิงหาคม 2488 เนื่องจากเส้นเลือดในสมองแตก แต่ด้วยความสามารถของนายแพทย์และด้วยกำลังใจอันเข้มแข็ง ช่วงที่พระยาพหลฯ ล้มป่วย ท่านได้เคยสั่งไว้กับปรีดี พนมยงค์ และ หลวงอดุลเดชจรัส ซึ่งเปรียบเสมือนพินัยกรรมการเมืองไว้ว่า