การจัดการฐานข้อมูลเริ่มต้นจากการที่องค์การบริหารการบินและอวกาศสหรัฐอเมริกา หรือนาซาได้ว่าจ้างบริษัทไอบีเอ็ม (IBM) ประเทศสหรัฐอเมริกา ให้ออกแบบระบบเก็บรวบรวมข้อมูลที่ได้จากการสำรวจดวงจันทร์ในโครงการอะพอลโล (โครงการอะพอลโลเป็นโครงการสำรวจอวกาศอย่างจริงจัง และมีการส่งมนุษย์ขึ้นบนดวงจันทร์ได้สำเร็จด้วยยานอะพอลโล 11) ได้พัฒนาระบบการดูแลข้อมูลเรียกว่า ระบบ GUAM ( Generalized Upgrade Access Method) ซึ่งถือเป็นต้นกำเนิดของระบบการจัดการฐานข้อมูล
ต่อมาบริษัท ไอบีเอ็ม ได้พัฒนาระบบการจัดการฐานข้อมูลขึ้นมาใหม่เพื่อให้ใช้งานกับธุรกิจทั่วๆ ไปได้ เรียกว่า DL/I (Data Language/I ) จนในที่สุดก็ได้กลายมาเป็นระบบ IMS ( Information Management System)
ในช่วงปี พ.ศ. 2525 มีการนำระบบฐานข้อมูลเข้ามาใช้กับคอมพิวเตอร์อย่างเต็มที่ ได้มีการคิดค้นและผลิตซอฟต์แวร์เกี่ยวกับฐานข้อมูลออกมามากมาย การเจริญเติบโตของการจัดการฐานข้อมูลรุดหน้าไปอย่างรวดเร็วพร้อมกับระบบคอมพิวเตอร์และมีการพัฒนามาจนถึงทุกวันนี้
ปัจจุบันได้มีการนำคอมพิวเตอร์มาใช้ในการเก็บข้อมูล โดยใช้โปรแกรมสำเร็จรูปทั่วไปโดยที่ผู้ใช้ไม่ต้องเขียนโปรแกรมเอง เพียงแต่เรียนรู้คำสั่งการเรียกใช้ข้อมูลหรือการจัดการข้อมูล เช่น การป้อนข้อมูล การบันทึกข้อมูล การแก้ไขและเปลี่ยนแปลงข้อมูล เป็นต้น
ในอดีตยุคที่มีไมโครคอมพิวเตอร์เกิดขึ้นแรกๆ โปรแกรมสำเร็จรูปทางด้านการจัดการฐานข้อมูลที่นิยมใช้กันอย่างแพร่หลาย คือ Personal Filling System) ต่อมาได้มีโปรแกรมฐานข้อมูลเพิ่มขึ้นหลายโปรแกรม เช่น Datastar DB Master และ dBASE II เป็นต้นโดยเฉพาะโปรแกรม dBASE II ได้รับความนิยมมาก จนกระทั่งในปี พ.ศ. 2528 ผู้ผลิตได้สร้าง dBASE III Plus ออกมาซึ่งสามารถจัดการฐานข้อมูลแบบสัมพันธ์ (relational) เชื่อมโยงแฟ้มข้อมูลต่างๆ เข้าด้วยกัน ค้นหา และนำมาสร้างเป็นรายงานตามความต้องการได้สะดวก รวดเร็ว ต่อมาได้มีการสร้าง โปรแกรมสำเร็จรูปเกี่ยวกับฐานข้อมูลออกมา เช่น FoxBASE, FoxPro, Microsoft Access และ Oracle เป็นต้น