PUSAT SUMBER SMK RAJA PEREMPUAN KELSOM DAHULUNYA DIKENALI SEBAGAI KUTUB KHANAH, TELAH MULA BEROPERASI SEJAK TAHUN 1960-AN. DARI RUANG LEGAR DI BANGUNAN INDUK, PSS KEMUDIANNYA DITEMPATKAN DI SEBUAH BILIK (KINI KOPERASI). PSS KEMUDIANNYA DIPINDAHKAN LAGI KE BANGUNAN SENDIRI IAITU BEKAS BANGUNAN DAPUR RESIDEN INGGERIS (KINI BILIK PAK21) PADA TAHUN 1970-AN. PADA BULAN JUN 2003, PSS TELAH DIPINDAHKAN PULA KE BLOK D (BANGUNAN BARU) DI ARAS TIGA DAN KEKAL HINGGA SEKARANG.