เกาะหนู เกาะแมว เป็นสัญลักษณ์สำคัญของจังหวัดสงขลา คู่กับแหลมสมิหลา เกาะที่อยู่ใกล้ชายฝั่งกว่ามองดูคล้ายหนูและอีกเกาะหนึ่งซึ่งอยู่ไกลออกไปคล้ายแมว เหมาะแก่การตกปลา มีนิทานเล่าถึงประวัติของเกาะหนู เกาะแมวไว้ว่า

“นานมาแล้วมีพ่อค้าชาวจีนคนหนึ่งคุมเรือสำเภาเดินทางค้าขายแถบชายทะเลจากเมืองจีนมาถึงเมืองสงขลา เมื่อขายสินค้าหมดแล้ว ก็จะซื้อสินค้าจากสงขลาบรรทุกสำเภากลับไปขายที่เมืองจีน ปฏิบัติอยู่อย่างนี้เป็นประจำ วันหนึ่ง เมื่อขายสินค้าหมดแล้วก็เข้าเมืองสงขลา เพื่อซื้อสินค้ากลับไปขายเมืองจีน ระหว่างที่เดินซื้อสินค้าอยู่นั้น พ่อค้าได้เห็นหมากับแมวคู่หนึ่งมีรูปร่างหน้าตาน่าเอ็นดู จึงขอซื้อหมากับแมวคู่นั้นเอาลงเรือไปด้วย ฝ่ายหมากับแมวเมื่อลงเรือนาน ๆ ก็เกิดความเบื่อหน่ายและอยากจะกลับไปอยู่บ้านที่สงขลา จึงปรึกษากันหาวิธีการที่จะกลับบ้าน หมาได้บอกกับแมวว่าพ่อค้าเรือสำเภานั้นมีดวงแก้ววิเศษสำหรับกันจมน้ำ หากใครได้ไว้ก็จะไม่จมน้ำ แมวจึงคิดอุบายที่จะได้แก้ววิเศษนั้น โดยไปข่มขู่หนูให้ขโมยแก้ววิเศษของพ่อค้ามาให้ โดยที่หนูขอหนีขึ้นฝั่งไปด้วย ครั้นเรือเดินทางมาถึงเมืองสงขลาอีกครั้งหนึ่งหนูก็ลอบเข้าไปขโมยเอาดวงแก้วของพ่อค้ามาโดยอมเอาไว้ในปาก แล้วทั้งสามหนีลงจากเรือว่ายน้ำจะไปขึ้นฝั่งหน้าเมืองสงขลา ขณะว่ายน้ำมาด้วยกัน หนูซึ่งว่ายนำอยู่ข้างหน้าก็นึกขึ้นได้ว่าดวงแก้วที่ตนเอาไว้ในปากนั้นมีค่ามหาศาล เมื่อถึงฝั่งหมากับแมวก็คงจะแย่งเอาไป จึงคิดที่จะหนีหมากับแมวขึ้นฝั่งตามลำพัง จะได้ครอบครองดวงแก้วเป็นสมบัติของตนตลอดไป แต่แมวซึ่งว่ายน้ำตามหลังหนูมาก็คิดอย่างเดียวกับที่หนูคิด ก็ว่ายน้ำตรงรี่เข้าไปหาหนู ฝ่ายหนูเห็นแมวตรงเข้ามาก็ตกใจ นึกว่าแมวจะเข้ามาตะปบ จึงว่ายน้ำหนีสุดแรง และไม่ทันระวังตัว ดวงแก้ววิเศษที่อมไว้ในปากก็ตกลงหายไปในน้ำ เมื่อดวงแก้วจมน้ำไปแล้วทั้งหนูและแมวต่างก็หมดแรงไม่อาจจะว่ายน้ำต่อไปได้

สัตว์ทั้งสองจึงจมน้ำตายกลายเป็นเกาะหนูเกาะแมวอยู่ที่อ่าวหน้าเมืองสงขลา ส่วนหมาก็ตะเกียกตะกายว่ายน้ำไปจนถึงฝั่งด้วยความเหน็ดเหนื่อย หมาจึงขาดใจตายกลายเป็นหิน เรียกว่า เขาตังกวนอยู่ริมอ่าวสงขลา ส่วนดวงแก้ววิเศษที่หล่นจากปากของหนู ก็แตกแหลกละเอียดเห็นหาดทราย เรียกกันว่า หาดทรายแก้ว อยู่ทางด้านเหนือของแหลมสน ยื่นออกไปในอ่าวสงขลา”