พระตำหนักเขาน้อยปัจจุบันคือจวนผู้ว่าราชการจังหวัดสงขลา ซึ่งในอดีตสร้างขึ้นมาเพื่อเป็นที่ประทับของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลฑิฆัมพร กรมหลวงลพบุรีราเมศวร์ เมื่อครั้งเสด็จมาดำรงตำแหน่งสมุหเทศาภิบาล มณฑลนครศรีธรรมราช และต่อมาดำรงตำแหน่งสมเด็จอุปราชมณฑลปักษ์ใต้ ทรงสร้างโดยใช้พระราชทรัพย์ส่วนพระองค์ ลักษณะเป็นตึกทรงยุโรป 2 ชั้นครึ่ง ควบคุมการก่อสร้างด้วยนายช่างชาวอิตาลี การสร้างพระตำหนักเขาน้อยใช้เวลา 8 เดือน สิ้นเงินส่วนพระองค์ไปประมาณ 4,000 บาท ภายในตำหนักตกแต่งด้วยเฟอร์นิเจอร์แบบอังกฤษ สมเด็จพระเจ้าบรมวงศ์เธอเจ้าฟ้ากรมหลวงลพบุรีราเมศว์ เสด็จประทับ ณ ตำหนักเขาน้อย ตั้งแต่ปี พ.ศ. 2455 เป็นต้นมา จนถึงปลายเดือนพฤศจิกายน พ.ศ. 2468 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวเสด็จสวรรคต ณ พระที่นั่งจักพรรดิพิมาน กรมหลวงลพบุรีราเมศวร์ได้เสด็จกลับไปยังเมืองหลวง เพื่อร่วมในพระราชพิธีพระบรมศพพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว หลังจากเสด็จกลับไปครั้งนั้นแล้ว พระองค์ได้ประทับและดำรงตำแหน่งทางราชการในกรุงเทพมหานครตั้งแต่บัดนั้น โดยมิได้เสด็จกลับมาประทับ ณ เมืองสงขลาอีกเลย พระองค์ได้มอบตำหนักเขาน้อยให้เป็นสมบัติของทางราชการอยู่ภายใต้การดูแลรักษาของจังหวัดสงขลา