หลังจากพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่5) เสด็จสวรรคตในปีพ.ศ. 2453 พระราชชายาเจ้าดารารัศมีได้ขอพระบรมราชานุญาตจากพระบาทสมเด็จพระมุงกฏเกล้าเจ้าอยู่หัว (รัชกาลที่6) เสด็จกลับเชียงใหม่ในปีพ.ศ. 2457 และประทับอยู่ ณ คุ้มท่าเจดีย์กิ่ว เมื่อเริ่มมีพระชนมพรรษาที่มากขึ้นและทรงโปรดความสงบ จึงได้มีการสร้างที่ประทับส่วนพระองค์ขึ้นในอำเภอแม่ริมชื่อว่าพระตำหนักดาราภิรมย์ และริเริ่มทำสวนทดลองการเกษตรขึ้นในพื้นที่บริเวณโดยรอบพระตำหนัก เพื่อช่วยเหลือการกสิกรรมของภาคเหนือ ซึ่งมีการทดลองปลูกพืชผักเมืองหนาว เช่น กะหล่ำปลีสีม่วง แครอท บีทรูท แคนตาลูป การทำนาข้าว ปลูกพืชสวนครัวและไม้ดอกหอม
ในเวลาต่อมาสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธ์ุ กรมพระนครสวรรค์วรพินิต ทรงตั้งนามพระราชทานว่าสวนเจ้าสบาย ให้มีความคล้องจองกับหาดเจ้าสำราญ ในจ.เพชรบุรี
ข้อมูลจาก พิพิธภัณฑ์พระตำหนักดาราภิรมย์
