วังเก่าผู้สร้างและเป็นเจ้าของวัง คือ พระยาอภัยบริรักษ์(น้อย) ซึ่งเป็นเจ้าเมืองพัทลุงระหว่างปี พ.ศ.๒๔๑๒-๒๔๓๑ แต่ก่อนโปรดเกล้าฯ ให้เป็นเจ้าเมืองพัทลุง ท่านเป็นเจ้าเมืองปะเหลียนหัวเมืองจัตวาขึ้นกับเมืองพัทลุง ในปี พ.ศ.๒๔๑๐ ภายหลังพระยาพัทลุง (ทับ) ถึงแก่อนิจกรรมด้วยโรคลมปัจจุบัน พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๔ มีพระประสงค์จะให้พระยาวรนารถสัมพันธ์พงษ์(น้อย)เจ้าเมืองปะเหลียน มาเป็นเจ้าเมืองพัทลุง แต่ยังไม่ทันโปรดเกล้าฯ พระองค์ก็เสด็จสวรรคตเสียก่อน พระยาวรนาถสัมพันธ์พงษ์(น้อย) จึงรั้งเมืองพัทลุง (รักษาราชการเจ้าเมืองพัทลุง) จนเมื่อ พ.ศ.๒๔๑๒ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 จึงโปรดเกล้าฯ แต่งตั้งให้เป็น พระยาอภัยบริรักษ์จักรวิชิตพิพิธภักดีพิริยพาหะ เจ้าเมืองพัทลุง พระยาอภัยบริรักษ์ (น้อย) ได้สร้างที่พำนัก ซึ่งใช้เป็นที่ว่าราชการเมืองด้วย แต่ไม่ปรากฏหลักฐานแน่ชัดว่าสร้างในสมัยใด ท่านดำรงตำแหน่งเจ้าเมืองพัทลุงอยู่ ๑๙ ปี จนถึง พ.ศ.๒๔๓๑ จึงได้กราบทูลลาออกจากราชการ ด้วยมีความชราภาพและทุพพลภาพจักษุมืดมัวแลไม่เห็นทั้งสองข้าง เข้าใจว่าตาเป็นต้อกระจก ซึ่งในสมัยนั้นไม่มีทางรักษาให้หายได้ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว จึงโปรดเกล้า ฯ ให้เป็นจางวางกำกับราชการ(ที่ปรึกษาราชการ)และพระราชทานราชทินนามให้เป็นพระยาวรวุฒิไวยวัฒลุงควิสัยอิศรศักดิ์พิรักษ์ราชกิจนริศราชภักดีอภัยพิริยพาหะและโปรดเกล้าฯ ให้หลวงจักรานุชิต(เนตร) บุตรชายคนโตซึ่งเป็นผู้ช่วยราชการเมืองพัทลุงอยู่นั้น เป็นพระยาอภัยบริรักษ์ ฯ เจ้าเมืองพัทลุงคนต่อมา พระยาวรวุฒิไวย ฯ (น้อย) ได้พำนักอยู่ที่วังเก่าจนถึงอนิจกรรมเมื่อปี พ.ศ.๒๔๔๖ วังเก่าจึงตกเป็นมรดกแก่บุตรชายของท่าน คือหลวงศรีวรวัตร (พิณ จันทโรจวงศ์) หลังจากนั้นก็ตกเป็นมรดกของคุณยายประไพ มุตตามระ บุตรีของหลวงศรีวรวัตร ซึ่งมีศักดิ์เป็นหลานของพระยาวรวุฒิไวย ฯ ก่อนจะมอบให้แก่กรมศิลปากร