آن خرمن گل، نه گل که باغست
ساخت این باغ را به دروه سلجوقیان نسبت داده اند، چرا كه در آن زمان، باغ تخت و چند باغ دیگر توسط اتابك قراجه؛ حكمران فارس كه از سوی سنجر شاه سلجوقی به حكومت فارس منصوب شده بود، احداث شد و احتمال ایجاد این باغ به درخواست وی و در آن زمان، زیاد است.
در اواخر سلسله زندیه، بیش از 75 سال این باغ در تصاحب سران ایل قشقایی بود. بنای اولیه عمارت باغ ارم توسط جانی خان قشقایی، اولین ایلخان قشقایی و پسرش محمدقلی خان و در زمان فتحعلیشاه قاجار احداث شده است. معماری بنا نیز توسط شخصی به نام حاج محمد حسن كه از معماران معروف بود، صورت گرفته است. در زمان ناصرالدین شاه قاجار، میرزا حسن علی خان نصیرالملك، باغ را از خاندان قشقایی خرید و ساختمان كنونی را به جای عمارت قبلی ساخت. تزئینات ناتمام باغ پس از فوت حسنعلی خان در سال 1311 توسط ابوالقاسم خان نصیرالملك پایان یافت. باغ ارم پس از فوت ابوالقاسم خان نصیرالملك به پسرش عبدالله قوامی رسید و بعد از مدتی دوباره یكی از خوانین ایل قشقایی به نام محمد ناصر خان آن را خرید.
