بنای حرمسرا در یک کیلومتری جنوب شرقی کاروانسرای قصر بهرام قرار گرفته که ظاهرا در هنگام مسافرت خاندان سلطنتی به عنوان حرمسرا و در سایر مواقع به عنوان محل سکونت شکارچیان بوده است. بنای حرمسرا نیز مانند بنای کاروانسرای عین الرشید آسیب دیده ولی بقایای موجود نشان می دهد بنا بر روی زمین شیب دار استقرار یافته و دارای حیاط مربع شکل با تالارهایی در سه طرف آن بوده است.
