مجموعه خانه عباسیان در خیابان علوی، محله سلطان امیر احمد واقع شده و در حدود سال 1245 ه. ق. به وسیله پدربزرگ آیت الله علوی ساخته شده است. چند سال بعد، حاج سید محمد ابراهیم علوی بروجردی، پدر آیت الله علوی (تاجر چینی و بلور) این مجموعه را توسعه داد و بعد از فوت او این خانه به فرزندش آیت الله علوی، معروف به آقا سید محمد باغ به ارث می رسد.
مجموعه خانه های تاریخی عباسیان به تحقیق و طبق نظر نخبه ترین کارشناسان معماری، جزو برجسته ترین آثار معماری اسلامی و یکی از نامزدهای دریافت جایزه بهترین بناهای مسکونی ایران اسلامی است. این مجموعه مشتمل بر 5 حیاط و گودال باغچه بوده که پس از مرگ مالک اولیه به مرور از هم تفکیک و به صورت 5 باب خانه مستقل از هم درآمد. در سال های اخیر با همت و تلاش مسولان ذیربط 4 باب از 5 باب خانه خریداری و بازسازی شده است.
از 4 باب خانه خریداری شده، دو واحد آنها به صورت طرح معمول معماری بافت قدیم کاشان یعنی گودال باغچه و یکی از آنها به صورت دو طبقه با حیاط مسقف و چهارمی که در اصل باغچه بوده است به صورت حیاط سنتی است.
خانه های عباسیان به لحاظ معماری، دارای طرحی بسیار قوی و غنی و از نظر تزئینات گچبری و نقاشی و کاربری تزئینات معماری اسلامی نظیر رسمی بندی، یزدی بندی، کاربندی، قطاربندی، مقرنس و مشبک در اوج زیبایی و ظرافت می باشد.
به نظر آنوبانینی، دیدن تمام زوایا و جزئیات این خانه چندین ساعت وقت نیاز دارد. در ساختن این خانه سعی شده تمام اصول معماری رعایت شده و همچنین آرامش و آسایش ساکنان خانه در طول فصول مختلف سال حفظ شود.