تاریخچه حیات متمدنانه نیاکان در سرزمین اردستان به دوران پیش از اسلام می‌رسد، به‌گونه‌ای که وجود باغ‌های کهن‌سال و قنات‌های تاریخی نشان از حماسه مردم کویر در مواجهه با مخاطرات طبیعی دائمی دارد که حیاتشان را مورد تهدید قرار می‌داد.

بنای تاریخی مسجد جامع اردستان یکی از کهن‌ترین مساجد ایران در دوران اولیه اسلامی به شمار می‌رود به‌گونه‌ای که در برخی منابع این مسجد به همراه مسجد تاریخی دامغان،مسجد جامع عتیق اصفهان و مسجد جامع نائین ازجمله قدیمی‌ترین مساجد ایران در سده‌های اولیه دوران اسلامی به شمار می‌رود.

محققان درباره چگونگی بنای این مسجد تاریخی معتقدند در بخشی از مسجد آثار گچ‌بری‌های عصر ساسانی بر روی برخی ستون‌های مسجد همراه با خشت‌های دوران ساسانی دیده می‌شود. با این وصف مبرهن است که شالوده‌های این مسجد متعلق به دوران پیش از اسلام به‌ویژه دوران ساسانی بوده و به‌عنوان آتشکده استفاده می‌شده است. زیرا در اوایل دوران اسلامی عمدتاً رسم بر این بود که بناهای مذهبی آیین زرتشت با تغییر کاربری به مسجد تبدیل می‌شد و همین امر باعث می‌شد تا پذیرش اسلام توسط ایرانیان سهل‌تر صورت پذیرد.

بااین‌حال بنای اصلی مسجد، جدای از شالوده‌های ساسانی و در دوران اسلامی حداقل در سه دوره تاریخی قابل بررسی است. دوره اول در سده سوم هجری قمری و در دوران دیالمه، دوره دوم سده چهارم هجری قمری و دوره سوم در سده‌های پنجم و ششم هجری قمری و در عصر سلاجقه بوده، که در این عصر است که مسجد جامع اردستان به سبک مساجد چهار ایوانی به‌طور کامل بنا شد.

در این دوره مسجد به دستور «ابوطاهر حسین بن غالی بن احمد» و توسط استاد «محمود اصفهانی» تجدید بنا شد. پس‌ از آن در سده‌های دهم و یازدهم هجری قمری و در عصر صفوی نیز الحاقاتی به مسجد اضافه شد. با این‌ وصف با توجه به معماری منحصربه‌فرد، این مسجد ازجمله اولین مساجد دو طبقه در ایران به شمار می‌رود.

سازه‌های مسجد از آجر و خشت بوده و دارای تزئینات گچ‌بری منحصربه‌فردی همراه با کتیبه‌های متعدد است.

 نکته جالب‌توجه در خصوص این مسجد، چگونگی جانمایی آن در بافت تاریخی شهر است. به‌گونه‌ای که این مسجد برخلاف بسیاری از مساجد جامع که بر اساس شهرسازی ایران دوران اسلامی در مرکز بافت مسکونی شهرها قرار دارند، در میانه باغ‌های انار شهرستان اردستان بناشده و شامل مجموعه‌ای از صحن اصلی مسجد، آب‌انبار، کاروانسرا، بازار، حسینیه، حمام و مدرسه علوم دینی است.

عمده‌ترین عناصر تزئینی بنا، کتیبه‌های ایوان‌ها، مقرنس‌های گچی و تزئینات گنبد خانه است که با ترکیبی از اشکال هندسی، فضایی بدیع را پدید آورده است.

در میانه ایوان شمالی و غربی، تک مناره آجری مسجد قرار گرفته که سطح آن ساده و بدون هرگونه نقشی است، ولی بااین‌حال چشم هر بیننده‌ای را به خود جلب می‌کند.