Beberapa tahun yang lalu tokoh-tokoh yang beragama Islam di Kabupaten Sukoharjo menggagas agar di daerah mereka berdiri Madrasah Aliyah. Tokoh-tokoh tersebut kebanyakan dari kalangan pegawai Departemen Agama kala itu, antara lain: H. Yazid Anwari, Drs. H. Suparno, BA., H. Usman, BA., H. Jurjani, H. Chusni, BA., Drs. H. Rais dan dari beberapa tokoh masyarakat yang tidak dapat kami sebutkan nama-namanya. Mereka sepakat untuk mendirikan Madrasah Aliyah, karena di Sukoharjo belum ada Madrasah Aliyah Negeri.

Betapa sulitnya untuk bisa mendirikan Madrasah Aliyah Negeri kala itu karena belum punya modal apa-apa. Dengan tekat yang dilandasi hanya untuk beribadah, maka terjadilah kesepakatan untuk membuka penerimaan siswa baru pada tahun pelajaran 1984/1985 Madrasah Aliyah yang kala itu bekerjasama dengan Madrasah Aliyah Negeri Sragen yang kebetulan Kepalanya saat itu H, Yazid Anwari, B.A. Selanjutnya atas musyawarah yang bisa diterima dengan baik, maka disepakati didirikan Persiapan Madrasah Aliyah Negeri Sukoharjo Filial Sragen pada tahun 1984.

Pada awal penerimaan siswa baru di tahun pertama saat itu menerima siswa 1 kelas. Karena belum punya tempat apalagi kelas, maka saat itu masuk sore dan bertempat di MIN Jetis.