MTs.Salafiyah berdiri pada tanggal 1 Januari 1954 oleh KH. BAEDLOWI SIRODJ yang merupakan pengembangan dari pondok Kajen Wetan Banon yang berdiri mulai tahun 1902 oleh KH.SIRODJ. saat awal berdirinya, Madrasah ini berfungsi sebagai perlengkapan diri pengajaran agama pesantren dengan pengelolaan model salaf. Seiring pengembangannya saat ini MTs.Salafiyah dengan jumlah siswa  +800, meski tetap mengambil pendidikan model salaf, Salafiyah tetap dinamis menyikapi perubahan yang terjadi. Hal ini disampaikan dengan materi pendidikan modern dengan tetap tidak meninggalkan kitab kuning sehingga dapat menghasilkan manusia yang dapat melihat, membaca dan menjawab perkembangan serta perubahan zaman ( IPTEK ) dalam hubungannya dengan Al Qur’an dan Al Hadits sebagai pedoman hidup.

Atas dasar keinsyafan itulah didirikan Pondok Pesantren kajen Wetan Banon pada tanggal 12 Mei 1902 M yang diprakarsai oleh  Kyai Haji Siradj Kajen yang di kemudian hari dikenal dengan nama TPTH ( Taman Pendidikan Tamrinul Huda ) Kajen Timur.

Pondok Persantren tersebut, langsung diasuh oleh Beliau  Kyai Haji Siradj sendiri, dalam hal ini beliau berusaha keras tanpa menghitung laba dan rugi menurut ukuran materi  dalam mengemban amanat Allah SWT, ialah kewajiban amar ma’ruf nahi mungkar dengan jalan mendidik  dan mengajar bagi mereka yang membutuhkan.

Wal hasil banyak sedikitnya dapat mencetak kader kader islam yang militan dan bertanggung jawab sebagai muslim yang solih.

Beliau Kyai H. Sirodj  meninggal dunia pada tahun 1928 M/1347 H, ( hari Kamis sore jam 17.30 tanggal 20 Robi’ul awal 1347 H) meninggalkan 4 putera dan 9  puteri.

Dan setelah putera-puteranya menyelesaikan pelajaran diberbagai pondok pesantren sekitar Pulau Jawa kemudian melanjutkan studinya di  Makkah Al-Mukarromah. Setelah pulang ke tanah air putra-putranya sebagai pembantu aktif ayahnya mengajar pondok pesantren tersebur (1925).

Sesuai dengan perkembangan pendidikan/pengajaran di tanah air, maka perlu kiranya didirikan lembaga pendidikan yang sistematis dan terorganisir, maka didirikanlah madrasah yang diberi nama SALAFIYAH yang langsung dipimpin oleh putera beliau yaitu KH. HAMBALI (1935-1942).

Selanjutnya sejak masa pendudukan fasis militer Jepang  (1942) madrasah ditutup sementara, serta merta penutupan madrasah tersebut, beliau KH. Hambali meninggalkan desa Kajen dan pergi pindah ke desa Jekulo-Kudus, di sana juga membuka pondok pesantren baru, pada tahun 1955 beliau mendirikan pula madrasah yang diberi nama SALAFIYAH juga.

Adapun Madrasah Salafiyah Kajen setelah situasi tanah air mengizinkan dibuka lagi yang langsung dipimpin oleh KH. Baidlowi dengan dibantu angkatan mudanya.

Sesuai dengan perkembangan lembaga pendidikan di negara Indonesia disertai juga ketekunan dari pamong – pamong madrasah tersebut sejak mulai tahun 1948  Madrasah Salafiyah sudah mendapat pengakuan dari Pemerintah dan pada tahun 1950 mendapat bantuan tenaga pengajar dan alat alat sekolah.

Pada tahun 1956 Madrasah Salafiyah dapat maju selangkah dengan didirikannya Madrasah Salafiyah Tingkat Tsanawiyah tiga tahun, dan pada tahun 1958 telah mendapat pengakuan dari Pemerintah.

Pada tahun 1959 Madrasah Salafiyah menerima piagam (pengakuan wajib belajar) dari Pemerintah dalam hal ini Departemen Agama Republik Indonesia.

Pada tahun 1973 maju selangkah lagi dengan didirikannya Madrasah Salafiyah Tingkat Tsanawiyah tiga tahun, dan pada tahun 1975 menerima Surat Pengesahan Perguruan Agama Islam  dari Pemerintah nomor : K/127/III/’75.

Pada tahun 1981 (tanggal 2 Pebruari 1981) lembaga tersebut dijadikan Yayasan  “As-Salafiyah” yang kedudukannya tetap berpusat di Kajen Margoyoso Pati, tepatnya berlokasi di RT. 1/RW.I Kajen Timur, Kec. Margoyoso, Kab. Pati-Jawa Tengah. Untuk menyesuaikan Undang- Undang  Yayasan yang baru, maka pada tangal 2 Pebruari 2008  berubah nama menjadi “Yayasan Salafiyah Kajen”.