Buku-buku sejarah yang beredar di seluruh Indonesia menyebutkan bahwa Jam’iyah Nahdlatul Ulama (NU) lahir di Surabaya pada tanggal 31 Januari 1926. Sejauh ini belum ada buku yang menyebutkan kapan dan dimana pertama kalinya ide pembentukan Jam’iyah NU digulirkan. Menurut catatan yang ada, sekitar bulan November tahun 1925 beberapa ulama sepuh Jombang berkumpul di Masjid Kauman Utara. Para ulama sepuh itu antara lain : KH. Hasyim Asj’ari, KH. Wahab Chasbullah, KH. Bisri Sjansuri, KH. Chamid Chasbullah, dan KH. Abdurrochim Chasbullah. Dalam pertemuan itu dihasilkan sebuah gagasan untuk menyatukan para ulama dan pondok-pondok pesantren di seluruh wilayah Hindia Belanda dalam sebuah wadah organisasi, yang diberi nama Djam’ijah Nahdlatoel “Oslama (NO). Kurang lebih satu setengah bulan kemudian, tepatnya tanggal 31 Januari 1926 Masehi atau 16 Rajab 1344 Hijriyah, gagasan pembentukan jam’iyah N.O. yang dicetuskan di Masjid Kauman Utara itu dideklarasikan di Gedung “Tashfirul Afkar Surabaya (Selatan Masjid Ampel).
Sejarah Masjid Riyaadlul Jannah diawali pada tahun 1900-an. Pada saat itu, tanah yang ditempati Masjid Riyaadlul Jannah sekarang ini adalah tanah wakaf yang tidak diketahui asal mulanya. Satu-satunya data yang bisa diketahui menunjukkan bahwa tanah masjid itu asal mulanya adalah berupa tanah gundukan bekas masjid lama, dimana pada saat itu Masjid Kauman Utara sebelum dibongkar ditempati untuk melangsungkan pernikahan. Adanya kegiatan pernikahan yang dipusatkan di Masjid Kauman lama, menjadikan wilayah Kauman sangat ramai. Sebelum kedatangan Bupati Sedayu Gresik, Jombang merupakan salah satu wilayah Kabupaten Mojokerto. Ketika pada tahun 1911 diputuskan untuk menjadikan Jombang sebagai wilayah tersendiri, kanjeng Bupati Sedayu Gresik ditunjuk untuk menjadi Bupati Jombang pertama. Semula rumah kediaman Bupati Jombang berada di sebelah Tenggara Ringin ‘Conthong (depan BCA sekarang). Kemudian tidak lama berselang, sekitar tahun 1913, didirikan rumah kadipaten yang terletak di Jombang Selatan.
Setelah bangunan rumah (kadipaten) selesai, atas instruksi pemerintah Hindia Belanda, Kanjeng Bupati pindah ke rumah yang baru di Jombang Selatan. Kepindahan kediaman Bupati ke Jombang Selatan mengharuskan pelaksanaan pernikahan juga harus pindah ke Jombang Selatan. Maka terjadilah pada saat itu keadaan di Kauman Utara menjadi sepi karena hanya ada bangunan masjid dari kayu yang sudah tua, kosong dan tanpa kegiatan keagamaan yang berarti. Kondisi itu berlangsung cukup lama hingga kayu-kayu masjid tua itu menjadi lapuk, roboh dan hanya menyisakan gundukan tanah tanpa bangunan di atasnya. Keadaan itu membuat warga Kauman menjadi prihatin. Maka, atas usaha mbah H, Rofi’i, didirikanlah sebuah langgar yang terletak di sebelahUtara bekas masjid lama. Letaknya saat ini kira-kira diantara Masjid Riyaadlul Jannah dengan sebagian gedung kantor madrasah.
Meski telah berdiri langgar kondisi Kauman Utara masih sepi. Hal ini menyebabkan beberapa tokoh tua di Kauman Utara menganggap perlu segera didirikan kembali sebuah masjid di tempat bekas masjid lama. Maka sekitar tahun 1917 oleh beberapa tokoh tua itu diadakan pertemuan yang bertempat di rumah mbah Dhahab (sebelah Timur Rumah wagaf sekarang ini). Pada saatitu berkumpul beberapa tokoh tua Kauman seperti : mbah H. Rofi’i, mbah H. Badjuri, mbah H. Usman (Pak H. Tjokro), Pak Moh. Dahlan, Pak H. Zain, dll. Dan atas kesepakatan orang-orang banyak, dibentuklah kepanitiaan pemba-ngunan masjid yang anggotanya terdiri dari beliau-beliau itu juga. Dan dimulailah pembangunan masjid baru di atas tanah gundukan Peletakan batu pertamanya sekitar pertengahan tahun 1917.
Catatan yang ada menunjukkan bangunan tembok selesai dibangun dengan sempurna tanggal 5 Agustus 1917. Meski diliputi perasaan ragu-Tagu dan khawatir tidak sanggup mewujudkan impian mereka, pembangunan masjid baru itu mampu menggerakkan warga masyarakat Kauman Utara, laki-laki maupun perempuan, bergotong royong bahu-membahu menyelesaikan pembangunan masjid. Sehingga dalam tempo yang singkat kurang lebih sekitar satu setengah tahun telah berdiri Masjid Kauman Utara yang baru meski dalam keadaan yang kurang sempurna. (Menurut catatan yang ada, perubangunan masjid induk selesai seluruhnya pada tanggal 16 Maret 1919). Atas usul Bapak Moh. Dahlan Masjid Kauman Utara yang baru berdiri ini dinamakan MASJID SIDODADI KAUMAN UTARA DJOMBANG, ‘Artinya, meski sempat diliputi perasaan ragu-ragu dan khawatir, akhirnya terwujud juga pembangunan masjid yang diidam-idamkan itu.