Pada tahun 1975, wilayah administratif Sukabumi terbagi menjadi dua bagian, yaitu Kotamadya Sukabumi dan Kabupaten Sukabumi. Dalam rangka meningkatkan pelayanan kepada masyarakat, pada tahun yang sama dibentuk Departemen Agama Sukabumi yang mencakup wilayah kerja kedua daerah tersebut. Pembentukan ini merupakan hasil penggabungan antara Departemen Agama Kotamadya Sukabumi dan Departemen Agama Kabupaten Sukabumi. Pada masa awal, kantor Departemen Agama Sukabumi berlokasi di sekitar Kantor KPPN Sukabumi.
Dengan terbitnya Keputusan Menteri Agama Nomor 45 Tahun 1981 tentang Susunan Organisasi dan Tata Kerja Kantor Wilayah Departemen Agama Provinsi, Kantor Departemen Agama Kabupaten/Kota, dan Balai Diklat Teknis, dilakukan pemisahan antara Departemen Agama Kabupaten Sukabumi dan Departemen Agama Kotamadya Sukabumi. Sejak tahun 1982, Departemen Agama Kabupaten Sukabumi secara resmi memiliki kantor tersendiri yang berlokasi di Jalan Pelabuhan II, Kelurahan Lembursitu, Kecamatan Lembursitu, Kota Sukabumi.
Struktur awal Departemen Agama Kabupaten Sukabumi terdiri atas beberapa unit kerja, yaitu:
- Subbagian Tata Usaha (TU) – Bertugas mengelola urusan kepegawaian, keuangan, dan umum sebagai penunjang administrasi dan tata laksana kantor.
- Seksi Urusan Agama Islam (URAIS) – Membidangi penyelenggaraan pelayanan keagamaan Islam yang meliputi kepenghuluan, bimbingan perkawinan, kemasjidan dan ibadah sosial, serta dokumentasi dan statistik keagamaan.
- Seksi Penerangan Agama Islam (PENAIS) – Berperan dalam kegiatan penyuluhan, pelaksanaan Musabaqah Tilawatil Qur’an (MTQ), siaran tamadun dan publikasi dakwah, serta pengelolaan dokumentasi dan data statistik keagamaan.
- Seksi Perguruan Agama Islam – Menangani urusan pendidikan pada jenjang Raudhatul Athfal (RA) dan Madrasah Ibtidaiyah (MI), serta kegiatan pembinaan kurikulum dan pendidikan agama Islam.
- Seksi Pendidikan Agama Islam – Bertugas dalam pembinaan keterampilan, peningkatan mutu pengajaran, serta bimbingan pendidikan agama Islam di berbagai satuan pendidikan.
- Seksi Penyelenggaraan Bimbingan dan Urusan Haji – Melaksanakan pelayanan dan pembinaan bagi jamaah haji serta mengoordinasikan kegiatan penyelenggaraan ibadah haji di tingkat kabupaten.
Pada tahun 2002, terjadi perubahan struktur organisasi berdasarkan Keputusan Menteri Agama Nomor 373 Tahun 2002 tentang Organisasi dan Tata Kerja Kantor Wilayah Departemen Agama Provinsi serta Kantor Departemen Agama Kabupaten/Kota. Dalam perubahan tersebut, eselon V dihapus dan struktur organisasi disesuaikan menjadi:
- Subbagian Tata Usaha (TU)
- Seksi Urusan Agama Islam (URAIS)
- Seksi Penerangan Agama Islam (PENAIS)
- Seksi Pendidikan Agama Islam pada Masyarakat dan Pemberdayaan Masjid (PENAMAS)
- Seksi Madrasah dan Pendidikan Agama Islam pada Sekolah (MAPENDA)
- Seksi Pendidikan Keagamaan dan Pondok Pesantren (PD Pontren)
- Seksi Penyelenggaraan Urusan Haji
- Penyelenggara Zakat dan Wakaf
Pada tahun 2010, seiring dengan reformasi birokrasi nasional, Departemen Agama secara resmi berubah nama menjadi Kementerian Agama berdasarkan Peraturan Menteri Agama Nomor 1 Tahun 2010 tentang Perubahan Penyebutan Departemen Agama Menjadi Kementerian Agama. Perubahan ini menjadi tonggak penting dalam memperkuat tata kelola kelembagaan dan peningkatan kualitas pelayanan publik di bidang keagamaan.
Pada tahun 2019, struktur organisasi Kantor Kementerian Agama Kabupaten Sukabumi kembali disesuaikan berdasarkan Peraturan Menteri Agama Nomor 19 Tahun 2019 tentang Organisasi dan Tata Kerja Instansi Vertikal Kementerian Agama. Struktur organisasi saat ini terdiri atas:
- Subbagian Tata Usaha (TU)
- Seksi Bimbingan Masyarakat Islam (BIMAIS)
- Seksi Penyelenggaraan Haji dan Umrah (PHU)
- Seksi Pendidikan Madrasah (PENMAD)
- Seksi Pendidikan Agama Islam (PAIS)
- Seksi Pendidikan Diniyah dan Pondok Pesantren (PD Pontren)
- Penyelenggara Zakat dan Wakaf
Dalam sejarah pergantian kepala kantor, sampai saat ini tercatat sudah ada 16 Kepala Kantor Departemen/Kementerian Agama Kabupaten Sukabumi, yaitu:
- A. Basyuni. B (1982–1983)
- M. Zaenuddin, BA (1983–1985)
- Dadang, BA (1985–1989)
- Mumuh A. Muhdiyat, BA (1989–1993)
- H.M. Buldani (1993–1994)
- Arifin Nurdin (1994–1999)
- H.U. Bustomi (1999–2001)
- H. Djamaluddin, MS (2001–2005)
- Atjeng T. Syah (2005–2006)
- H. Effendi Ali, MM (2007–2009)
- H. Cep Ismail, M.Ag. (2010–2011)
- H. Ismatulloh Syarif, M.Ag. (2011–2014)
- H. Hilmy Rifa’i (2014–2018)
- Abas Resmana, M.Si (2018–2021)
- Hasen, S.Ag., M.Si (2021–2022)
- H. Asep Hidayat, MM (2022–2023)
- Dadang Ramdani, M.Si (2023–Sekarang)
Dengan perjalanan panjang sejak masa Departemen Agama hingga menjadi Kementerian Agama, Kantor Kementerian Agama Kabupaten Sukabumi terus menunjukkan komitmen dalam meningkatkan profesionalisme aparatur, memperkuat pelayanan keagamaan, serta berkontribusi aktif dalam mewujudkan masyarakat yang religius, moderat, dan berkarakter sesuai dengan nilai-nilai luhur bangsa Indonesia.