Sebelum terbentuknya Komisi Yudisial (KY), pembentukan lembaga pengawas peradilan sebenarnya sempat digagas. Misalnya, Majelis Pertimbangan Penelitian Hakim (MPPH) dan Dewan Kehormatan Hakim (DKH). 
 
MPPH yang telah diwacanakan sejak tahun 1968 berfungsi memberikan pertimbangan dan mengambil keputusan terakhir mengenai saran-saran dan/atau usul-usul yang berkenaan dengan pengangkatan, promosi, kepindahan, pemberhentian, dan tindakan/hukuman jabatan para hakim yang diajukan, baik oleh Mahkamah Agung maupun oleh Menteri Kehakiman. Sayangnya, ide tersebut menemui kegagalan sehingga tidak berhasil menjadi materi muatan Undang-Undang Nomor 14 Tahun 1970 tentang Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman.
 
Sementara Dewan Kehormatan Hakim (DKH) yang tertuang dalam Undang-Undang Nomor 35 Tahun 1999 berwenang mengawasi perilaku hakim, memberikan rekomendasi mengenai perekrutan, promosi, dan mutasi hakim, serta menyusun kode etik (code of conduct) bagi para hakim.
 
Melalui Amendemen Ketiga Undang–Undang Dasar Negara Republik Indonesia Tahun 1945 pada tahun 2001 disepakati tentang pembentukan Komisi Yudisial. Ketentuan mengenai Komisi Yudisial diatur dalam Pasal 24B Undang-Undang Dasar Negara Republik Indonesia Tahun 1945. Maksud dasar yang menjadi semangat pembentukan Komisi Yudisial disandarkan pada keprihatinan mendalam mengenai kondisi wajah peradilan yang muram dan keadilan di Indonesia yang tak kunjung tegak. 
 
Komisi Yudisial karenanya dibentuk dengan dua kewenangan konstitutif, yaitu untuk mengusulkan pengangkatan hakim agung dan mempunyai wewenang lain dalam rangka menjaga dan menegakkan kehormatan, keluhuran martabat, serta perilaku hakim. Selanjutnya, dalam rangka mengoperasionalkan keberadaan Komisi Yudisial, dibentuk Undang-Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial yang disahkan di Jakarta pada tanggal 13 Agustus 2004.
 
Eksistensi lembaga negara ini semakin nyata setelah tujuh orang Anggota Komisi Yudisial periode 2005-2010 mengucapkan sumpah di hadapan Presiden Susilo Bambang Yudhoyono pada 2 Agustus 2005. Sejak saat itu, kehadiran Komisi Yudisial semakin nyata dalam sistem ketatanegaraan Indonesia.
 
Namun dalam perjalanan tugasnya, Komisi Yudisial mengalami dinamika. Antara lain pengujian terhadap Undang-Undang Nomor 22 Tahun 2004 ke Mahkamah Konstitusi oleh sejumlah hakim agung. Melalui Putusan Mahkamah Konstitusi Nomor 005/PUU-IV/2006, beberapa kewenangan dalam pengawasan hakim dan hakim Mahkamah Konstitusi tidak berlaku. Terkait hakim konstitusi, putusan tersebut menjadi perdebatan panjang lantaran pemohon tidak pernah mengajukannya.
 
Sejak Mahkamah Konstitusi membatalkan wewenang Komisi Yudisial melalui putusannya yang keluar pada tahun 2006, Komisi Yudisial dan sejumlah elemen bangsa yang mendukung peradilan bersih, transparan, dan akuntabel melakukan berbagai upaya untuk mengembalikan peran Komisi Yudisial sesuai harapan masyarakat. Salah satu upayanya adalah dengan merevisi Undang-Undang Nomor 22 Tahun 2004. Usaha tersebut membuahkan hasil dengan dikeluarkannya Undang-Undang Nomor 18 Tahun 2011 tentang Perubahan atas Undang-Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial. Perubahan undang-undang ini berpengaruh terhadap penguatan wewenang dan tugas Komisi Yudisial
Selain itu, amunisi lain yang menguatkan kewenangan Komisi Yudisial adalah Undang-Undang Nomor 49 Tahun 2009 tentang Perubahan Kedua Atas Undang-Undang Nomor 2 Tahun 1986 tentang Peradilan Umum; Undang-Undang Nomor 50 Tahun 2009 tentang Perubahan Kedua Atas Undang-Undang Nomor 7 Tahun 1989 tentang Peradilan Agama, dan Undang-Undang Nomor 51 Tahun 2009 tentang Perubahan Kedua Atas Undang-Undang Nomor 5 Tahun 1985 tentang Peradilan Tata Usaha Negara.    
 
Undang – Undang Nomor 18 Tahun 2011 tentang Perubahan Atas Undang–Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial tersebut memberikan berbagai tugas dan wewenang baru bagi Komisi Yudisial, antara lain : melakukan seleksi pengangkatan hakim adhoc di Mahkamah Agung, melakukan upaya peningkatan kapasitas dan kesejahteraan hakim, melakukan langkah-langkah hukum dan langkah lain untuk menjaga kehormatan, keluhuran martabat, serta perilaku hakim, melakukan penyadapan bekerja sama dengan aparat penegak hukum, dan melakukan pemanggilan paksa terhadap saksi. 
 
Disahkannya undang-undang tersebut merupakan konkritisasi dari upaya memperkuat wewenang dan tugas Komisi Yudisial sebagai lembaga negara independen yang menjalankan fungsi checks and balances di bidang kekuasaan kehakiman dalam rangka mewujudkan kekuasaan kehakiman yang merdeka untuk menegakkan hukum dan keadilan bagi seluruh rakyat Indonesia.