Pengangkatan Ali bin Abi Thalib menjadi khalifah menggantikn Usman bin Affan, tidak disetujui oleh banyak pihak. Salah satu yang menentang dengan keras adalah Muawiyah bin Abi Sofyan, gubernur Damaskusi ( Syiria). Puncak pertentangan terjadi dengan pecahnya perang Shiffin.
Ketika pasukan Ali bin Abi Thalib hampir memenangi peperangan , Amr bin Ash pendukung Muawiyah berhasil mengajak bertahdkim (abitrase). Sebagian tentara Ali bin Abi Thalib tidak menyetujuinya mereka berpendapat, orang yang mau menerima berdamai pada saat pertempuran tengah berlangsung adalah orang yang ragu tentang kebenaran pertempuran peperangan tersebut. Padahal hukum Allah dengan jelas bahwa orang yang melawan khalifah harus diperangi. Golongan yang semula membela Ali ini kemudian keluar dan malahan membenci dan memusuhi nya. Mereka ini lah yang disebut dengan golongan Khawarij, ialah orang-orang yang keluar dan memisahkan diri dari Ali. Yang menjadi pegangannya adalah firman Allah SWT " barangsiapa keluar dari ruamahnya dengan maksud berhijrah kepada Allah dan Rasul NYA, kemudian kematian menimpanya, sesungguhnya telah tetap pahalanya di sisi Allah"
Ajaran-ajaran pokok golongan Khawarij secara umum adalah :
1. Orang Islam yang melakukan dosa besar adalah kafir
2. Orang-orang yng terlibat dalam perang jamal yaitu perang antara Aisyah, Thalhah dan Zubair melawan Ali bin Abi Thalib dan pelaku abitrase termasuk yang menerima dan membenarkan nya dihukum kafir.
3.Pandangan dalam menentukan khalifah cukup demokratis. Khalifah menurut mereka harus dipilih oleh rakyat serta tidak harus keturunan Nabi dan tidak mesti keturunan bangsa Quraisy.
Tokoh-tokoh Khawarij yang utama antara lain, ialah :(1) Abdullah bin Wahab al-Rasyid ; (2) Urwah bin Hudair ; (3) Mustarid bin Sa'ad ; (4) Hausarah al- Asadi ; (5) Quraib bin Maruah ; (6) Nafi' bin al- Azraq ; (7) Abdullah bin Basyir.
Akibat perbedaan pendapat di antara tokoh-tokoh nya, Khawarij terpecah menjadi menjadi beberapa sekte :
1. Sekte Muhakkimah yaitu sekte yang pertama kali yakni golongan yang memisahkan diri pertama kali dari Ali bin Abi Thalib.
2. Sekte Azariqah yang terkenal lebih radikal, sebab orang yang tidak sepaham dengan mereka ajkan di bunuh.
3. Sekte Najdat yang merupakan pecahan dari sekte Azariqah.
4. Sekte al-Ajaridah pimpinan Abd Karim bin Ajrad, yang dalam perkembangannya terpecah menjadi beberapa kelompok kecil seperti Syu'aibiyah, Hamzaiyah dan Mimunah
Perpecahan ini yang menyebabkan golongan ini keberadaannya kini hanya tinggal sejarah.
