Гораздо серьезнее было сопротивление аристократии рода омейя, которая пришла к власти и овладела обильными источниками обогащения при Османе. Ее возглавил Муавия, наместник в богатой Сирии, располагавший большой военной силой и средствами.
В противостоянии с этим могущественным противником Али мог рассчитывать на арабские племена в Ираке, которые выступали носителями общинно-демократических представлений и порядков, отождествлявшихся с личностью и деятельностью халифа Омара. Тем более что, став халифом, Али заявил о своем намерении править в духе политики Омара. Он смещал наместников, поставленных при Османе, и отбирал захваченные ими земельные владения. Не находя в Аравии достаточных сил и средств для борьбы и надеясь обрести надежную военную и социальную опору в Ираке, Али перенес свою резиденцию в Куфу.
В 657 году при Сиффине, в ал-Джазире, на правом берегу Евфрата, произошло крупное сражение между сирийскими войсками Муавии и иракскими войсками Али. Ни той, ни другой стороны не удалось достичь решительного успеха.
Арабские историки утверждают, что важную роль в исходе битвы сыграла хитрость Амра ибн ал-Аса, находившегося в войске Муавии. Видя, что сирийскому войску грозит неминуемое поражение, этот «завоеватель Египта» предложил воинам Муавии поднять на копьях и мечах листы рукописей Корана и призвал противников прекратить кровопролитие, а спор предводителей разрешить мирным путем на основании предписаний священной книги. Уступая настоятельному требованию влиятельных приверженцев, Али принял это предложение. Правда, имеются основания для сомнений в возможности подобного эпизода. Некоторые военные историки считают просто невозможным самый факт обращения к противнику (да еще с листами Корана, вывешенными на оружии) в ходе развернувшегося сражения.
Вскоре после битвы при Сиффине в лагере Али состоялось выступление хариджитов, которых принято считать первой, наиболее ранней сектой, возникшей в среде мусульман. Традиционное мусульманское представление о причинах возникновения хариджитов весьма наивно. Арабские историки изображали их первое поколение как наиболее ревностных мусульман, последовательных поборников равенства, существовавшего в общине верующих при жизни Мухаммеда и будто бы сохранявшегося при его первых двух преемниках. Они называли себя «людьми поста и молитвы», строго соблюдавшими предписания Корана. Хариджиты полагали, что Али нарушил одно из основных предписаний Корана, когда согласился предоставить третейскому суду решать вопрос о своем праве быть халифом, и выдвинули лозунг «ля хукма илля лиллах» — «судить может только Аллах».
Решительные противники уступчивой политики Али, которую они считали соглашательской, около 12 тыс. хариджитов покинули лагерь халифа под Куфой и направились к Багдаду, в то время небольшому населенному пункту на левом берегу Тигра. Уход их отрядов, не желавших более подчиняться Али, послужил основанием для объяснения широко распространенного, но несостоятельного значения названия «хариджиты». Многие до сих пор полагают, что оно происходит от арабского глагола «хараджа», что значит «вышел», «ушел». Отчасти они правы, но только отчасти. Название хариджитам дали их противники, и происходит оно от того же глагола, но со следующим за ним предлогом «аля», придающим ему значение «вышел на кого-либо», «выступил против кого-либо», «восстал», «возмутился». Следовательно, подлинное значение слова «хариджит» соответствует русскому слову «повстанец».
Возникновение движения хариджитов стало выражением развития противоречий в арабском обществе. Имущественное и социальное положение рядовых членов арабских племен, составлявших вооруженные силы Халифата, быстро ухудшалось, тогда как родовая аристократия умножала свои богатства. Сыграл свою роль и такой фактор, как необходимость соблюдения военной дисциплины, о которой арабские племена в своих родных кочевьях в Аравии не имели никакого представления. В обстановке походов и сражений дисциплина, как бы слаба и относительна она ни была, давала верхушке племен дополнительную возможность для подчинения своих соплеменников.
Представители самого старшего поколения мусульман стремились проводить политику, соответствовавшую интересам родовой демократии, — ее выразителем был халиф Омар. При Османе позиции аристократии еще более укрепились. Возведение в халифы Али дало надежду на перемены, но, как выяснилось после битвы при Сиффине, и Али изъявлял готовность пойти на соглашение с аристократией. Все это неизбежно вызывало недовольство у простых воинов.
Движение хариджитов при его возникновении было непосредственным продолжением восстания, которое привело к смерти халифа Османа. Среди первых хариджитов было немало находившихся в войске Али «чтецов Корана», то есть пропагандистов раннего ислама, для которых молитва, пост и религиозная проповедь были профессиональными занятиями. Но эти «чтецы» вовсе не составляли (как иногда полагают) основного ядра хариджитского войска. Посланец халифа Али, отправленный в лагерь хариджитов в Нахраване, так описывал этих сектантов: «Я видел среди них людей, у которых лбы были покрыты ссадинами и язвами от продолжительных земных поклонов, а руки напоминали ремни верблюжьей сбруи; на них были чисто выстиранные рубахи, и все они как будто куда-то спешили».
Но не молитвы и посты привлекали народные массы к хариджитам, а их демократические принципы, за осуществление которых они боролись с оружием в руках. Первым пунктом их политической программы было провозглашение суверенитета «общины верующих», то есть совокупности всех мусульман. Они утверждали, что халиф должен получать верховную власть от общины, и обязательно выборным путем. Если же он не отвечает своему назначению, проводит политику, не соответствующую интересам общины, то ее представители имеют право не только низложить его, но и убить. При этом вовсе не обязательно для халифа происходить из племени курейш, к которому принадлежал Мухаммед. По мнению хариджитов, на пост халифа может быть избран и курейшит, и араб из другого племени, и неараб, и даже, как они говорили, «раб-эфиоп», если он известен как благочестивый мусульманин.
Хариджитские идеологи сформулировали некоторые положения своего вероучения, оправдывавшие нетерпимость и фанатизм. Важным пунктом, получившим большое практическое значение, стал догмат, согласно которому вера в Аллаха и выполнение религиозных обрядов не гарантируют верующему спасения и не обеспечивают ему райских наслаждений после смерти. Для обеспечения спасения вера обязательно должна сопровождаться делами и сочетаться с ними. Делами же хариджиты считали осуществление принципов своего учения путем непрестанной вооруженной борьбы против халифа и поставленных им властей.
Всех мусульман, не признававших этого догмата, хариджиты считали необходимым отлучить от «общины верующих» и называли их кафирами (неверными), против которых необходимо вести джихад (священную войну). При такой прямолинейной установке жертвами хариджитского фанатизма иногда становились самые мирные люди.
Хариджиты угрожали выступить против Али, и из-за этого он не возобновил военные действия против Муавии, когда в 658 году третейское разбирательство ни к чему не привело. Вместо этого Али решил раз и навсегда разобраться с хариджитами и двинулся с войском, которое значительно превосходило их силы, к Нахравану. Но прежде чем начать военные действия, он объявил всем хариджитам амнистию, и это вызвало колебание в их рядах. Многие из них — возможно, даже большинство — покинули военный лагерь своего эмира Ибн Вахба. Часть хариджитов присоединилась к войску Али, часть вернулась в Куфу, другие ушли в Иран, а некоторые отправились в Мекку. Под знаменем Ибн Вахба осталось только 2800 наиболее упорных и непримиримых. Дав друг другу обещание «встретиться в раю», они устремились на войско Али и почти все были уничтожены в разгоревшемся сражении. Однако и после поражения при Нахраване движение хариджитов не прекратилось. Вскоре хариджиты, вернувшиеся в Куфу, ушли из нее и совместно с хариджитскими отрядами, действовавшими в Ираке и Иране, возобновили борьбу с приверженцами Али.