伊斯兰教在第四任哈里发阿里时，随着对外扩张的开展，政治经济形势的变化和统治集团内王朝思想的出现，遂分裂为什叶和逊尼两大派，逊尼派为正统派，是个多数派。苏非派也属于正统派。
    苏非派的宗教神秘运动，“几乎与伊斯兰教产生的同时出现”。①而“有组织的苏非团体於八世纪在伊拉克和叙利亚领土上出现，大概首先在库发和巴士拉。九世纪下半叶，苏非运动的中心是巴格达。此后，苏非派的学说传播在北非、西班牙、中亚细亚和伊朗、印度，最后传播到东南亚”。②
    苏非派未形成一个学派前被称作神秘主义者。它是经由简单的禁欲主义、神秘主义、神智论和泛神论诸阶段，而形成一个诸说混合的特殊学派。最早的神秘主义者，是受《古兰经》和“圣训”中一些意义隐晦的章节和穆罕默德早期的隐修活动，即“哈尼夫”运动的影响而产生的。“哈尼夫”意为正直者，他们反对多神信仰，反对偶像崇拜。他们没有严格的教义和仪式，主张隐修。并通过苦思冥想寻求与神合一的道路。穆罕默德在创教之前，参加过“哈尼夫”运动，他常到麦加附近的希拉山洞中隐修，并在此洞隐修时得到了“天启”。所以，神秘主义者认为，穆罕默德自己与真主的关系就有一种神秘色彩，而他们是遵行先知的行为修持的。禁欲只是一种修行方法，修行的目的是认识真主，喜爱真主，与真主合而为一。他们认为，宇宙中除真主外，任何物都不是真正存在的。现实世界是虚假的，暂时的，来世才是真实的，永存的。只有坚持隐修冥想，祈求真主，才是通向彼岸永存乐园的正道。所以，早期神秘主义者，终生是为祈求死后有一个好的报应为目的的，是一种轻视现实生活的消极思想而已，而且也仅仅是一种个人行为。后来它才形成为伊斯兰教中的一个较大学派。这个学派就是八世纪首先在伊拉克和叙利亚领土上出现的苏非派教团。
    最早的苏非派倡导者是谁？记载有异，说法不一。有的说是殁於公元777年的伊拉克库发人艾卜·哈什姆。但史料记载较多、又被多数人公认的最早苏非派代表，要算埃及的祖·努尼·艾勒米斯里（约公元796-861），他是四大法学家之一的马立克的学生，后来发奋学习并开始阐述有关心理状态和苏非派现象的活动，成为一个禁欲主义者。他曾游历过阿拉伯半岛和叙利亚，晚年因赞成正统派关于《古兰经》非被造之作的观点，遭穆尔太齐赖派的敌视，被以“不信神者”罪，在巴格达被官方逮捕，出狱后殁于开罗的齐沙。虽然他是第一个解释苏非主义和系统地阐述神秘主义学说的奠基人，但他的完整论著并没有传下来，其学说仅散见于别人的著作中。“到公元900年，巴格达的宗教学家朱奈德，首先将祖·努尼·艾勒米斯里的主张分门别类，经过整理注释，成书出版，公诸於世。他的书很快就传到了伊拉克、波斯、埃及和北非地区”。③从此，这本书就成了早期苏非派的主要理论依据。但后来的苏非派为了说明苏非派是地地道道的正统派，并不完全以祖·努尼·艾勒米斯里和朱奈德为始传者，而把苏非派的始祖一直追溯到伊斯兰教的创始人穆罕默德，以此证明他们历史悠久，十分正统。④作为苏非派的奠基人和集成大师，应该说还是祖·努尼·艾勒米斯里和朱奈德。艾布·勒·尕细木·艾勒·朱奈德（？-910），巴格达人，曾多次徒步去麦加朝觐， 有“学者中的孔雀”的称号，他认为“忠诚地与真主神交是苏非主义的精髓，鄙弃俗世的浮华，是苏非主义的基础”，“对纪念真主的疏忽，远比堕入地狱还可怕”。
    “苏非”这个词被用作一个教团的名称，是有它的历史背景和深远意义的。苏非派教团的出现，一方面，固然是向往伊斯兰教初期的民主制度与公社生活，但另方面，也是针对倭马亚（公元661--750）和阿拔斯王朝（公元750--1258）诸哈里发的压迫剥削、腐败奢侈以及背弃伊斯兰教旨而出现的一个带有消极与象征性反对意义的派别。他们的首领和虔诚信徒穿黑白羊毛织的长袍，以清贫简朴为尚，以不聚敛钱财、不慕富贵为戒律，远离家园，托钵乞膳，云游四方布教的行为就体现了他们的这一思想。
    由于苏非派的教旨核心是弃世主义和神智论与泛神论，又与哈里发王朝处於敌对状态，所以在其产生时期，遭到伊斯兰教正统派和什叶派的反对，被当时的哈里发政府视作异教徒，加以取缔，一抓到就处以极刑。如早期苏非主义者的波斯大诗人胡赛音·本·满素尔·哈拉智，就是被阿拔斯王朝于公元922年处以磔刑的。哈拉智（公元858--922）是朱奈德的好友和同道者，公元908年从麦加到巴格达，与朱奈德交往，并受其影响而加入了朱奈德的团体。相传他曾宣称“我就是主”。还写诗以表其主张，“我即我所爱，所爱就是我，精神分彼此，同寓一躯壳；见我便见他，见他便见我”。他主张除真主本体外，世界上别无实在，世界只不过是幻象。认为真主借万象而与人对话，使人类的本体和真主的本体化为一体。他的这种主张，受到正统派毛拉的反对，被视为异端，而以“有害於社会安全和宗教传统”罪，被官方处死。他被处死后，葬於巴格达，其墓被苏非派尊为“圣墓”。公元十一世纪，苏非派学说被一位官方伊斯兰教承认的正统派权威神学家艾布·哈米德·穆罕默德·加扎利（公元1059--1111）舍粗取精，纳入他创立的新神学体系中，才取得了正统派的合法地位。加扎利又称安萨里，他是呼罗珊的图萨人（现在的伊朗地区），他幼年时的启蒙教师是一位苏非派学者。他学习刻苦，善於思辨，为了钻研教义和各派学说，曾周游大马士革、开罗、麦加和麦地那等地。他曾任过巴格达学院的教师，受到学生的拥护和尊敬。他有不少著作，其代表作有《宗教学问复兴大全》、《哲学家的矛盾》、《哲学家的目的》和《迷途者救星》等。他的理论，对阿拉伯哲学界和伊斯兰教界都产生过深远影响。他对“《古兰经》问世后五百年来的经验和面对的许多问题，加以总结和澄清”，他对当时“各教派不同的学说，提出了自己的看法”。为“再次统一宗教界的思想”作出了贡献，因此，他被誉为“伊斯兰权威”。⑤继安萨里之后，在巴格达又出现了一位著名的苏非派法学家史贺布·的尼·艾布·哈费斯（公元1144--1234），他曾就学於艾卜·奈智布·阿布杜拉·戈西尔和著名学者阿布杜·戈尔·布尼·艾布·撒利哈居里门下。他是沙费尔派的教法家，他的《知识礼品》是苏非派的经典著作。在他看来，“一切思想家都是一个大家族中的成员，是一棵吉祥之树的分枝。尽管他们是不属於同一个时代，同一个地域”。他认为印度的禁欲主义者，希腊的哲学家，伊拉克的贤人智士，中国的诸子百家，都是致力於追求一个共同目的，即真主是一切光明之上的光明，“是宇宙及其万有的泉源”。后来的伊·本赛卜阿尼就是史贺布的这一学说的继承者。