隆镇卫，它是由钦察、唐兀、贵赤、西域、左右阿速诸卫军三千人及少部分汉军组成，其后又以哈剌鲁军人隶之。镇守南、北口长城诸隘。
    康礼卫，“武宗至大三年，定康礼军籍。凡康礼氏之非者，皆别而黜之，验其实，始得入籍。及诸侯王阿只吉，火郎撒所领探马赤属康礼氏者，令枢密院康礼卫遣人乘传，往置籍焉”（注：《元史》卷98《兵志一》。）。
    右、左钦察卫，至元中钦察卫初立时，设行军千户十九所，亦可见其军数之庞大。龙翊侍卫，以左钦察卫唐吉失等九千户组成。
    宣忠斡罗思扈卫亲军都指挥使，文宗时将散属的斡罗思人一万，立营于大都之北，给地屯田。诸王勋旧随之皆以所属之斡罗思人进献，编入此军。
    京城卫戍军外，又有：
    回回炮手军匠上万户府，所属千户所三翼。
    哈剌鲁万户府，所属千户所三翼，驻南阳。
    蒙古、回回水军万户府。
    上述的这些军团，基本上都是由东迁的各个部族分别组成的，屯聚而居，自成一个小社会。
    西征中的大批俘虏（注：参考《中国通史》8卷上册，283页。），除成了诸王、军将的私属者外，东迁以后，政府所领的也都是采集团的形式安置，从事带有中、西亚特色的手工产品的生产。元代的工匠皆世其业，另立匠户管理，不与民户混同。譬如著名的哈散纳，领阿儿浑军，并回回人匠三千户驻于荨麻林（注：《元史》卷122。）。有关阿儿浑人，马可波罗在《行纪》曾有专门的记载，说这是一种“有治权的基督教徒，构成一种阶级，名曰阿儿浑，犹言伽思木勒（Gasmoul）也。其人较之其他异教之人形貌为美，知识为优，因是有权，而善为商贾”（注：《马可波罗行纪》上册73章，冯承钧译，中华书局，1957年。）。伽思木勒，犹言“杂种”。在工部、将作院、大都留守司等衙门下，都分设许多匠局，其中不少当是从中亚掳发过来的工匠，专门从事其传统的手工特产。如工部所属的撒答剌欺提举司、别失八里局、昭功万户都总使司所领的弘州、荨麻林纳失失局等，顾名思义，都可以肯定其为回回人匠无疑。它们也构成为一些西来人户的聚居区。
    与因降附和俘虏而东来的情况不同，商旅却是自愿而来，自由活动的。但是他们的居留处所却是固定的。《萍州可谈》卷2记宋时广州“置蕃坊，海外诸国人聚居，置蕃长一人，管勾蕃坊公事”。元时似乎无蕃坊之制，但外来的商贾为了交通、营运及生活上的便利，自成聚集是自然的事。泉州外商住地多在城之南郊。“杭州荐桥侧首，有高楼八间，俗谓之八间楼，皆富实回回所居。”（注：《辍耕录》卷28《嘲回回》。）奥多里克所记杭州城中回教徒为四火，恐尚在八间楼之外。伊本·拔都塔记广州城中之一部分即回回人坊（注：《东域记程录丛》卷4，122页。），都可以证明。元时西方商旅居停中国者，除了人数较之唐、宋远为多之外，其经营方面还有两大特点：一是中宝制度大行。所谓“中宝”，即中买宝物，就是色目商人勾结朝中的色目权要，以向皇帝呈献海外宝货的形式，而从政府那里取得数倍、百倍的赏值；权要则从中分取大利。泰定帝时，“西僧鬻宝，动以数十万锭”。丞相倒剌沙等还奏请对累朝未酬值者，概予偿付，其数高达40余万锭，“较其元直，利已数倍。有事经年远者三十余万锭，复令给以市舶番货”（注：《元史》卷175《张珪传》。）。倒剌沙与平章政事乌伯都剌“皆西域人，西域富贾以其国异石名曰者来献，其估钜万。”（注：《元史》卷182《宋本传》。）他们之间相互勾结。二是斡脱（ortog）制度的盛行。“斡脱”，意为伙伴，即由官府或势要人员出具资本，伙同色目商人营运，而分取利入。由于有官府或权要的特权庇护，故可以取得持玺书、佩虎符、乘驿传、豁免商税，甚至巧取豪夺、威迫地方官吏的种种特权。无论是中宝商人或斡脱商人，他们活动的范围都限于色目官员的上层圈内，广大汉人厌恶他们，和他们不可能有任何交往。
    上述情况表明，在元代，东来的中、西亚人士，基本上都是依其所属部族或原籍贯集结聚居，在广大汉人社会里，形成大分散、小集中的局面。他们始终保持自己原有的语言、习俗、宗教信仰、婚姻、服食，乃至于自有专门的义阡葬域。有变易旧俗者就会“取摈于同类”。故虽散布各地，“然而求其善变者则无几也。虽居中土也，服食中土也，而惟其国俗是泥也。”（注：许有壬：《至正集》卷53《西域使者哈只哈心碑》。）“虽适异域，传子孙，累世不敢异焉。”（注：《泉州宗教石刻》吴鉴《重修清净寺碑记》，社会科学出版社，1955年。）
    按照蒙古的定制，凡被征服地区或部族首领入朝，在汗庭上的班位规定是先征服者在上，后征服者居下。由此引申其臣民的社会政治地位也等级分明。窝阔台时，一个来自契丹（即汉地）的戏班子表演，其中一幕有各族人的场面，一个契丹人（汉人）在马尾上拖着一个叛乱的穆斯林。窝阔台见了，立令停演，并且说：“最贫穷的穆斯林有很多契丹奴隶，而契丹大异密（大官）却连一个穆斯林躯奴也没有。这个原因只能归诸造物主的慈恩，他知道各族的地位和等级。这也和成吉思汗的旧扎撒（法律）相符合。据此，一个穆斯林的命价是四十巴里失（一种银币），一个契丹人的命价是一头驴子。”他严厉地惩处了这种辱弄伊斯兰百姓的行为（注：《世界征服者传》上册，内蒙古人民出版社，1980年，243页。）。这一蒙古的旧制后来就发展成为元朝政府把全境人民划分为四等级的制度，即第一等为蒙古人，其次为色目人，第三为汉人，即原金朝所属地区的汉族等人，最末一等为南人，即原属南宋、最后为元朝平服地区的汉族人。各个等级的人在任官、服役、纳税、刑罚乃至生活行为等各方面都有法律所规定的明确高下分别。色目人在元朝是享有仅次于蒙古人而高于汉人、南人的许多特权的。蒙古统治者这样做，一是充分利用宋、金以来南北对立，汉族内部长期分裂的矛盾，以削弱汉族的势力；二是借助于色目人的人才和政治、理财经验，对汉地进行牢固的统治。同时也巧妙地利用色目人来对汉人进行防范、牵制，削弱汉人进行反抗的可能性；又把色目人推到与汉人争权取利斗争的第一线，从而转移广大汉人与蒙古人的民族矛盾。因此，在元代，汉人与色目人，也即是那些东来旅华的西方人之间的矛盾一直是十分尖锐的。有名的刺杀阿合马事件就是汉人与色目人矛盾的显著事例。据说王著刺杀阿合马的喜讯传开，大都市内，“贫人亦莫不典衣，歌饮相庆，燕市酒三日俱空”（注：《心史·大义略叙》。）。汉人对色目人仇恨的程度，从元末农民大起义中浙东的情况也可以窥知。《归田诗话》载：“丁鹤年，回回人，至正末，方氏（方国珍）据浙东，深忌色目人，鹤年畏祸，迁徙无常居。有句云：‘行踪不异枭东徙，心事惟随雁北飞。’识者怜之。”（注：瞿佑：《归田诗话》卷下。）在福建，汉人与色目人间的仇杀尤为剧烈（注：参见拙著《元代史》，上海人民出版社，1993年，660-661页。）。可以想见，这些东来的色目人，他们本来就“多是富商大贾，兼并势要之家”，“天下名域区邑，必居其津要，专其膏腴”，再加上等级的优势，享受特权。他们又是自成聚落，组成一个单独的社会。因此，他们与周邻的汉人是完全隔绝的。他们对于汉人的情况无从了解，也不屑于了解；同样，汉人对他们的生活情况也始终隔膜。这一点，我们从当时汉人对伊斯兰教和基督教的了解上就可以明显地证明。吴鉴撰《重修清净寺碑记》叙伊斯兰教说：“初默德那（Medina）国王别谙拔尔谟罕蓦德，生而神灵，有大德，神服西域，诸国咸称圣人。别谙拔尔，犹华言天使，盖尊而号之也。”其所知仅限于几个伊斯兰教的神职名辞（注：《泉州宗教石刻》。）。《心史》则谓：“回回事佛，创叫佛楼，甚高峻，时有一人发重誓，登楼上大声叫佛不绝。”陶宗仪记杭州荐桥回回人之婚礼，惟知其“绝与中国殊，虽伯叔姐妹，有所不顾”（注：《辍耕录》卷28《嘲回回》。）。可见当时汉人对回回之宗教、礼俗的了解是十分肤浅的。梁相撰《镇江大兴国寺碑》，记基督教则谓：“薛迷思贤（Samankend），在中原西北十万余里，乃也里可温行教之地。愚问其所谓教者，云天地有十字寺十二，内一寺，佛殿四柱高四十尺，皆巨木，一柱悬虚尺余，祖师麻儿也里牙灵迹，千五百余岁。今马薛里吉思，是其徒也。教以礼东方为主，与天竺寂灭之教不同。且大明出于东，四时始于东，万物生于东。东属木，主生。故混沌既分，乾坤之所以不息，日月之所以运行，人物之所以蕃盛，一生生之道也。故谓之长生天。十字者，取像人身，揭于屋，绘于殿，冠于首，佩于胸，四方上下，以是为准。薛迷思贤，地名；也里可温，教名也。”（注：《至顺镇江志》卷9《僧寺·大兴国寺》。）身为一府儒学教授的梁相，可算是当时的名流硕学，而他对基督教的了解几近乎瀛海奇谈。出现这类情况无疑是彼此隔绝所造成的。汉人对色目人之了解如此，反过来，色目人对汉人的了解自然也是隔膜的。当然，我这里是就绝大多数自成聚落的色目人而言。对于个别的一些孤身出宦远地、迁转无常的色目官僚之家，他们离开了自己的族属与群体，活动在汉人社会之中，就不可避免地不同程度上“华化”了。特别是科举复行之后，为了能通过考试，步入仕途，他们中的一些人努力学习儒典，接受汉文化。但就色目人的总数而言，这部分人始终是少数。许有壬《西域使者哈只哈心碑》极口称赞东来的那鲁浑氏哈只哈心家族能改变旧俗、攻儒书、习汉礼，是孟子所说的“善变者也”，而慨叹像这样的“善变者则无几”。许有壬是元末的名家，他的话无疑是有充分事实根据的。这就有力地证明，元代的色目人，绝大多数人始终是“惟其国俗是泥”的，勇于“华化”的人只是极少数。