为何诸多士族人物多归附刘毅，而不依附军政权势更高的刘裕呢？究其原因则主要在于二人的文化修养与气质存在一定的差异。就学术文化而言，刘裕的修养极差，对士族社会所崇尚的学术文化，如清谈、诗赋、书法、音乐等，不仅几乎一无所知，而且在心理上极端排斥，表示鄙薄，显示出典型的“素无术学”的寒门特征，这必然妨碍了他与文化士族名士的感情沟通与交流，从而引起士族名士阶层的不满。不仅如此，刘裕掌权后，对一些士族名士还采取了严厉的镇压手段。《魏书·刘裕传》载：“裕本寒微，不参士伍，及擅时政，便肆意杀戮，以威惧下。初以刁逵缚之之怨，诛其兄弟；又以王愉、谢混、郗僧施之徒并皆时望，遂悉害之。”确实，刘裕义熙年间所害士族名士甚多，上述人物之外，著名者至少还有殷仲文。刘裕诛戮名士，除推行打压士族豪强的政治政策外，主要在于士族名士瞧不起他。这方面最典型的是谢混的事例。《建康实录》卷一○《晋安帝纪》有一段记载：“时刘裕拜太尉，既拜，朝贤毕集，混后来，衣冠倾纵，有傲慢之容。裕不平，乃谓曰：‘谢仆射今日可谓旁若无人。’混对曰：‘明公将隆伊、周之礼，方使四海开衿，谢混何人，而敢独异乎？’乃以手披拨其衿领悉解散，裕大悦之。”在刘裕的进位典礼上，作为士族的代表，谢混如此表现，显然是为了出刘裕的洋相，表示对其进位的不满和抵制，至于通过谢混的一番调侃，刘裕“大悦之”，实际是颇为无奈。对于谢混，刘裕也曾委曲求全，尽力拉拢，据《南史·谢晦传》，谢混与谢晦曾同时进见刘裕，刘裕夸赞“一时顿有两玉人耳”。义熙六年，刘裕任谢混为尚书左仆射、领选，在人事任用上注意征求其意见。《宋书》卷六○《范泰传》载：“时仆射陈郡谢混，后进知名，高祖尝从容问混：‘泰名辈可以比谁？’对曰：‘王元太一流人也。’徙为太常。”但从谢混的角度而言，其门第身份与文化性格，与粗鄙的刘裕无论如何都难以融洽相处，而从内心深处轻视“素无术学”的寒门军阀刘裕。
    谢混如此，其他士族名士也多如此，刘裕对士族名士的拉拢收效甚微。因此，在士族社会及其文化尚具有一定影响力的社会环境中，刘裕不能不时常感到孤寂。有一则材料可以对此充分说明。刘穆之是刘裕的心腹之臣，刘裕的一举一动皆依赖其指导，故刘穆之死后，《南史》卷一五《刘穆之传》载：“及帝受禅，每叹忆之，曰：‘穆之不死，当助我理天下。可谓人之云亡，邦国殄瘁。’光禄大夫范泰对曰：‘圣主在上，英彦满朝，穆之虽功著艰难，未容便关兴毁。’帝笑曰：‘卿不闻骥乎，贵日致千里耳。’帝后复曰：‘穆之死，人轻易我。’其见思如此。”刘穆之不仅具有处理实际军政事务的能力，更是刘裕生活中的主要帮手。所谓“穆之死，人轻易我”，正反映出刘裕常遭士族人物轻视所产生的孤寂心情。
    相较而言，刘毅的文化修养要好一些。《南史》卷一七《胡藩传》载有胡藩谓刘裕曰：“夫豁达大度，功高天下，连百万之众，允天人之望，毅固以此服公。至于涉猎记传，一咏一谈，自许以雄豪，加以夸伐，缙绅白面之士，辐辏而归，此毅不肯为公下也。”这里说刘毅“涉猎记传，一咏一谈，自许以雄豪”，具有较高的接近士族社会的文化修养，因此士族社会人物“辐辏而归”。胡藩是刘裕的死党，他为刘裕分析士大夫“辐揍而归”刘毅的原因，绝非为了赞誉刘毅，因而与前文所引材料相参，可见刘毅确实具有较高的士族社会的文化修养。对此，仔细考索，有实例可以说明。刘毅爱好书法，据《法书要录》卷二所录虞龢《论书表》，“刘毅颇尚风流，亦甚爱书，倾意搜求，及将败，大有所得”。刘毅常读史，《晋书》本传载：“毅骄纵滋甚，每览史籍，至蔺相如降屈于廉颇，辄绝叹以为不可能也。尝云：‘恨不遇刘、项，与之争中原。’”刘毅亦能赋诗，《晋书》本传载：“初，裕征卢循，凯归，帝大宴于西池，有诏赋诗。毅诗云：‘六国多雄士，正始出风流。’自知武功不竞，故示文雅有余也。”显然，他是以风流名士自居，崇尚“正始风流”的。他善书法，能作诗赋，好读史，亦能谈论，这与士族名士人物的文化爱好和基本修养相一致，而与刘裕的粗鄙言行形成了鲜明对比。刘毅自来好与士大夫交往，前引《宋书·庾悦传》载：“初，毅家在京口，贫约过常，尝与乡曲士大夫往东堂共射。”可见刘毅少时在乡里即喜好与地方名士游集，附庸风雅，模仿士族名士的生活方式。刘毅初当政，即与名士代表殷仲文等人交游，殷仲文曾依附桓玄，刘裕予以压制，“常怏怏不得志”，又外放为东阳太守，“意弥不平”，但刘毅“爱才好士，深相礼接，临当之郡，游宴弥日”(21)。刘毅对士族名士如此“爱才好士，深相礼接”，加上其个人的文化修养等因素，自然深得士族名士的推崇。
    可见，虽然刘裕、刘毅同出自次等士族的北府兵武将，但个人的文化修养、性格、气质不同。对于高门士族名士阶层而言，他们处于门阀政治格局已经破败的困境之中，面对寒门武将势力的不断兴起与当时社会的深刻转型，他们根本无力扭转历史变革的大势，只能企图在北府武将中挑选与他们在思想感情、文化心态上更为接近、便于沟通的具有一定权势的代表人物，以充任将来新政权的统治者。从门阀士族社会的立场看，显然刘毅比刘裕更为合适。于是，殷仲文、谢混等一流士族名士代表与刘毅交结，甚至出现了士族社会“当世莫不辐辏”、“朝野莫不归附”的情况。高门士族代表在寒门武将中寻找代理人，看中了刘毅，抵制在文化修养上更为粗鄙的刘裕。
    就刘毅与刘裕的权力与地位的斗争而言，义熙三年以后双方的矛盾已逐渐激化，义熙六年以后则日益表面化、公开化，甚至在日常游娱活动中二人都格格不入，针锋相对。二人都喜好樗蒲赌博，因此，樗蒱也成为二人竞争的一种方式。《晋书·刘毅传》载一事曰：“后于东府聚樗蒱大掷，一判应至数百万，余人并黑犊以还，唯刘裕及毅在后。毅次掷得雉，大喜，褰衣绕床，叫谓同坐曰：‘非不能卢，不事此耳。’裕恶之，因挼五木久之，曰：‘老兄试为卿答。’既而四子俱黑，其一子转跃未定，裕厉声喝之，即成卢焉。毅意殊不快，然素黑，其面如铁色焉，而乃和言曰：‘亦知公不能以此见借！”又，《宋书》卷六四《郑鲜之传》载：“刘毅当镇江陵，高祖会于江宁，朝士毕集。毅素好樗蒱，于是会戏。高祖与毅敛局，各得其半，积钱隐人。毅呼高祖并之。先掷得雉，高祖甚不说，良久乃答之。四坐倾瞩，既掷，五子尽黑，毅意色大恶，谓高祖曰：‘知公不以大坐席与人！’鲜之大喜，徒跣绕床大叫，声声相续。毅甚不平，谓之曰：‘此郑君何为者！’无复舅甥之礼。”由此二则樗蒱游戏故事，可见二人之间关系紧张之状态。
    义熙八年四月，刘裕以刘毅为卫将军，都督荆、宁、秦、雍四州诸军事，荆州刺史。刘毅本为豫州刺史，驻镇历阳，距首都建康甚近，可以干预国家军政要务，故有“亚相”之地位，而出任上游，远离建康，实际上是削弱了刘毅的地位。甚至刘裕集团中有人建议在送别宴会上刺杀刘毅，《宋书》卷五○《胡藩传》载：“毅初当之荆州，表求东道还京辞墓，去都数十里，不过拜阙。高祖出倪塘会之。藩劝于坐杀毅。高祖不从。”《南史·胡藩传》载刘裕说：“吾与毅俱有剋复功，其过未彰，不可自相图。”刘裕这样做，是很理智的。他调离刘毅，必然刺激刘毅变乱；而刘毅离开长期经营的下游之地区，在荆州上流并无任何社会基础，较容易解决问题，胡藩想乘隙而入，获得刘裕的赏识，刘裕当然不会因此破坏大局。果然，刘毅出刺荆州后，心态进一步失衡，开始谋划割据对抗。《晋书·刘毅传》载其“既出西藩，虽上流分陕，而顿失内权，又颇自嫌事计，故欲擅其威强，伺隙图裕，以至于败”。关于刘毅在荆州谋反，《晋书》本传载：“毅至江陵，乃辄取江州兵及豫州西府文武万余，留而不遣，又告疾困，请（刘）藩为副。刘裕以毅贰于己，乃奏之。”这说明刘毅在荆州调拨其旧地豫州西府和江州的部属，以壮大自己的力量。不仅如此，刘毅又要求扩大其对广州等地的军事都督权限，而这都是刘裕所预料到的。因此，刘裕于义熙八年九月派大军西征，刘毅措手不及，兵败被杀。在此前后，刘毅集团中的士大夫人物谢混、郗僧施等人也相继被诛。至此，义熙年间北府兵势力中的刘裕与刘毅之争结束了。