此外，另有一段大家熟知的史料，高欢行台郎中“（杜）弼以文武在位，罕有廉洁，言之于高祖。高祖曰：‘弼来，我语尔。天下浊乱，习俗已久。今督将家属多在关西，黑獭常相招诱，人情去留未定。江东复有一吴儿老翁萧衍者，专事衣冠礼乐，中原士大夫望之以为正朔所在。我若急作法网，不相饶借，恐督将尽投黑獭，士子悉奔萧衍，则人物流散，何以为国？尔宜少待，吾不忘之。’”[43]这段记载，《资治通鉴》系年于梁武帝大同三年（公元537年），即东魏孝静帝天平四年，距薛孝通上策已有五年之久。五年过去了，而当年困扰高欢的问题却仍未解决，即人心不齐，“人情去留未定”。五年前薛孝通分析了高欢集团内部的涣散，当时高欢本人对此处境的心情如何不得而知，但从五年后高欢对杜弼所言，说明他心中还是有数的，只是态度谨慎，等待解决问题的合适时机。
    阻挠高欢不能断然采取整顿集团内部的手段的原因主要有两个。一是当时客观形势的严峻。高欢在创业伊始，即遭遇强大的尔朱氏势力；韩陵之战后，又与东魏宗室展开了夺权斗争。接着，孝武帝进入关中，东西对抗局面形成。双方在初期打了几场大规模的战争。这一连串的事件，使高欢的神经始终紧绷着，丝毫不敢松懈。二是在严峻的政治军事斗争中，他的武装集团的质量往往逊于对手，人心不齐。高欢虽奄有山东广大的土地、众多的人口，却缺乏西魏那样众多的高级将领。西魏八柱国十二大将军的军事体制，正是建立在拥有众多将领的基础之上的。在这种情况之下，高欢不得不对将领的胡作非为有所放纵，甚至是惜将如命。沙苑战后，侯景屡请以精骑二万取宇文泰，娄后对高欢说：“若如其言，岂有还理。得獭失景，亦有何利。”[44]竟不愿以一侯景换宇文泰，可以想见将才之少使高欢何等苦恼。然而严峻的军事形势迫使高欢对这一问题不能不有所考虑。在邙山之战中，东魏将领彭乐竟以一己之贪利而放走宇文泰，可见放纵将领也有一个度的问题。
    高乾恐怕是高欢采用了“借刀杀人”之法整顿内部的第一个目标。在高欢集团中，高乾不像自己的两个弟弟，他更多地是以政治人物而非军事将领的面目出现。对于他，其实高欢未必不知其忠心，但是在高欢集团中，他又的确是一个格格不入的音符。他的政治背景和阅历，他在冀州根深蒂固的势力，以及高家兄弟的卓著功勋，都使高欢有所顾忌。而且，高乾又是一个权欲很盛的人，他曾与崔凌一起反对高欢复立节闵帝，而改立孝武帝，尔后正是孝武帝与高欢不欢而散。高乾在失去侍中之职后，“居常怏怏”，汲汲于荣利形之言表。这与当年和他同迎高欢的赵郡大族李元忠的态度截然不同，侍中李元忠也劝高欢受禅，但他居于权力中心却远离权力。史称，“元忠虽居要任，初不以物务干怀，唯以声酒自娱，大率常醉”[45]。所以，不仅高欢，甚至是以后柄受乃父对众朝臣大立威行的高澄对待李氏始终都很优厚。在高欢看来，高乾是一个潜在的威胁，尤其是政治斗争紧张的时候。当然，高乾毕竟是有功之臣，高欢不能亲自动手，以免引起汉族大族的反感和恐慌，于是便利用孝武帝之手除去高乾。是后，孝武帝竟进而围追高乾弟高季式，高季式和高昂都不知祸从何来，先后投奔高欢。高欢的这一着实在高妙，既转嫁杀高乾的恶名，又赢得高季式、高昂兄弟的信任，可谓一举两得。无怪乎孝武帝愤愤不平，觉悟到上了高欢的大当，他在诏书中说：“顷高乾之死，岂独朕意。王（指高欢）忽对昂言兄枉死，人之耳目何易可轻！”[46]
    与高乾之死相对照，十多年后，即高欢让杜弼“少待”的日子终于到来了。武定二年（公元544年）左右，高欢整顿集团内部的政策全部出笼，其方式手段与当年杀高乾有异曲同工之妙。这时的历史背景是，经过东西之间几次大战，双方互有胜负，基本上奠定东西相持的格局，一方倾覆另一方的可能性不大。此后，双方虽仍有战事，但大致局限于局部地区的争夺。外患一旦消除，内忧便突出出来。这时高欢集团内部，实已是积弊甚深，元从义故、皇亲国戚，都非常跋扈，尤其是著名的“四贵”-孙腾、高岳、高隆之和司马子如十分专恣，致使贿赂公行。高欢自己躲在幕后，放权给其子高澄，“以澄为大将军，领中书监”，又“移门下机事总归中书，文武赏罚皆禀于澄”。并对权贵们宣言：“儿子浸长，公宜避之。”[47]同时，他还授意高澄起用崔暹、崔季舒、崔昂等人对权贵大加弹劾。而崔暹等果然不遗余力，“受世宗密旨，以法绳之，未几之间，内外整肃”[48]。这次大整顿，基本达到了高欢的目的，对出力居多的崔暹“高祖握暹手而劳之曰：‘……中尉尽心为国，不避豪强，遂使远迩肃清，群公奉法。冲锋陷阵，大有其人。’”[49]从高欢这席话也可看出整顿具有军事目的，与以往的举措一脉相承。
    从元氏东魏到高家北齐政权的最终确立，经历了一个漫长的过渡期。在这个过渡期中，发生了一系列重大事件，无论是高乾被杀，还是高澄重用崔暹等人，都是在一个共同政策指导下的产物，即高欢父子对集团内部的整顿。它的结果是保证了新政权建立前统治集团内部的统一与团结。这一切与以后北齐史上多次的胡汉冲突事件应属于不同的性质。但是，它们之间又不是毫无联系的。众所周知，东魏北齐是由鲜卑化的汉人控制和建立的。在这里，鲜卑贵族占据统治地位，有意排斥和打击汉族人士，出现多次激烈的胡汉冲突事件。这首先固然是民族矛盾的产物，但由于统治集团内部各阶层权力的集中与分散的斗争又进一步激化了本已尖锐的民族矛盾。高欢、高澄父子通过整顿内部达到了自己的目的，却把鲜卑贵族的怨恨引向汉族士人，使崔昂、崔季舒等人成为众矢之的。在高欢、高澄死后，那种假手于人的权力运用模式对以后北齐统治者产生了深远的潜在影响。这段历史逆流中的诸多事件都有相似的形式，这不能仅归因于历史的偶然。当我们重新审视北齐这段历史，不能不考虑到历史表象背后的各种社会、政治因素的作用。