其次，孙立人的整顿，配合了蒋家父子苟延残喘，重建台湾的大业功劳卓卓，不免引起其他军中重臣的妒忌。他们明里反对，暗中拆台，加入倒孙大合唱。军中重臣以陈诚为首，而孙立人又是陈诚自抗战中期以来极力排挤的对象，倒孙过程中陈诚之卖力可想而知。这帮军中重臣大都曾帮助蒋介石篡权上台，30多年来一直被蒋介石视为心腹股肱，他们的意见往往能影响蒋介石的政策，所以孙立人必倒无疑。
     第三，随着孙立人整顿的进行和时间的推移，蒋介石自己的态度也起了变化。蒋介石到台湾后的一条基本路线就是为大公子蒋经国接班上台做准备，军事方面也是这样。孙立人在整编过程中，启用了一批深受蒋经国赏识的军人，这是符合蒋记基本路线的。可是蒋经国此时出任“国防部总政治部主任”，正利用政工系统全面干预军事指挥事务。孙立人从西方军事管理理论出发，对过去在前线率领新一军时受到的政工系统的干扰，记忆犹新，更对现时无处不在的、蒋经国的政工势力的牵制分外反感，故把削弱乃至取消政工系统也列为陆军整编的一大内容。当他让美国顾问团团长蔡斯提出这一建议后，除得罪了大多由军中特务担任的、权力很大的政训人员外，也得罪了蒋经国，从而得罪了蒋介石，蒋、孙分手难免。
     孙立人在台湾军界成为不受欢迎的人，孙立人与蒋介石之间的矛盾迅速激化。蒋介石看不惯孙立人那高傲、盛气凌人的气势，孙立人平时缺少黄埔系成员的那股“机灵劲”，说话坦率刺耳，作风明快偏激，断事利落无情。特别是孙立人很受美国方面的宠爱，在美国顾问团团长蔡斯的眼里，只有孙立人。孙立人更挟“洋”自重，目空一切，蔡、孙的亲热关系，刺激了包括蒋介石在内的台湾军政要员。孙立人只尊不敬的态度使蒋介石大为不满。在蒋介石的眼中，孙立人成为一个不可不用但又不可久用的人物。
     蒋介石时机选得很准，此时美国已经准备在干涉中国内政的道路上走下去，维持台湾当局的统治，反对新中国。运到台湾的美援已经进入正常化、制度化阶段，蒋介石不必整日为美援能否准时到来而担心，也不必再用美国方面喜欢的官员来争取美援。在这种美援不断的国际背景下，孙立人下台的时机到了。