林彪与罗瑞卿长期是上下级关系。1959年庐山会议后，林彪取代彭德怀任国防部长，原总参谋长黄克诚因被打成“彭德怀反党集团”成员而被免职，经林彪向中共中央提名，罗瑞卿由公安部长职位调任总参谋长。
     起初，林、罗工作上相处尚可，但从1961年起就有点矛盾。1964年以后，林彪在几个重要问题上逐渐对罗瑞卿心怀不满，以致发展到恨之入骨的程度。1965年秋，林彪对陶铸说：1960年，罗瑞卿对我的合作是好的。但是从1962年起，就开始疏远我、封锁我，到1965年便正式反对我了。
    由比武大会引发的矛盾
     林彪对罗瑞卿表露出明显的不满，是从1964年的全军大比武开始的。为进一步促进部队的军事训练，1964年春，中央军委决定在全军举行一次比武活动。1964年6、7、8月期间，全军分18个区举行了比武大会，参加比武和表演的有1.3万余名干部、战士和民兵，军内外参观的干部近10万人。
     1964年6月15日和16日，毛泽东、周恩来、刘少奇、朱德、董必武、邓小平等党和国家领导人，检阅北京部队和济南部队的比武表演。毛泽东对这次比武活动评价很高，并指示要在全军普及“尖子”经验。
     这次全军大比武对于提高全军的军事素质和战斗力起了重要作用，但这一做法却并不符合林彪此时的治军思路。1960年，林彪曾提出部队的政治“四个第一”的观点，即人的因素第一、政治工作第一、思想工作第一、活的思想第一。全军大比武显然与他的“四个第一”不一致。因此，对于这次全军大练兵和大比武，林彪起初采取的是静观的态度。后来觉得有文章可做，就派叶群等人到广州军区当年他参加南昌起义时所在的连队等基层单位搞调查。调查中发现有些单位军事训练占用的时间多了一些，比武中个别单位有锦标主义、形式主义等问题。于是，林彪、叶群抓住这些问题不放，指责大比武是单纯军事观点，冲击了政治。
     1964年11月30日，林彪借全军组织工作会议召开之机，提出了“突出政治”。他说：“各级党委一定要把政治思想工作放在首要地位，一定要突出政治。”他甚至说，军事训练不应冲击政治，相反政治可以冲击其他，并要求1965年应当着重抓政治。林彪的讲话作为《关于当前部队工作的指示》下发全军贯彻执行。在林彪的压力之下，大比武活动就这样偃旗息鼓了。
    林彪决心整倒罗瑞卿
     罗瑞卿不同意林彪对大比武的批评，认为“1964年军事训练工作是建国以来最好的一年”，“去年是不是冲击了政治、冲击了学毛著？主要的不是，有一些是，主要的我看不是”。对于林彪关于“突出政治”的指示，罗瑞卿说：政治“也不能乱冲一气”。以后，罗瑞卿又多次提出，不要搞空头政治，说：“如果单纯把政治搞好，别的都不好，垮下来，这种政治恐怕不能算好政治，是空头政治，哪里有这种政治！”“军事训练搞不好，浪费事小，打起仗来就要亡党亡国。”
     本来在大比武这件事上，林彪就认为罗瑞卿不听话，同他有二心，产生了要将罗整下来的想法。1964年5月，毛泽东提出培养革命事业接班人的问题，要求每个人都要准备接班人，还要有三线接班人。在贯彻执行毛泽东指示的过程中，罗瑞卿曾就新老干部交替问题向林彪作过汇报，并曾讲过有些老干部应当主动“让贤”之类的话。一向多疑的林彪听了，认定这是罗瑞卿要他让贤，更坚定了打倒罗瑞卿的决心。