正兴冲冲准备参与南下作战的陈光，突然又被林彪兜头一棒，他的情绪又一次降到冰点。
     被软禁的日子1950年1月，陈光被任命为广东省军区副司令员兼广州警备区司令员。广州离他的家乡湖南宜章较近，宜章有一些亲戚朋友，烈士子弟慕名来找他，其中有的人同当时在海南岛的国民党军的头面人物有联系。陈光想通过他们对海南岛的国民党军进行策反。海南解放后，陈光仍同海外一些人士保持联络关系。在这些关系中难免有良莠不齐的现象。他还开办过招收知识青年的训练班。在这些他并不熟悉的领域，工作中也难免有失误。这些错误并非敌我矛盾，他却受到不公正的对待，被撤职、开除党籍。
     向他宣布撤职时采取了突然袭击的方式。7月23日，当时任广州军区参谋长的李作鹏以老部下、老战友的身份邀请陈到荔枝湖公园划船散心。陈走后，保卫部的干部立即进入，查抄了陈光的住处，缴了陈的警卫员的枪。陈光一回来，就在他居住的二楼卧室内向他当面宣布撤销广东省军区副司令员和广州警备区司令员的职务，他被软禁起来，警卫人员全部调换，只留了一个老炊事员给他做饭。1950年10月，又把他转移到武汉继续软禁。
     1951年2月，陈光被错误开除党籍。在对陈光的处分决议中把1946年因形势变化，电台未调到总部说成是“将联络大部分部队的电台无理霸占，抗命不交”，将1947年初带侦察连到松花江以南进行侦察说成是“自作聪明，不按总部部署调动部队，竟于危急之际，按兵不动”，还无中生有地说他指挥部队第一次解放长春后“缴获大量伪满币和烟厂，也据为己有，不交上级”。解放长春后紧接着就是北撤，进行新站、拉法战斗。显然，陈光不可能身背着烟厂和伪满币上前线。
    在这些指责后面，可以看到林彪的影子。
     陈光在被软禁以后，曾一度拒绝理发和刮胡子，同皖南事变后的叶挺一样，蓄发蓄须以明志。他除读书外，还写了不少东西，有用钢笔写的，也有用毛笔写的。从内容看，有成段的回忆录，也有随手写的片言只语。写这些东西主要是为了排遣自己的孤独和愤懑。他那一腔悲愤无人可以诉说，只有付诸笔端了。他通过这些反思了自己的一生，也反思了他和林彪的关系。在回忆同林彪结识的水南、值夏战斗时，他写道：
     我说他(指林彪)无品质的人，我说他无修养的人，我说他无气量的人，我说他没有共产党道德的人，为什么如此呢，说他不(无)呢？
     我与他接触最早。打唐云山之战就与他相认了，直到现在。当时的景况应由他自述好了。在当时情景是水火不相容的，是你死我活或是我死你活或是他死你我均活的景况。当时(他)的脸色如何，我在当时看见如此，以自己性命全抛在九霄云外，一切不顾来挽救……当时你、我、它三者如何？你当时的表情如何，我的表情如何，它的表情如何？敌我所处水火不相容的情景：(是)你死我死它活呢，(是)你活我死它活呢，(是)你死我活它活呢，(还是)你我均活它死呢？最后决定它死，你我均活。才得有今(天)的胜利。否则如当时没有看清这点，哪里有今(天)的胜利呢？……陈光写这个东西主要是为了抒发自己的愤懑心情，而不是写给别人看的，因此表达不是很清楚。但从字里行间可以看出：(一)当时形势很紧张，是你死我活的形势；(二)林彪当时表情也很紧张。从陈光用“脸色”这个词可以判断林彪在敌人围困下甚至有点惊慌失措。(三)如果当时不是陈光拼死相救，林彪性命难保。
     在陈光被软禁时，林彪的错误和罪恶还没有发展，更没有暴露。但是陈光从林彪整他的行动中直觉地感到林彪有问题。一次，萧向荣去看望他后，他写道：“我对林(彪)恨透了。”他还写道：“你(指林彪)去苏返国以后我觉(得)有许多变化。”他也曾向同他谈话的干部直言不讳地表示对林彪的不满。他曾说：“林彪有钱有势”，“林彪把我害得这样苦”。他还说：“我的前途只有三个字：第一是骂，这个阶段似乎已经过去。第二是臭，现在就是臭的阶段。第三是死，陈光不死，林彪的纱帽是不会取下来的，我死了同情就会倾向于我的。”这些话又被作为罪证写到给他的处分决议和处分决定中。