1931年9月18日，日本帝国主义发动了侵华战争，由于国民党政府推行不抵抗政策，致使日军在几天内就占领了沈阳、长春、吉林等大城市，接着侵占了中国东北大部分领土。为了抵抗日军侵略，中国共产党号召人民起来抗日。东北人民和东北军部分爱国将士组成义勇军、救国军、自卫军等抗日武装，统称东北抗日义勇军，在东北各地抵抗日军的进攻(参见东北抗日义勇军对日作战)。中共满洲(今东北三省)省委员会首先动员共产党员和广大群众参加抗日义勇军。1932年1月开始组建自己直接领导的抗日武装对日作战，到1933年，已组成10余支抗日游击队，在黑龙江省巴彦、汤原、吉林省珠河(今尚志)、宁安、密山、饶河(四县今属黑龙江省)、珲春、汪清、延吉(今龙井)、和龙、盘石、辽宁省海龙、安图(今均属吉林省)等地开展游击活动。
     主要领导人有杨靖宇、赵尚志、童长荣、夏云杰等。中共满洲省委还派周保中、李延禄等共产党员到东北义勇军中进行工作。
     1933年1月，中共中央提出全民族抗日统一战线和同其他军队共同抗日的方针后，各游击队开始和抗日义勇军、抗日山林队共同作战，部队得到迅速发展，继扩编为东北人民革命军。到1936年春，相继成立6个军：第1军，军长兼政治委员杨靖宇;第2军，军长王德泰，政治委员魏拯民;第3军，军长赵尚志，政治部主任冯仲云;第4军(东北抗日同盟军)，军长李延禄，政治部主任何忠国;第5军(东北反日联合军)，军长周保中，政治部主任胡仁;第6军，军长夏云杰，政治部主任张寿(即李兆麟)。第1、第2军活动于南满和东满地区;第4、第5军活动于吉东地区;第3、第6军活动于北满地区。各军广泛开展游击战争，打击日伪军。人民革命军经过两年多的艰苦斗争，粉碎了日伪军多次讨伐，歼灭大量日伪军，发展到万余人，扩大了游击根据地。

     1936年2月，东北人民革命军陆续改为东北抗日联军。将原来的6个军依次改为东北抗日联军第1至第6军，以后又组建了第7至第11军。第7军，军长陈荣久，政治部主任郑鲁岩，活动于饶河、虎林、抚远地区;第8军军长谢文东，政治部主任刘曙华，活动于依兰、方正、勃利地区;第9军，军长李华堂，政治部主任王克仁，活动于勃利、依兰地区;第10军，军长汪亚臣，政治部主任侯启刚，活动于五常、舒兰地区;第11军，军长祁致中，政治部主任金政国，活动于桦川、富锦地区。到1937年底，东北抗日联军发展3万余人，在黑龙江、吉林、辽宁3个省、70余县的范围内展开积极作战，相继进行子莲花泡、兴山镇、舒乐河、大蒲柴河、哈达河、抚松、西关街、佛山、冰趟子、依兰、汤原、五道岗、辉南等许多重要战斗和反讨伐作战，牵制日军数十万人的兵力。
     从1938年下半年开始，日伪军集结重兵对各抗日游击区进行大讨伐，此间，谢文东、李华堂、郑鲁岩相继叛变。抗日联军在斗争极端残酷，处境十分艰难的情况下继续坚持斗争。抗联各军先后组成了第1、第2路军和第3路军，但因兵力过于分散，无力粉碎日伪军的进攻，被迫进行远征，部队受到巨大损失，除新开辟的黑龙江、嫩江平原游击区外，各军原有的游击根据地和深山中的密营先后丧失，处境极端困难，到1942年初，大部斗争受挫，各部除留下若干小部队坚持斗争外，其余部队先后退入苏联境内整训。
     坚持北满地区抗日游击战争的抗联第3、第6、第9、第11军，至1938年6月已与日伪军作战数百次，取得较大战果，但自身也损失严重。鉴于海伦地区日伪军统治薄弱，中共北满临时省委决定抗联上述部队大部向海伦远征，开辟新区。同年夏，除第9军主力留原地坚持斗争外，其余各部陆续从汤原、萝北、绥滨地区出发远征，先后抵达海伦、德都地区，依托小兴安岭开展黑(龙江)嫩(江)平原抗日游击战争。1939年5月30日，上述各部合编为抗联第3路军，张寿筏(又名李兆麟)任总指挥，冯仲云任政治委员。至1940年，第3路军先后开辟了朝阳山、阿荣旗、甘南等游击区，并取得了讷河、德都、肇州、肇源等战斗的胜利，歼灭日伪军数百人。