就是在这个节骨眼上，斯大林在一封信中指出，在党的历史上还存在过其他各种反党集团，他列举了“托洛茨基派”、“民主集中派”、“工人反对派”、“右倾派”和“左右杂俎派”。并且指示，所有这些派别都应该是追查的对象。于是，各地方组织便把怀疑的目标对准了所有在各个不同时期反对过斯大林领导并发表过不同意见的共产党员。
    在有关基洛夫被杀的官方说词中，仿佛谋杀是由一个持假党证的人潜入基洛夫办公地点所进行的一次行凶。于是在斯大林的倡议下，便掀起了一场检查党证运动。
    这场运动始于1935年5月，迄于同年12月。 形式上是一项检查党证及其登录卡片真伪的工作，实际上是以审查党员、换发党证为中心，伴之以逮捕的清党运动。运动由以叶若夫为首的中央干部总管理局领导，并由内务部协同行动。一些党员经审查被开除出党后，接着就被逮捕。1935年12月，中央领导对叶若夫有关运动结果的总结表示不满，又延长了运动期限。运动的结果，审查了81%的党员。其中9%被开除出党。 （注：〔俄〕B.п。德米特连柯主编：《20世纪俄罗斯史》，第379页。）中央预计驱逐托洛茨基分子和季诺维也夫分子的计划没有完成，因为只有被开除党员总数的3%属于这个集团。这表明，实际存在的托、 季分子并不像中央估计的那样多，但中央领导认为，这是因为各地方党组织中有人故意作梗，在抵制中央方针的贯彻执行。
    检查党证运动除收集了大量诋毁党员的档案材料外，肃反人员又将被开除者逐一登记造册，立案侦查，其中许多人被以各种借口逮捕。据叶若夫向中央全会的报告，依据不完全资料，到1935年12月1日， 与被开除党籍相关而遭到逮捕的有15218人， 揭发出了上百个“敌对组织和集团”；（注：俄罗斯现代史文献收藏使用中心档案馆：第17 库， 第120卷宗，第177分卷，第22页。）在检查党证过程中没收党证几乎达25万张。（注：〔苏〕奥·赫列弗纽克：《政治局--30年代的政权机制》，第148页。）这样，通过这次运动， 安全机关就在手里实际上掌握了各个不同的时期在各种问题上对“总路线”有所异议的所有党员的材料：这些党员的材料和“帽子”被安全机关拿在手里，何时扣上只是时机问题了。同时，中央领导在运动中也掌握了各地组织及其领导人对其方针的各种态度。这就为日后开展的“大清洗”作了全面的准备和铺垫。
    除前述“十二月一日法令”外，1935年3 月通过了一项惩治叛国分子家属的法令，4月颁布了准许判处12岁以上儿童刑事罪的指令，6 月9日，又通过了对任何叛逃国外的苏联公民判处死刑的法令，而对任何知情不报者则处以监禁。这样，通过收集有关各类具有潜在反对派情绪的材料（主要是被开除党籍者），通过侦查各地党政领导人对中央采取消极抵制或具有抗上情绪的情况，通过强化政治案件的律条，加上1935年秋开展斯达汉诺夫运动以后工矿企业事故连续不断，追究“破坏分子”、“怠工行为”的浪潮一浪高过一浪，而这时国际局势的紧张又使苏联领导人越发对联合民主国家，制止法西斯侵略的可能性打上问号--所有这些情况，就使苏联最高领导人最后作出了迈向“大清洗”的决策。
    “大清洗”运动的进程
    1936年7月29日， 中央书记处向各地组织下达了联共（布）中央《关于托洛茨基--季诺维也夫反革命集团恐怖活动》的密信，以此揭开了“大清洗”运动的序幕。密信以通过刑讯逼供取得的口供为根据，列述了托、季直接勾结，实施恐怖活动的“事实”，在审判前已经把他们“罪行”的结论昭告全党。接着，在1936年8月19～24 日进行的莫斯科第一次公开审判--对“托--季反苏联合中心”案的审判，只是个过场和形式而已。这个案件由苏联最高法院军事审判庭审理，把季诺维也夫、加米涅夫等16人交付审判。所有被告都承认不仅是信念上，而且行动上同身处国外的托洛茨基有联系，并参加了对基洛夫的谋杀，还阴谋杀害斯大林和其他苏联领导人。他们还供认，其他前反对派成员--布哈林、托姆斯基、李可夫、拉狄克、皮达可夫、索柯里尼可夫和谢列布里亚柯夫等，都参加了反革命阴谋。24日，所有被告被判死刑，并立即执行枪决。
    如果说上述联共（布）中央的密信是在党内对“大清洗”所做的一次动员的话，那么，莫斯科第一次公开审判则是对苏联全社会所做的一次大动员。这次审判确认了托、季阴谋存在的事实，而从这一点又成了舆论动员的出发点。在这次公开审判期间或其后，全国上下举行了成千上万的各种群众集会，一齐声讨托--季阴谋，并作出决议，誓同“阴谋分子”斗争到底。这对造成既成事实，发动舆论、动员社会，起了巨大作用。
    但是，以雅戈达为首的内务部清楚地知道，非但把托--季反对派与杀害基洛夫联系起来是牵强附会的，而将这一谋杀案同“右倾”反对派挂起钩来，更是捕风捉影。因此，在雅戈达内务部方面，力图限制这次审判的政治后果。他们把这一与党的干部根本不相干的“暴徒谋杀”，归结为一场普普通通的恐怖事件。在他们看来，审判举行了，案犯惩治了，代表一个不大的托--季集团的敌人已被揭露，事情就算完结，不能再让事态进一步扩大。但在“托--季反苏联合中心”案的审理过程中已在干扰内务部工作的叶若夫，却力图扩大被告范围，对那些被怀疑抵制中央指令的党内干部和经济管理人员施行打击。斯大林在以雅戈达内务部为一方，以叶若夫为另一方的这场争执中，明确地站在后者一边。
    恰在这期间，在1936年9月23日，克麦罗沃矿区连续发生爆炸。 正在索契休养的斯大林和日丹诺夫，借机于9月25 日给莫斯科发回一封联名电报，电文说：“我们认为，任命叶若夫同志为内务部人民委员之职是绝对必要和紧急的事情。雅戈达明显不能胜任揭露托--季集团的任务。国家保卫局在这件事情上已经迟延了四年。”（注：〔苏〕《恢复名誉--30～50年代政治审判案》，第33页。）目前从现有档案中尚无法知道这个重大任免事项，经由政治局委员表决没有（注：俄罗斯现代史文献收藏使用中心档案馆，第17库，第63卷宗，第1123分卷， 第146～147页。）， 但由在莫斯科主持政治局日常工作的卡冈诺维奇立即形成文件，于9月30日完成，则是一清二楚的。
    对叶若夫这一任命，进一步为“大清洗”提供了组织保证。此前，在政治局有重要份量的奥尔忠尼启泽，因和卡冈诺维奇保持着友谊关系，并在某种程度上同雅戈达的内务部有着某种默契，因而阻滞了大规模的清洗。但9月底对叶若夫的任命，打破了这种平衡。（注：〔英〕E.A. 里斯：《斯大林主义与苏联的铁路运输（1928～1941）， 伦敦、 纽约1995年俄文版，第147、148、150、158、159页。）接着在10月间， 奥尔忠尼启泽在重工业人民委员部得力的副手皮达可夫，和在交通和煤炭工业部门任负责人的其他前托洛茨基分子索柯里尼科夫、拉狄克等，遭到逮捕。1937年1月23～30日，以他们为打击对象， 进行了莫斯科第二次公开审判--对“托洛茨基反苏平行中心”的审判。这次交付法庭17人，包括皮达可夫、索柯里尼科夫、拉狄克、谢列布里亚柯夫等，所有人都立即或稍晚一些从肉体上被消灭。
    这一次审判与前一次审判有所不同。前次审判的主旨，是指控托--季反对派甚至“右倾”反对派参与恐怖活动，染指谋杀，而此次审判的主题，则是灌输反对怠工的思想。似乎全国各个地区、各个经济部门，从中央到地方，从普通工程技术人员到人民委员，都存在着普遍的怠工。当时，全国正热火朝天地开展斯达汉诺夫运动，一方面超高指标，打破生产记录，天天在宣布。另一方面，成千上万个企业由于不遵守起码的技术操作规程，废品不断，工伤事故连绵，计划失误，设备损坏经常发生--这被统统指控为怠工行为。“怠工”几乎成了一种没有边际的外延，很多人都可能遭到这种指控。制造出技术专家怠工的形象，在人民群众中煽起对他们的恶感，成了这次审判预定达到的战术目标。这样，莫斯科第二次审判就揭开了对国民经济管理人员和党的干部清洗的序幕。在这前后，政治局内以奥尔忠尼启泽为代表，为使布哈林、李可夫摆脱在第一次审判中遭到的指控，同时也为保护经济管理部门，特别是保护重工业部门的领导人和技术专家，曾进行了种种努力和斗争。有证据显示，奥尔忠尼启泽曾为此仗义直言，同斯大林进行过拼死抗争，但他最后以身殉难（注：奥尔忠尼启泽在其自杀前40多天内（从1937年1月1 日至2月18日晨自杀），就找斯大林22次，谈话达70小时以上（见奥·赫列弗纽克《政治局--30年代的政权机制》，第291页）。 ），而未能阻止“大清洗”的推行。
    奥尔忠尼启泽在1937年2月18日的死， 消除了最高领导层中存在的对“大清洗”的最大的，也几乎是最后的阻力。接着，在几天后开幕的联共（布）中央1937年二月全会（2月25日～3月5日）， 为批准“大清洗”打开了最后的绿灯。在这次全会上，逮捕了布哈林和李可夫，并作出决议，把他们交付内务人民委员部审查。叶若夫在会上作了重要发言，向全会报告了在各地各部门破获的案件，揭露了各地各部门领导人的所谓“本位主义”、袒护“敌人”和阻挠揭发的种种行为。在全会最后，斯大林以《论党的工作缺点和消灭托洛茨基两面派的办法》为题，作了报告和总结。他从全会上的报告和讨论中得出结论：“在我们所有的或几乎所有的组织中，无论在经济组织或在行政组织和党的组织中，都在某种程度上碰到了外国代理人的暗害、破坏和间谍活动”；“外国代理人，包括托洛茨基分子在内，不仅打入了我们的基层组织，而且窃取了某些重要职位”，而“一些领导同志”竟“麻痹大意”，不仅不善于分辨这些敌人的“真面目”，而且“往往自己就帮助外国代理人窃取了某些重要职位”。（注：《斯大林文集（1934～1952）》，第136页。 ）他在全会上这样严重地估计形势并夸大敌情，自然以此大大推动了“大清洗”运动。
    在这次中央全会之后，全速开动了“大清洗”的机器。从这次中央全会到莫斯科第三次公开审判（1938年3月）的整整一年间， 是对千百万经济干部、党政军干部进行大撤换、大逮捕，用第一个五年计划期间提拔上来的新人取而代之的一年。“反对派”和“人民敌人”的概念无限扩大，凡对反对派有过同情，凡对斯大林路线有过异议，凡支持过基洛夫、奥尔忠尼启泽的温和倾向，甚至凡对斯大林有过不恭或谈笑的，统统被视为“反对派”和“人民敌人”，而加以审查和逮捕。这次清洗触及到了各个级别的干部，从中央政治局委员到各地各方面的基层干部。在此前后被镇压的政治局委员，有丘巴尔、埃赫、柯秀尔、卢祖塔克、波斯蒂舍夫。在139个联共（布）中央委员中有89个被逮捕， 而后几乎全部被枪决。在1966名十七大代表中，有1108人在“大清洗”期间消失。撤换了所有各人民委员部的部长。其中以坦克制造人民委员部和一些工业部门的部，损失最为惨重。坦克制造人民委员部整个管理机关的人员，各企业的所有厂长经理（只有两个除外），绝大多数工程师和技术专家都遭到逮捕。在其他工业部门--飞机制造、船舶制造、冶金工业等部门，也发生了类似的事件。镇压也扩大到了工会、共青团、各社会团体的干部以至科学和创作知识分子，以及共产国际的职员和外国党的同志等等。其牵连人数之多，至今尚在研究统计当中。（注：现从档案中共发现383个名单，上面载有4.4万名被捕的党、军队和经济部门领导人，其中3.9万人被判枪毙。政治局委员对这些名单都表决， 并在上面留有签名。〔俄〕《史源》1995年第1期。）德国纳粹间谍机关利用弥漫苏联全国上下的怀疑和告密气氛，伪造文件，制造了苏联副国防人民委员图哈切夫斯基元帅及其同僚同德国军部秘密联络的反间计，并通过捷克斯洛伐克侦探机构透露给了斯大林（注：《苏共二十二大》，莫斯科1980年俄文版，第585～586页。）；斯大林借此下令，在1937年6月将图哈切夫斯基和包括雅基尔、 乌鲍列维奇和埃德曼等在内的苏联7 位最着名的军区司令级将领逮捕并执行枪决（注：苏联和国外深入研究这个问题的历史家一致认为，这个反间计对斯大林对苏联军事领导人采取的行动没起决定作用，只是被用来对付动员其他军人指控被告起了一定作用。涅克里奇：（1941年6月22日）， 莫斯科1965年俄文版，第85～88页。）。在随后的两年间，从军内消失的共有11位副国防人民委员，80位中的75位最高军事委员会委员，8 位海军上将，尚存4位中的两位元帅（叶戈罗夫和勃留赫尔），16 位中的14位军级将领，以及90%的集团军将领和总计8万名当中的3.5万名军官。（注：〔俄〕德米特连柯主编：《20世纪俄罗斯史》，第385页。）“大清洗”运动除对各部门领导人、干部进行了大规模镇压外，还把镇压行动推广到了社会广大阶层中。有关社会上的镇压，长期严肃研究1937～1938年“大清洗”运动的俄罗斯史学家奥·奥列弗纽克，根据文件断定，这一行动“是国家规模的有目的、有计划的行动，是苏联最高领导监督和倡导下进行的”（注：〔俄〕奥·赫列弗纽克：《政治局--30年代的政治权力机制》，第188页。）。
    1937年7月2日，政治局批准向各省委、边疆地区、民族共和国党中央的书记们下达如下电报：“兹发现，大部分从前一度从各个省区流放到北方和西伯利亚地区、后经流放期满又回本地区的富农和刑事罪犯，是形形色色反苏和破坏罪行的主要罪魁祸首，无论在集体农庄和国营农场，无论在交通运输部门和工业部门，都是如此。
    “联共（布）中央向各省区党组书记和所有省区共和国内务部机构的代表提出，要对所有返乡富农和刑事犯进行登记，以便将其中最敌对的分子立即逮捕，并通过三人小组按行政办案规定予以枪决。对其余不太活跃但仍敌对的分子，要登记造册，流放到内务人民委员部指定的地区。