例如在一次全国性的公安工作会议上，上级领导机关就曾明确指出上海公安工作中出现的问题是属于工作性质的错误。当时上海市委的主要负责人陈毅也曾指出，对于公安工作中出现的问题“应根据隐蔽战线的特点和规律实事求是来分析，不能简单地对待”。组织上决定让扬帆去苏联治病和疗养这件事本身也可以说明当时还并没有把他的问题看得过分严重，至少还没有把他推到敌人那边去。
     扬帆被打入另册问题的复杂化和进一步升级，始于1954年的春天。这一年年初，党内发生了“高饶事件”。饶漱石与高岗结成反党联盟进行篡夺领导权的阴谋活动被揭发出来，中央有关部门开始了对饶的全面审查。由于饶是华东局书记，批准胡均鹤为“情报委员会”主任的是饶，而具体负责“情报委员会”的是扬帆，于是扬被与饶联系在一起审查了。1954年的最后一天，当扬帆正在上海家中休息养病时，突然被叫到上海市公安局，当晚即被扣押，过了两天，他也被送往北京接受隔离审查。从此开始了漫长的监狱生涯。3个月之后，在党的全国代表会议上，党的最高领导人在谈到高饶问题时，便直接点了扬帆的名，明确地把他列入了饶漱石反党联盟之内。数天之后，扬帆被正式逮捕。其主要罪名，还是“重用、包庇和掩护’特务分子和反革命分子勾300余人”。
     潘汉年成了“反革命集团”首犯饶漱石的反党活动殃及扬帆，但事情到此并未结束。1955年3月下旬，在中共中央召开的一次非例行的全国代表会议上，毛泽东主席在简短的开幕词中就对当时的国内外阶级斗争形势做了十分严峻的估计，同时提出了相应对策。他说，帝国主义势力在包围我们，我们必须应付可能的突然事变。帝国主义发动战争很可能进行突然袭击。因此我们要有所准备。另一方面，国内反革命残余势力的活动很猖獗，必须有计划地再给他们几个打击，使暗藏的反革命力量更大地削弱下来，以保证我国社会主义建设的安全。如果我们有所准备，采取适当措施，就可能避免敌人给我们造成重大危害。否则我们可能要犯错误。他的这番讲话，明白无误地向人们发出了一个重要政治信息：在我们所要准备和所要采取的措施中，一个非常重要的方面便是要开展一场大规模的肃反运动。
     就在这次会议上，在揭露和解决高饶问题时，上海市公安局的所谓“重用、包庇和掩护”反革命问题已经被作为一起重要政治案件提了出来。前已述及，此案的专案机构早在半年前便已建立并开始工作，主要当事人扬帆、胡均鹤以及“背后”的饶漱石都已先后受到追究和查处。然而就在会议结束后的第三天，即1955年的4月3日，此案案情却发生了令人意想不到的戏剧性的变化和发展，潘汉年在这一天突然被捕。后来在对外公开宣布时，被正式定名为“潘汉年、扬帆反革命集团”案。