投靠蒋介石恶名昭著
     孙中山去世后，杨虎转而投靠蒋介石。然而，这两个拜把兄弟之间的距离已经迅速拉大。1926年的北伐时期，蒋介石已当上了国民革命军的总司令，而杨虎仅仅是国民革命军总司令部里的一个特务处处长。
     1927年4月12日，蒋介石在上海发动四一二政变，向共产党人举起了屠刀。杨虎则在上海当起了反共急先锋。四一二政变以后的10多天时间内，经杨虎下令杀害的共产党人、革命群众就达50多人。
     当时，杨虎因积极反共被蒋介石任命为上海警备司令，他与时任清党委员会主任的陈群在上海大肆搜捕并杀害共产党员、革命群众。那时，上海人民对杨虎、陈群这两个杀人如麻的刽子手恨之入骨，称他们为“养虎成群”。
     后来，屠夫杨虎、陈群又被蒋介石派到浙江宁波等地，担任清党刽子手。6月22日晨，杨虎、陈群从上海乘“新江天”船到达宁波江北岸码头，后面簇拥着一大群肩背大刀的青红帮流氓。当天，他们就杀害了中共宁波市委的负责人杨眉山、宁波市总工会委员长王鲲。清党期间，杨虎的手上沾满了共产党人、革命群众的鲜血。
     杨虎自认为在四一二事件中出了大力，自己又是蒋介石的拜把兄弟，所以，他还指望能继续升官。为了能做上大官，杨虎还常常吹嘘自己在“肇和号军舰起义事件”、“陈炯明叛变事件”中的功劳，这就引起了蒋介石的不满。蒋当时正以孙中山精神事业的继承者自命，岂容他人有所染指！而不识时务的杨虎仍继续与蒋称兄道弟，更是使蒋感到非常不快。所以，杨虎后来不但没有能做上大官，反而连原有的一点兵权也被剥夺了。到了1931年，他就只剩下一个“中国国民党第四届中央监察委员”的虚职了。
    此后，杨虎开始另辟蹊径，不再死心塌地追随蒋介石。