蒋介石一到上海，为了尽快“清党”，与共产党决裂，以背叛国民党创始人孙中山倡导的国民革命。他除拉拢一部分反对孙中山“三大政策”的女人、政客外，更重要的是他纠集国民革命军中的第一军军长何应钦、第四军军长李济琛、第七军军长李宗仁、副党代表黄绍竑，以及北伐军副总参谋长兼东路军前敌总指挥白崇禧等人。因为他知道拉拢这些掌握军权的新军阀，比拉拢反动文人政客更为重要。
    蒋抵沪的当晚，即与老相识、上海商业联合会主席虞洽卿晤谈。他对虞说：“本人亦抱维持资本家主张，但望资本家对于劳工界之生活问题，亦应深加注意，请各界安心为要。”（注：《一九二七年的上海商业联合会》，上海档案馆编。）在谈话中，蒋提到了组织专司等募军饷的财政委员会问题，并提名由陈光甫来担任江苏兼上海财政委员会主任一职。随后，蒋以总司令部名义，正式任命陈光甫为江苏财政委员会主任兼上海财政委员会委员。
    同时，蒋在公开场合接连表示了对租界不诉诸武力的态度。30日上午10时，蒋与日本新闻记者团谈话，作出“不用暴力收回上海租界的保证”。（注：《申报》1927年3月31日。）是日下午，在接见德、美新闻记者时又表示：“当用和平方法，政治手续，决非使用武力解决者”，此事“当俟政府训令，惟陈友仁部长不久亦将来沪，将来当有外交委员会设立此间”。蒋保证道：“我将镇压一切不规则举动”。（注：《申报》1927年3月31日。）
    除租界问题，蒋对上海的工人组织和武装的态度，也是新闻界注目的重要问题之一。
    蒋到沪后的当晚7时，接受了《申报》记者采访，当问到对工人纠察队如何处理时，蒋答道：“他们有组织，有纪律，按照党义，可以武装自己，惟此军事期间，应该受军事当局的节制。”（注：《申报》1927年3月27日。）3月27日，蒋接见了上海总工会委员长汪寿华、谈到外交，蒋说“当由陈友仁来主持，但要工会方面发表一听军事当局指挥的声明，并表示一致动作”。汪答应“可一致行动，但对于听指挥未答复”；谈到纠察队，蒋说“目前可以”；谈到工会，蒋“不相信上总能代表全上海工人”。（注：《上海工人三次武装起义》，427页，上海档案馆编。）第二天，总工会交际部长赵子敬见蒋，蒋表示：“纠察队本应武装，断无缴械之理，如有人意欲缴械，余可担保不缴一枪一械。”对于恐有流氓乘机捣乱纠察队及总工会事，“当由余严行制止，尽可放心”。（注：《申报》1927年3月29日。）
    3月30日，中共中央军委书记周恩来根据上海区委特委指示见蒋，谈了很久。他代表中共提出了蒋“对日本通讯社的消息不辩白”、“公开说C.P.压迫国民党”、“对工农运动的态度前后不同”、“右派军官用得太多”、“不与左派合作，致国民党不能统一”的五点意见。蒋“说话不多，最重要的是提出对武汉的意见”。说到鲍罗廷，他愤慨万分：“老鲍不去，一切都无办法”；“汉口完全是老鲍的鬼”。他认为鲍的压迫比英、日还厉害，声称“如苏俄再不答复，他要单独发表宣言，宣布鲍的一切破坏国民革命的黑幕。”（注：《上海区委特务委员会会议记录》，1927年3月28日、3月31日。藏上海市档案馆。）
    此时，蒋还进行着另外一种活动。通过拜会黄金荣、杜月笙等大亨，与上海帮会分子拉上了关系。在蒋指使下，以“制止劳工煽动分子的活动，使各外国租界免遭总工会的袭击”为宗旨的中华共进会于3月底开始筹备活动，并于4月4日，在法租界设立筹备处，纠合青红帮中的各色人物进行武装训练。
    1927年4月2日下午，蒋介石和何应钦、吴稚晖（当时任南昌总政治部主任）、李石曾、陈果夫（中央监察委员）、陈立夫（蒋介石的机要秘书）来到东路军前敌总指挥部开会，参加会议的除了同来的这些人之外，还有住在总指挥部的李济琛、李宗仁、白崇禧和黄绍竑。蒋介石首先发言，说明为什么要‘清党反共’和为什么要把‘中央’移到南京、建都南京。他说：‘十三年（1924年）国共合作、共产党加入国民党的时候，他们（指共产党）就不怀好意，他们的组织仍然保存，并且在我们党内发展组织。自十五年（1926）3月20日中山舰事变以后，这种阴谋日益暴露。北伐军到了武汉，中央某机关和某些人受了分化或者受了劫持，把武汉同南昌对立起来。因此，现在如果不清党，不把中央移到南京、建都南京，国民党就要被共产党所‘篡夺’，国民革命军就能继续北伐，国民革命就不能完成。”最后他表示要听听大家的意见。
    黄绍竑接着把韦拔群所领导的广西东兰农民运动日益发展的情况说了一番。何应钦在报告南京方面情况时着重谈到南京惨案。他居然为帝国主义屠杀中国人民的血腥罪恶作辩护。
    白崇禧发言最多。他说：“上海自我军占领之后，工人就组织纠察队封锁租界。他们有自己的武器，有自己的指挥系统，不服从军事长官的指挥。他们要冲入租界，占领租界。现在外国领事团已经提出严重警告，黄浦江布满了外国兵舰，兵舰上的大炮都卸了炮衣指向我们，租界里新近调来了不少外国军队。如果发生冲突，不但全国精华的上海完了，北伐事业也要完了。”
    4月2日秘密会议以后，为了使‘反共清党’合法化，4月5日上午又在旧上海道尹公署楼上开了一次秘密谈话会。由于到会的国民党中央执行委员和监察委员都是少数，无法代表国民党中央，这次会上就决定由吴稚晖向中央监察委员会提出一个检举共产党谋叛的呈文，并盗用中央监察委员会的名义据以咨请中央执行委员会、国民革命军总司令蒋介石及地方军事当局作‘非常紧处置’。这个咨文是由蒋介石授意，由吴稚晖、陈果夫等包办的。