由于胡汉民的反对，三届四中全会虽然通过了召开国民会议的决议，但并没有规定国民会议可以制定约法，这可以算是胡汉民取得的一个小小的胜利。可是，蒋介石并不遵守与胡在全会上达成的协议，会后却仍然按照他制定约法、选举总统的既定步骤筹备召开国民会议，这就使胡蒋的矛盾继续扩大。同时，蒋介石又通过戴季陶控制国民会议选举总事务所，企图像包办国民党第三次全国代表大会一样来操纵国民会议。胡对蒋控制国民会议筹备工作的手段十分不满，于是决定不再继续妥协沉默，决心与蒋较量一番，因而胡蒋又展开了第二个回合的斗争。在反蒋联合阵线失败后，当时国民党内敢与蒋介石公开抗争的也就只有胡汉民了。因为胡有几个有利条件：第一，他是国民党元老，孙中山的同辈与助手，在国民党内具有显赫的地位，其资历之深，蒋介石远不能与他相比；第二，胡背后有国民党元老派、广东财团和部分实力派的支持；第三，胡此时仍有中央执行委员会常委的头衔，且有他以立法院长身份控制着的立法院；第四，胡长期跟随孙中山，熟悉孙中山的著作和西方的民主理论，在立法问题上与蒋展开论战是他的长处。所以，胡氏凭着自己的优势，敢与手握军权的蒋介石进行斗争。
    1931年1月5日，胡汉民针对蒋介石以国民会议制定约法及选举总统的企图，公开发表谈话，专门论述国民会议的性质与任务。首先，他在论述国民会议的性质时指出，国民会议与国民大会是两种不同性质的组织形式。孙中山提出召开国民会议的主张，始见于1924年11月10日发表的《北上宣言》。他认为孙中山当时提出的国民会议，只是训政时期带有政治协商性质的一种组织形式，它是国民中一部分人的代表会议，并不是由全体国民在普选基础上选举产生的国民大会，因此它不是权力机关。国民会议只能代表国民提出重要意见，而不能代表国民全体行使选举、罢免、创制、复决四种政权。根据孙中山对中国民主政治进程的设计，处于训政时期的中国，还不具备召开国民大会的条件，因而只能召开国民会议，而不能召开国民大会。所以，不能把国民会议与国民大会的性质混淆起来，更不能把二者等同起来。
    其次，在论述国民会议的任务时，胡汉民认为，既然国民大会与国民会议的性质不同，其任务当然也不相同。国民大会是全国的最高权力机关，它有选举、罢免、创制、复决以及修改宪法与法律和制裁官吏的权力，而其性质仅相当于一个咨询机关的国民会议则没有这些权力。如果要制定约法，只能遵照孙中山先生的“训政保姆论”，由国民党全国代表大会代替国民大会行使之。而且国民党第三次全国代表大会确立的以总理遗教作为国家根本法，即已相当于孙中山先生所说训政时期实行约法之治的约法，无须再另外制定一部约法。
    再次，胡汉民认为孙中山虽然在遗嘱中提出要在短期内召开国民会议，但并未提到国民会议应当制定约法一事。从胡汉民对国民会议的性质与任务的论述来看，他对孙中山的民主建国理论理解得相当透彻，而且从孙中山继承者和捍卫者的立场出发，主张党权高于一切。
    蒋介石的独裁专横，在国民党内引起越来越多的人不满，因此，胡汉民公开与蒋抗争，得到了党内不少人的支持。国民党元老派，孙科的太子派，部分中央执、监委员，立法院委员等大都倾向于胡。不少地方党部也支持胡的主张。尽管蒋介石运用陈果夫、陈立夫两兄弟把持的中统特务机关到处活动，但也无济于事。国民会议召开前夕，二陈派往各地的特务曾粗略地估计过形势：如果确要举行总统选举的话，全国各省市党部，除了蒋系控制下的浙江、江苏、安徽、上海外，其他绝大多数选票都是支持胡汉民的。他们预计，蒋只能得到32%的选票，其余68%属于胡氏。面对这种局势，蒋介石十分焦急。他先是采用吴稚晖的建议，由吴去劝说胡，不要与蒋相争。当吴拜访胡氏，劝胡“休养”引退，勿与蒋氏抗争时，胡勃然大怒，痛斥吴是无耻之徒。吴如丧家犬狼狈而去。蒋不搬掉胡汉民，他就当不了总统。为此，又采纳戴季陶的计谋，决定关押胡汉民以镇慑胡派分子。1931年2月28日晚， 蒋以宴请议事为名，将胡骗到他的司令部。胡按约赴宴，可等待他的并不是宴会，而是南京警察局长吴思豫。吴拿着蒋介石圈阅过的一封控告信，指责胡犯了破坏行政、运动军队等多种错误。胡愤怒之极，叫出蒋介石当面责问，蒋无言以对，只得拂袖而去。这样，胡当晚就被软禁在蒋氏的司令部。第二天一大早，胡即被大兵押送到汤山软禁。于是，胡蒋斗争的第二个回合结束，蒋介石的强权政治战胜了胡汉民的民主政治。