为了具体贯彻落实人民代表大会制度的领导方式，中共除了探索关于国家领导体制的问题外，还对党的具体领导形式作了一些探索。建国以来，特别是人民代表大会制度建立后，陆续在全国建立了各级政府领导机构，领导中国人民进行伟大的社会主义革命和第一个五年计划的建设，取得了巨大的成就。但在中央某些部门和一些省、县级领导工作方面，却程度不同地存在着过多地参与行政事务，抓不住重点工作等问题。1955年4月初，刘少奇发现了这一带普遍性的问题。他分析产生这一现象的“根本原因是现在任务变了，而组织形式、工作方法还没有作相应的改变，或这种改变还没有完成。我们熟悉的事如打游击、土地改革等现在都完成了，而不熟悉的事如基本建设、五年计划却强迫我们去做。我们没有经验，因而很吃力，很被动，现在要创造新的领导经验。”他提出改变这一现象的主要措施，就是健全政府的业务部门，让政府行政系统管理各项建设工作。党委则主要管干部，管政治思想和实行监督，也就是“党要管党”。他说：“现在党委的工业部都在管业务，但慢慢要转到管干部、管政治思想和实行监督方面来。地方党委要能把不应该管的事推出去，要把业务部门的机构健全起来，提高他们的水平，把不应该管的推出去，才能做自己应该做的事。”（注：刘少奇在听取西南各省负责同志汇报时的谈话，1955年4月5日。）所谓“应该管”的重要事情之一，就是管对干部的监督。他强调指出：“这样多方面的工作，这样大量的党和国家机关工作人员，没有专门机关进行监督是不行的。”（注：刘少奇在听取西北各省区负责同志汇报时的讲话，1955年4月2日。）应该说，刘少奇这里提出的思路同改革开放后邓小平提出的党政分开的思想是相当一致的。
    其次，这一时期反对“高饶事件”的斗争，对中共执政党的建设也产生了积极影响。建国后，尽管中共先后进行了整风和整党，党内部分干部还是滋长了一种极端危险的骄傲情绪。他们被工作中的若干成绩冲昏头脑，忘记了共产党员所必须具有的谦逊态度，计较名利和地位，把自己所领导的地区与部门看作个人的资本和独立王国，把剥削阶级的一些庸俗作风带到党内，最突出的表现就是“高饶事件”的发生。这一事件发生后，中共召开中央全会，进行了严肃的斗争，并作出《关于增强党的团结的决议》，对党的高级干部的工作和政治言行作出重要规定，要求他们严格遵守民主集中制，严格遵守集体领导原则，反对骄傲情绪和个人崇拜。根据这一决议，中共省、市委员以上的高级领导干部深刻检查建国以来自己的工作和生活作风，进行严肃的批评和自我批评，进一步增强执政党的团结。为了杜绝类似事件的发生，加强对领导干部监督的力度，中共在建国初期所建立的纪律检查委员会基础上，建立了党的各级监察委员会。这次斗争，对于中共保持执政党的团结起了重要的作用。
    再次，对如何继续保持同人民群众的密切联系进行了努力探索。加强执政党的建设，核心问题是永远保持党同人民群众的血肉联系。民众的支持，人心的向背，历来是决定一个政党和一个政权兴亡的根本性因素。中共就是凭借着同人民群众的血肉联系才打败国民党，建立新中国的。党执政以后能否继续保持同人民群众的血肉联系，是中共第一代领导集体一直努力解决的重大问题，突出表现在党的第八次全国代表大会上。毛泽东在八大预备会上谈到会议的目的和宗旨时，强调指出：这次大会一是总结七大以来党的建设的经验教训，其二是要强调继续发扬中共在思想和作风方面的优良传统，坚决反对主观主义、宗派主义和官僚主义。刘少奇在起草八大政治报告时，对这一问题也给予高度重视。他在报告中指出：“为了巩固我们党同人民群众的亲密联系，必须继续加强我们在各方面群众中的工作，尤其是必须在全体干部和党员中反复地进行全心全意为人民服务的教育。一个好党员、一个好领导者的重要标志，在于他熟悉人民的生活状况和劳动状况，关心人民的痛痒，懂得人民的心；他坚持艰苦朴素的作风，同人民同甘苦共患难，能够接受人民的批评监督，不在人民面前摆任何架子；他有事找群众商量，群众有话也愿意同他说。只要我们的党是由这样的党员组成的，我们就永远有无穷无尽的、不可征服的力量。”邓小平在八大修改党章的报告中指出：“我们党现在已经是在全国执政的党，脱离群众的危险，比以前大大地增加了，而脱离群众对于人民可能产生的危害，也比以前大大地增加了。因此，目前在全党认真地宣传和贯彻执行群众路线，也就有特别重大的意义。”
    中共第一代领导集体在这一时期还初步提出对执政党进行监督的理论。在长期执政的历史条件下，继续保持同人民群众的密切联系，关键是要加强对权力的监督，使各级领导干部正确行使人民赋予的权力。在党的八届二中全会上，毛泽东、刘少奇等提出对各级干部的监督问题。为此，毛泽东在全会上宣布：中共准备在1957年开始整风运动。整顿三风：一整主观主义，二整宗派主义，三整官僚主义，以借助党内外力量共同来帮助中共克服在党的建设上存在的问题。刘少奇鉴于波匈事件的教训，比较详细地提出了对执政党建设的设想。他分析在工人阶级执政的国家，如果放任自流，有可能产生一种新的“贵族阶层”。因此，要采取措施，规定一些必要的制度，加强人民群众对领导机关的监督，使领导机关接近人民群众。例如，人民代表大会的工作怎么做，如何监督政府，报纸如何监督，工厂厂长的选举问题，国家领导人员的权力限制问题，什么事情他有多大的权力，什么事情不准他做，应该有一种限制。国家领导人员的生活水平也应该接近人民的生活水平，不要过分悬殊，国家领导人退为平民的问题也可以参考美国资产阶级的某些制度。（注：《刘少奇论党的建设》，第643-648页。）周恩来在全会上也指出：“在中国还有中国的特点，那就是封建性很大。我们尽管打倒了封建主义，但封建官僚的习俗在社会上还存在着。脱离群众，高高在上，生活特殊，讲究排场，中国的统治阶级过去是这样的，我们也很容易这样做。”（注：《周恩来选集》下卷，第230页。）邓小平专门论述了共产党要接受监督的问题。他指出，中共是执政的党，威信很高，大量的干部居于领导地位。在中国来说，谁有资格犯大错误？就是中国共产党，犯了错误影响也最大。因此，党应当特别警惕，自觉接受来自党、群众和民主党派三方面的监督。