接着被罢官的是另一个内阁大学士尹直。和万、尹沆瀣一气的大学士刘吉，有风雨飘摇之感，向言官们封官许愿，建议皇帝越级提拔言官，希望他们手下留情。这一招果然厉害，言官们都缄默了。但是言官以外还有敢于直言的人。翰林院候补官员张昇首先出来弹劾，说刘吉把口蜜腹剑的李林甫和钳制言路的贾似道，合而为一，是双料奸臣。大理寺官员夏堠上疏弹劾，刘吉的罪状，并不比万安、尹直小。奇怪的是，刘吉屡遭弹劾，依然在加官进爵，人们称他为“刘棉花”—“愈弹愈起”。后来引起皇帝的厌恶，派太监到他家，勒令罢官。
    清除宵小之徒，是为了起用德高望重的正直大臣。孝宗即位之初，就想起了刚直不阿的司礼监太监怀恩—因为支持言官抨击传奉官被先帝贬往凤阳，出于敬佩与倚重之心，把他召回。怀恩回来后，立即向孝宗建言：罢免阿谀万贵妃的佞臣，召还刚直方正的王恕。孝宗采纳了这一建议，召回已经致仕的南京兵部尚书，出任吏部尚书，让他负责领导班子的调整工作。
    王恕在成化年间就以敢于直言极谏而闻名，先后应诏陈言二十一次，上疏建白三十九次，全力阻击佞幸。朝中官员都倾心仰慕，遇到朝廷大事难以决断，必定请王公表态。当时有这样的民谣：“两京十二部，独有一王恕。”佞幸大臣为之侧目，皇帝也颇为“厌苦”，给他一个太子少保的头衔，让他退休。

    王恕历任巡抚、侍郎，直至尚书，都在留都南京，一直不受重用，其原因正如《明史·王恕传》所说：“以好直言，终不得立朝。”退休以后，名声愈加高涨，言官推荐几无虚日。孝宗顺应舆论起用王恕为吏部尚书，顺应了舆论。