当时，朝廷内外对于刘瑾等“置造巧伪，淫荡上心”，致使朝政荒废，早已议论纷纷，谴责“八虎”逆行。先是“托孤”重臣、内阁大学士刘健、谢迁、李东阳等人见武宗无心理政，整天和那帮太监嬉游无度，就与司礼太监王岳、范亨和徐智等人联合上疏规谏，接着户部尚书韩文等各部大臣也联合言官，上奏弹幼“八虎”，要求“缚送法司，以消祸萌。”朱厚照见到奏章后，“惊泣不食”，便在正德元年十月派王岳、范亨、徐智等司礼监太监，一日三次“齐诣阁议”。朱厚照原想把刘瑾等迁居南京了事，但刘健等人则执意要杀掉刘瑾等人。
阁议中，刘健推案痛哭，声泪俱下，使性情刚直的王岳也受到感动，回奏说：“阁议此事！”朱厚照在群臣的压力下，也“不得已而允之，待明日发旨，捕瑾等下狱”。但是就在当天晚上，提前得到消息的焦芳便把此事偷偷告诉了刘瑾。结果，刘瑾等抢先一步，连夜赶到武宗面前，“环跪哭，以头抢地。”刘瑾对武宗说：“陷害奴才的是王岳。皇帝外出，玩玩鹰犬，何损于国事呢？朝臣所以敢于反对，是因为司礼监不得人；若司礼监得人，任凭陛下做什么，谁还敢有?异议！”武宗一听，怒火顿起，立即下令让刘瑾接掌司礼监，兼提督京营，并责令马永成掌东厂，谷大用掌西厂，让“八虎”分居要职；还下令将王岳等三人贬逐南京，逼刘健、谢迁辞职，韩文也被革职。