褚遂良更是激动地对李治说：“王皇后出身名门，并没有犯什么过错，而且先帝临终前将陛下和王皇后托付于我，怎么能轻言废立皇后之事呢!”褚遂良越说越激动，竟然忘了垂帘后听政的武昭仪，说道：“更何况武昭仪还侍奉过先帝，这些事情能够瞒得过天下人的耳目吗，后人又如何看待陛下?”褚遂良知道自己的话已经激怒了李治，说完就朝柱子上撞去，顿时血流如注，不省人事。
褚遂良的话在武昭仪听来，字字如针扎一般，尤其是那句“侍奉过先帝”，更是让她怒不可遏，当场就要杀了褚遂良以泄愤。幸好长孙无忌挺身而出，搬出先帝遗命“褚遂良不得处以极刑”才救得一命。
武则天视褚遂良如眼中钉肉中刺，等她成功登上皇后宝座，第一件事就是和褚遂良算老账。先帝不让你受极刑，那我就把你发配到鸟不拉屎的地方去，折磨死你。于是褚遂良被赶出朝廷，远放潭州都督，因为不解恨又被贬为桂林都督。
可褚遂良在桂林这种烟瘴之地也活的好好得，气得武后干脆一不做二不休，指使许敬宗诬陷褚遂良谋反，又将他贬到了国境以外做了爱州刺史。爱州是哪，就是今天的越南清化，这一次褚遂良没能撑住，在绝望之中死去。
褚遂良客死异乡，但是帐还没有消。两年后，武则天不知怎么的又想起了褚遂良，非要把他一家发配到褚遂良死前所在的地方，瞻仰一下他们老爹生前奋斗过的地方。武则天晚年，经历了无数的勾心斗角，慢慢地开始钦佩像褚遂良这样的忠臣。在弥留之际，她自削帝号，以天大圣皇后的身份与唐高宗合葬与乾陵。可能是为了能够在泉下见到李世民不至于太尴尬，武则天宽恕了她的政敌们，让所有受褚遂良牵连的人都官复原职。
