此时德国的反对派也趁机制造麻烦，1076年10月德国贵族大会宣布如果亨利在一年内无法恢复教籍，便要废黜其帝位，他们还邀请教皇在第二年2月在奥格斯堡举行新会议讨论德国的整个局势。

为了在奥格斯堡会议之前见到教皇，取得赦免，皇帝不得不在隆冬季节翻越了阿尔卑斯山脉，在意大利北部教皇北上的必经之地拦住教皇。教皇当时正打算离开罗马，北上参加帝国会议，没走多远便听说亨利已越过阿尔卑斯山要与他见面，吃惊不小，以为亨利要寻他麻烦，急忙躲进亚平宁山中的卡诺萨城堡。以坚固著称的卡诺萨城堡是教皇的坚定拥护者——女伯爵马蒂尔达的领地。

亨利四世一行来到卡诺萨城堡外之后，而教皇闭门不见。为了使教皇收回绝罚令，皇帝做出了惊人的举动：他翻身下马，不顾严寒，脱下厚厚的衣帽，把一条表示悔罪的毡毯裹在身上，缓步走进城堡。

进入第一道城墙后，亨利四世又脱去靴子，光着脚站在城堡内第一层墙内的雪地上。他痛哭流涕地忏悔着，不时还拍打着胸前，苦苦哀求教皇赦免他。教皇自认是胜利者，想好好教训一下这毛头小伙子，仍拒绝接见亨利。
一天、二天、三天过去了，亨利仍然站在雪地里忏悔，丝毫没有离开的意思。一些主教和修道院长看着亨利诚心悔过，开始为他向教皇求情。

第四天，教皇终于决定接见亨利。主教和贵族们纷纷代亨利求情。最终，教皇心软了收回了绝罚。亨利四世这才带了随从离开卡诺萨城堡。“卡诺萨之行”后来就成了忍辱投降的代名词。

但是，格列高利七世并没有成为最终的胜利者。教皇立场的改变令反对派们措手不及，纷纷被皇帝镇压下去。在局势稳定之后，皇权与教权的争斗重新开始，教皇再次颁布的绝罚在转化后的政治局势下不能再起到从前的效果。反倒是皇帝1084年率军队占领罗马，第二次废黜教皇，另立新教皇，并举行加冕仪式。格列高利七世逃往意大利南方，第二年便客死他乡。