Der Streit spitzte sich zu, als Heinrich IV. im Jahr 1071 den erzbischöflichen Stuhl des Bistums Mai­land durch einen von Gregors Vorgänger Papst Alexander II. exkommunizierten Erzbischof be­setzen wollte. Die vom Ritter Erlembald geführte Mailänder Volksbewegung Pataria konterte mit einem eigenen Erzbischof und übernahm de facto das Regiment in der Stadt.
Es begann eine Zeit der Verhandlungen zwischen Papst und König, bei denen ein Teil der Reichs­bischöfe die Laieninvestitur durch den König unterstützten. Die Verhandlungen schlugen aber fehl. Als Erlembald 1075 ermordet wurde, setzte Heinrich IV. in mehreren Städten Italiens weitere Erzbischöfe ein, worauf Gregor die Ratgeber des Königs bannte.
Beim Reichstag in Worms im Januar 1076 kündigte Heinrich daraufhin zusammen mit seinen Bischöfen dem Papst nicht nur den Gehorsam auf, sondern forderte ihn sogar zum Rücktritt auf.
Der Papst konterte auf der Fastensynode 1076. Er bannte den König, ein unerhörter Vorgang, der bisher noch nie da gewesen war.

Um einem päpstlichen Gericht auf deutschem Boden – worauf die Fürsten hofften – zuvorzukommen, brach Heinrich im Dezember 1076 nach Italien auf. Gregor erklärte sich damit einverstanden, den Geächteten auf ita­lie­nischem Boden zu empfangen. In Canossa, einer Felsenburg fast 500 Kilometer nördlich von Rom, trafen die beiden Kontrahenten im Januar 1077 aufeinander.

Der Niedergang des Papstes wurde nach Canossa beschleunigt. Wegen fehlender Begründung einer weiteren Exkommunikation Heinrichs, setzten die Kleriker Gregor VII. schließlich ab und wählten den Erzbischof von Ravenna zum neuen Papst. Gregor VII starb am 25. Mai 1086 im Exil in Salerno, ein Jahr, nachdem sich sein Gegenspieler von Papst Clemens III. zum Kaiser hatte krönen lassen. Heinrich überlebte seinen Kontrahenten um 20 Jahre.