Die gewonnene Bundestagswahl 1972 stellte zwar den politisch größten Erfolg Brandts dar, jedoch sind sich zeitgenössische Beobachter wie Egon Bahr darin einig, dass dieser „Höhepunkt eindeutig auch der Scheitelpunkt war von da an ging es bergab.

Politische Ermüdungserscheinungen Brandts paarten sich mit überhöhten Erwartungen an seine zweite Regierungszeit.

Dennoch kam sein Rücktritt für die Öffentlichkeit überraschend, wobei die Guillaume-Affäre wohl eher der Auslöser als die Ursache für Brandts Rücktritt war. Als Ursachen werden auch die Ölkrise und der damit verbundene Wirtschaftsabschwung sowie die nach einem harten Streik im Öffentlichen Dienst von der ÖTV unter Heinz Kluncker durchgesetzten hohen Tarifabschlüsse angesehen. Beides verringerte den Spielraum für mögliche Reformen und belastete Brandt auch seelisch.

Am Ende einer turnusmäßigen Zusammenkunft von SPD und Gewerkschaftsspitzenfunktionären in der Kurt-Schumacher-Akademie in Bad Münstereifel am 4. und 5. Mai erklärte Brandt in einem auf den 6. Mai 1974 datierten handschriftlichen Brief seinen Rücktritt, der vom NDR am folgenden Tag publik gemacht wurde. Anlass war die Enttarnung des DDR-Spions Günter Guillaume, der als Referent für Parteiangelegenheiten einer der engsten Mitarbeiter von Brandt gewesen war. Brandt übernahm mit seinem Rücktritt Verantwortung für Fahrlässigkeiten innerhalb der Bundesregierung. Guillaume war in unmittelbarer Nähe des Kanzlers geblieben, obwohl er seit mehr als einem Jahr im Verdacht stand, Spionage zu betreiben. Brandt hatte im Glauben, Guillaumes DDR-Herkunft sei der Grund für den Spionageverdacht gewesen, die Brisanz der Angelegenheit unterschätzt und ihr entsprechend wenig Aufmerksamkeit gewidmet. Die Diskriminierung von DDR-Bürgern, die wie Guillaume in die Bundesrepublik übergesiedelt waren, war damals nicht ungewöhnlich. Brandt behauptete später, Herbert Wehner sei an seinem Rücktritt mitschuldig gewesen, da dieser ihn davon nicht abgehalten hatte. Beide blieben im Zentralvorstand der SPD und hatten fortan zahlreiche Unstimmigkeiten. Ein weiterer Kontrahent im Kabinett Brandt II war Helmut Schmidt, damals Finanzminister.

Trotz gegenteiliger Beteuerungen Wehners wird allgemein angenommen, dass weniger die Affäre an sich, als vielmehr Wehners Einschätzung, der gesundheitlich angeschlagene, unter Depressionen leidende Brandt sei nicht zu halten, den Ausschlag zum Rücktritt gaben. Brandt sah sich längst üblen Diffamierungskampagnen von politischen Gegnern ausgesetzt, denen er nach Einschätzung Wehners im bevorstehenden Wahlkampf kaum standgehalten hätte. Dass der scheidende Kanzler angeblich eine Schwäche für das weibliche Geschlecht hatte, wurde ihm zum Verhängnis. Ihm wurden zahlreiche Affären mit Frauen und Alkoholprobleme untergeschoben. Zudem bestanden unter anderem bei Horst Herold und Günther Nollau Befürchtungen, der deutsche Regierungschef könnte durch diese Affären erpressbar werden. Zusammen mit der Brandt unterstellten Amtsmüdigkeit und der seit einiger Zeit schwelenden Kritik Wehner hatte Brandt während seiner Moskaureise öffentlich mit den Worten „Der Herr badet gerne lau angegriffen soll dies für Wehner Grund gewesen sein, den Wechsel des SPD-Kanzlers schnell und unsentimental zu vollziehen. Nachfolger Brandts als Bundeskanzler wurde Helmut Schmidt, den Wehner mit den Worten „Helmut, Du musst das jetzt machen dazu aufgefordert haben soll. Schmidt will von der Nominierung überrascht gewesen sein und das Amt vorrangig aus Pflichtgefühl übernommen haben. Willy Brandt selbst blieb aber SPD-Vorsitzender. Zum Ende seiner eigenen Kanzlerschaft bezeichnete Schmidt es als Fehler, neben der Kanzlerschaft nicht auch den Parteivorsitz übernommen zu haben. Er sah hierin eine der Ursachen für sein eigenes Scheitern.