Das Problem haben anscheinend einige Nutzer und die Google-Suche brachte keine brauchbaren Ergebnisse, außer die aktuelle Chronik, alle Cookies oder gar das aktuelle Profil zu löschen. Das wollte ich alles nicht.
Versuch und Irrtum brachten mir heute folgende Lösung für Firefox 26 auf Windows 8:
Chronik -> Gesamte Chronik anzeigen
Ausreichend langen Zeitraum wählen, der in der Chronik angezeigt wird. Also bis zu einem Zeitpunkt, bevor die unerwünschte GMX-Seite aufgerufen wurde.
In der Suche rechts oben im Bibliotheks-Fenster die unerwünschte Website suchen, also gmx.at, gmx.ch oder gmx.de.
Maus-Rechtsklick auf einen Eintrag mit der Adresse der unerwünschten Website und dort "Gesamte Website vergessen" wählen.
Danach die gewünschte GMX-Adresse im normalen Firefox-Fenster eingeben, also zum Beispiel http://www.gmx.de, oder einfach die Endung auf der offenen GMX-Seite ändern, also zum Beispiel von http://www.gmx.ch auf http://www.gmx.de.
Hoffentlich hilft diese Lösung anderen Nutzern so, wie sie mir heute geholfen hat.