Hallo,
erstmal kannst Du prüfen, ob bei den hinterlegten Verknüpfungen, mit denen Du FF startest, wirklich nur LW:\Pfad\Firefox.exe eingetragen ist, oder ob der FF gleich mit einer dahinter angegebenen Seite geladen wird.
Bezüglich des Buttons auf dem Keyboard: soweit ich weiss, kann/muss man die über ein mitgeliefertes Tool konfigurieren, das kannst Du relativ einfach prüfen, was dort hinterlegt ist.
ANsonsten kannst Du bei FF unter Extras->Einstellungen->ALlgemein in der Rubrik "Startseite" manuell about:blank (leere Seite) eingeben.
Ein ähnliches Verhalten gibt es bei einigen HP-Druckermodellen auch.
Starte mal den FF ganz normal über die Startleiste, (Start->PRogramme->Ort wie von Dir angegeben), mache ihn zum Default-Browser und schliesse FF mit Datei->Beenden.
Danach starte den IE auch ganz normal über Start->.... und mache ihn NICHT zum default-Browser, sondern nach dem Start schliessen.
Danach den FF wieder ganz normal starten.