Versuch mal die Tabbrowser-Extension (http://mozilla.daicogra.de/ deutsche version).
Dort kannst du in den einstellungen unter -> Erweitert -> "Tabs statt windows öffnen bei" -> "neue fenster von anderen applikationen" einstellen.
das sollte dein problem beheben.