Webseiten mit 404 Fehler finden

Sören Hentzschel

Ich habe die Version eben abgeschlossen, da eh nicht mehr viel für diesen Meilenstein gefehlt hatte.

Eine neue Vorab-Version (0.6) steht ab sofort zum Testen bereit:
https://git.agenedia.com/firefox-add-on…checker-0.6.xpi

Änderungen seit Version 0.5:

Suchfeld implementiert: filtert die Ergebnisse live während der Eingabe. Durchsucht sowohl Titel als auch URL der Resultate.
Filter-Möglichkeit in Form von Checkboxen für Fehler, Warnungen, Unbekannt implementiert. Filtert ebenso wie das Suchfeld umgehend die Resultate.
Sind die Ergebnisse gefiltert (Suchfeld oder Checkboxen) wird „Korrigiere alle Weiterleitungen“ nur auf die Lesezeichen angewendet, welche gerade sichtbar sind.
Wenn die Oberfläche bereits geöffnet ist, aktiviert Firefox bei einem weiteren Klick auf den Button nun den entsprechenden Tab statt die Oberfläche ein zweites Mal zu öffnen. Dazu war etwas Trickersei notwendig, da Firefox den einfachen Weg noch nicht unterstützt (https://discourse.mozilla-community.org/t/moz-extensio…abs-query/12793).
Kommandos über die Adressleiste werden nun im aktiven Tab ausgeführt und kein neuer Tab dafür geöffnet.
Kommando "check" für die Adressleiste umbenannt in "check-all", da ansonsten Konflikt mit anderen "check-*"-Kommandos.
Auf der Oberfläche wird nun ein Hinweis angezeigt, dass der Vorgang eine Zeit dauern kann.
diverse interne Optimierungen.

Alle Code-Änderungen seit Version 0.5:
https://git.agenedia.com/firefox-add-on…bce5ff8f#diff-0

Boersenfeger · Screenshot - Jan 10, 2017 2.42 PM.png

Benutzter Browser:
https://hg.mozilla.org/mozilla-centra…a86dcd525dc74cf
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:53.0) Gecko/20100101 Firefox/53.0 ID:20170109030209

Installiert und einen Durchlauf gemacht...

Dieses Ergebnis: :shock:
[attachment=0]Screenshot - Jan 10, 2017 2.42 PM.png[/attachment]
Irgendwas ist da nicht im Lot...

Sören Hentzschel

Hast du vielleicht Probleme mit deiner Internetverbindung gehabt? An dem Code habe ich in dieser Version überhaupt nichts geändert. Und der Code, welcher die Überprüfung durchführt, sendet ganz gewöhnliche HTTP-Anfragen per fetch-API. Den Status 404 kann es von Seiten der Erweiterung nur in dem Fall geben, dass entweder serverseitig der Status 404 gesendet wird, oder dass die fetch-API einen Fehler erhält, was in der Regel ein Verbindungsproblem bedeutet.

Boersenfeger

Nee, hier arbeitet die Glasfaser reibungslos, nebenbei bin ich auf anderen Seiten unterwegs und höre NDR INFO... völlig ohne Störungen...
Es betrifft alle Lesezeichen... von daher sollte es nicht von den Servern kommen....
Ggf. muss ich nach der Installation erst einen Browserneustart machen!?

2002Andreas

Im Nightly bekomme ich diese beiden 404 Meldungen.

[attachment=0]Screenshot (416).png[/attachment]

Beide Seiten hätten aber nur eine Warnung bezüglich Https haben dürfen.

Road-Runner

Hier keine Probleme.

Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0 von heute

[attachment=0]lz.png[/attachment]

Sören Hentzschel

Boersenfeger:

Ein Browserneustart ist auf keinen Fall notwendig. Es gibt rein technisch wie gesagt nur die zwei Möglichkeiten, dass seitens Server der Status 404 gesendet wird (extrem unwahrscheinlich für alle Seiten) oder dass die fetch-API einen Fehler bei jedem Aufruf schmeißt. Und wenn das bei jedem Aufruf passiert, deutet das auf ein Problem mit der Verbindung hin.

Das ist der dazugehörige Code der Erweiterung:

Code

const p = Promise.race([
  fetch(bookmark.url, { cache : 'no-store' }), new Promise(function (resolve, reject) {
    if (bookmarkchecker.TIMEOUT > 0) {
      setTimeout(() => reject(new Error('timeout')), bookmarkchecker.TIMEOUT)
    }
  })
]);


p.then(function (response) {
  if (response.redirected) {
    // redirect to identical url, there is something wrong, but we don't know the details…
    if (bookmark.url === response.url) {
      bookmark.status = STATUS.UNKNOWN_ERROR;
    }
    // redirect to another url
    else {
      bookmark.status = STATUS.REDIRECT;
    }


    bookmark.newUrl = response.url;
  }
  else {
    bookmark.status = response.status;
  }


  callback(bookmark);
});


p.catch(function (error) {
  if (error.message === 'timeout') {
    bookmark.status = STATUS.TIMEOUT;
  }
  else {
    bookmark.status = STATUS.NOT_FOUND;
  }


  callback(bookmark);
});

Alles anzeigen

Status 404 ist in exakt zwei Fällen möglich:

a) bookmark.status = response.status;

Setzt den Status des Lesezeichens auf den Statuscode vom Server. Kann ein 404 oder ein anderer Code sein, aber 404 ist hier möglich.

b) bookmark.status = STATUS.NOT_FOUND;

Da wird der Status explizit auf 404 gesetzt und ist die einzige Stelle, wo das manuell passiert. Und diese Stelle wird ausschließlich beim Abfangen eines Fehlers erreicht.

Daher teste bitte nochmal. Ist das Resultat wieder das Gleiche?

2002Andreas

Neuer Test bei mir ergibt weitere neu gefundene 404 Fehler, obwohl auch hier wieder nur Https richtig wäre.

[attachment=0]Screenshot (417).png[/attachment]

2002Andreas

Bei einem Test mit deiner alten Version 0.5 wird mir A.Topal richtig angezeigt.

[attachment=0]index.png[/attachment]

Sören Hentzschel

Sehr eigenartig. Und wenn du nach diesem Test mit Version 0.5 wieder Version 0.6 testest, dann ist es wieder 404? Denn ich kann auch den Zufall nicht ausschließen.

Da sich an diesem Teil der Erweiterung wie gesagt überhaupt nichts geändert hat, wird es wohl darauf hinauslaufen, dass ich mir irgendetwas einfallen lassen muss, was das Ganze diagnostizierbar macht.

2002Andreas

Neustart vom Fx...Version 0.6...

jetzt keine Fehler mehr da :-??

2002Andreas

Auch nach einem erneuten Durchlauf keine Fehlermeldungen erhalten. :klasse:

Boersenfeger

Hier dito...

Sören Hentzschel

Einerseits schön zu hören, andererseits bleibt es damit rätselhaft… Falls jemand testen möchte:

https://git.agenedia.com/firefox-add-on…ecker-0.6.1.xpi

Sollten damit wieder eigenartige Ergebnisse auftreten… am Ende gibt es eine Ausgabe. Die sieht z.B. wie Folgt aus:

Code

[{"bookmark":{"id":"f2v2Fyw8zE0W","title":"asdadasd","index":0,"dateAdded":1484058764590,"parentId":"toolbar_____","url":"http://asdasda/","parentTitle":"Bookmarks Toolbar","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"BxiHyB6Zm0Nu","title":"Twitter","index":1,"dateAdded":1484058752871,"parentId":"toolbar_____","url":"https://twitter.com/atopalasdad","parentTitle":"Bookmarks Toolbar","status":404,"children":[]},"cause":"server-response","response":{"type":"basic","url":"https://twitter.com/atopalasdad","redirected":false,"status":404,"ok":false,"statusText":"Not Found","bodyUsed":false}}]

Das bitte dann an mich weiterleiten, Danke.

2002Andreas

Damit bekomme ich wieder 404 Fehler angezeigt:

[attachment=0]Screenshot (419).png[/attachment]

Die Seiten funktionieren aber.

Code

[{"bookmark":{"id":"7Jr6OZh3vIZa","title":"Datei scannen online","index":9,"dateAdded":1297366356866,"parentId":"WoGY4QOYQDBK","url":"http://www.virustotal.com/","parentTitle":"Firefox scannen","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"MUIwYYZOnx3o","title":"VirusTotal online Viren- und Malwarescanner","index":2,"dateAdded":1259338525114,"parentId":"WoGY4QOYQDBK","url":"https://www.virustotal.com/de/","parentTitle":"Firefox scannen","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"8jqz2K3QRw6v","title":"Hauptseite - MDC","index":5,"dateAdded":1237811953781,"parentId":"objMn_DAs38n","url":"https://developer.mozilla.org/de","parentTitle":"css","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."}]

2002Andreas

Erneuter Durchlauf bringt weitere/andere Meldungen:

[attachment=0]Screenshot (420).png[/attachment]

Code

[{"bookmark":{"id":"7Jr6OZh3vIZa","title":"Datei scannen online","index":9,"dateAdded":1297366356866,"parentId":"WoGY4QOYQDBK","url":"http://www.virustotal.com/","parentTitle":"Firefox scannen","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"MUIwYYZOnx3o","title":"VirusTotal online Viren- und Malwarescanner","index":2,"dateAdded":1259338525114,"parentId":"WoGY4QOYQDBK","url":"https://www.virustotal.com/de/","parentTitle":"Firefox scannen","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"8jqz2K3QRw6v","title":"Hauptseite - MDC","index":5,"dateAdded":1237811953781,"parentId":"objMn_DAs38n","url":"https://developer.mozilla.org/de","parentTitle":"css","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"I06sZaF7T_Nu","title":"A. Topal on Twitter","index":1,"dateAdded":1266418100853,"parentId":"x_99RKJq4V2x","url":"http://twitter.com/atopal","parentTitle":"Diverses2","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"AweZL-yaRGDr","title":"Sandbox Einstellungen |","index":3,"dateAdded":1326486367804,"parentId":"x_99RKJq4V2x","url":"http://subsetlines.wordpress.com/anleitungen/sandboxie/sandbox-einstellungen/","parentTitle":"Diverses2","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."},{"bookmark":{"id":"MUIwYYZOnx3o","title":"VirusTotal online Viren- und Malwarescanner","index":2,"dateAdded":1259338525114,"parentId":"WoGY4QOYQDBK","url":"https://www.virustotal.com/de/","parentTitle":"Firefox scannen","status":404,"children":[]},"cause":"fetch-error","response":"NetworkError when attempting to fetch resource."}]

Sören Hentzschel

Danke, das bestätigt meinen Verdacht, dass es an der Internetverbindung liegt. Es sind in allen drei Fällen Netzwerkfehler mit der folgenden Fehlermeldung: "NetworkError when attempting to fetch resource". Möglicherweise dadurch bedingt, dass mehrere Anfragen parallel stattfinden. Ich weiß noch nicht, wie ich das lösen soll.

2002Andreas

Daran kann/muss ich aber nichts ändern!?

Sören Hentzschel

Nein. Ich habe nur leider keine Ahnung, ob ich da viele Möglichkeiten habe.

Boersenfeger

Ich habe nun alle Weiterleitungen z.B. nach https: etc. bearbeitet, so das am Ende nur noch 6 Fehler 404 übrig sind, die definitiv falsch sind, da die Seiten erreichbar sind und funktionieren... um es zu verifizieren habe ich 5 x die Lesezeichen gecheckt, nach Browser-Neustart und auch nach Systemneustart blieb das Ergebnis jedes Mal gleich.
Diese 6 Fehler kann ich verschmerzen... sollte ich nun die Version 0.6.1 nutzen, oder bei 0.6 bleiben?