Fragen zu Referer Control

Hier mein gefährliches Halbwissen zum Thema.
Mit aktivierten Cookies (gern natürlich auch Third-Party-Cookies was die Sache noch kalorienreicher macht) und dann bei Diensten wie Facebook, amazon, google, ebay, paypal "Netzwerken" etc. eingeloggt wird der anfallende Datenreichtum pro Surfsession richtig fett.
Du bekommst z.B. auf FB einen Link von 'nem Freund außerhalb der FB-Blase, z.B. ein Produkthinweis xy auf amazon. Dort loggst du dich dann ein, schaust dir dieses und weitere Produkte eine Weile an, vergleichst aber gleichzeitig, eingeloggt, auf ebay die Preise. Kaufst dann via paypal ein oder mehrere Produkte. Dann wissen im Idealfall alle oben erwähnten Beteiligten und die ganzen "Wegelagerer" (warum fällt mir bildlich dazu immer Gollum ein :twisted: ), einige sind in deinem Screenshot in Beitrag 4 erwähnt, was du so getan hast. Merke: jeder dieser Dienste hat zig von den "Dienstleistern" die sich wie Putzerfische um dich scharren und sich an deinen Daten fett laben. Das geht vermutlich schnell in den mittleren bis (vermutlich) hohen zweistelligen Bereich an Diensteanbietern, Datenabsaugern, Weboptimierern, Kundenzufriedensteller und wie sie sich alle schimpfen. Der Referrer ermöglicht es ihnen dich im Datenstrom immer schön im Auge zu behalten. Du ziehst ja mit deinen Einstellungen (alle Cookies zulassen, Referrer nicht verändert usw.) eine eindeutige Datenspur.

Zitat von bigpen

Die möchte ich einfach wegkriegen.

Verbieten. In eine Blacklist (z.B. bei No Script) eintragen. Und zumindest so versuchen einem Teil dieses Gesindels das Leben zu erschweren.

Zitat von Sören Hentzschel

Einer Seite nicht zu sagen, woher du kommst, bringt dir also realistisch gesehen gar nichts.

Meinem Verständnis nach schon. Wenn ich bestimmte Einstellungen im Firefox verändere, dann kann ich mit der Unterbindung oder Veränderung des Referrers einen kleinen Beitrag dazu leisten nicht in toto und zusammenhängend Spuren zu hinterlassen die mich über Webseiten hinweg verfolgen können.

Zitat von bigpen

Dann ist die Referrerfamilie für mich gestorben.
Sören, das heisst also grob gesagt die SZ hat auf ihrer Seite Scripts eingebunden, die die 12 Sites mit meinen Daten "bedienen"?

Jepp. Nicht zwangsläufig versteht sich :wink: Aber ja sie bedienen sich der Daten die du ihnen zur Verfügung stellst. Das können halbwegs "verrauschte" Daten sein (Browserkennung unkenntlich gemacht, Cookies deaktiviert, Referrer geändert ...) oder sehr präzise Daten (siehe oben).

Zitat von Sören Hentzschel

Da gibt es verschiedene Anwendungsfälle, das muss man immer einzeln betrachten.

Kann man müssen, muss man aber nicht nicht. Die Werbebranche im Internet fällt leider nicht mit innovativen Ideen auf. Daher gilt zumindest für mich: im Zweifel gegen den Angeklagten oder wie es im Rheinischen Grundgesetz Artikel 6 steht: "Kenne mer nit, bruche mer nit, fott domet."

Zitat von TmoWizard

Den Referrer des Browsers zu ändern bringt gar nichts, das verfälscht nur sämtliche Statistiken!

mission accomplished :mrgreen:

Die Gründe von Sören und TmoWizard sind mir einleuchtend und ergeben für mich Sinn. Aber solange ich kein Vertrauen in die halbwegs saubere Trennung zwischen einerseits relevanten Infos die z.B. an Webseitenbetreiber bzgl. Statistiken gehen und andererseits Tracking, Datenabschöpfung um damit Geld zu verdienen betreffen wird das von mir soweit es meine Möglichkeiten zulassen "gestört".

Edit
Die Startseite der sz, gerade getestet mit dem IE:
[attachment=0]SZ-Startseite.jpg[/attachment]

Wenn DAS die Antwort ist: gibt es keine offenen Fragen. Content ... ja, nee is' klar :roll:

Zitat von Sören Hentzschel

Ich glaube, du hast den Referrer mit dem User-Agent verwechselt.

Ups, stimmt! [Blockierte Grafik: http://tmowizard.square7.ch/smilies/wall.gif]

Sorry, habe derzeit ein paar Probleme hier und dementsprechend Streß, da kann sowas schnell mal passieren. Aber immerhin:

Das mit dem UA hab ich doch relativ gut erklärt! :mrgreen: Mir kann eigentlich beides egal sein, bei entsprechenden Fehlern ist dann eben der Besucher selbst schuld! Allerdings habe ich noch auf keiner Seite bemerkt, daß mit fehlendem Referrer was nicht klappt. Der wird bei mir nämlich auch nicht mitgeliefert, sogar schon sehr lange Zeit!

Auch der UA ist der Richtige, da ich jedem Webmaster deutlich zeigen will, daß es nicht nur Chrome Firefox, IE, Edge, Opera und Safari gibt. Solch auf bestimmte Browser getrimmte Websites wurden wohl ohne zu überlegen aufgebaut, besonders richte ich mich dabei nach folgenden Websites:

Mozilla Wiki: Gecko is Gecko

Gecko is Gecko

Ich kenne da leider sehr viele (und auch sehr bekannte) Seiten, die sich nicht daran halten und mit einem anderen Gecko-Browser wie z. B. dem SeaMonkey fast komplett den Dienst verweigern... manche gehen sogar gar nicht!

Hallo bigpen!

Zitat von bigpen

Sören, das heisst also grob gesagt die SZ hat auf ihrer Seite Scripts eingebunden, die die 12 Sites mit meinen Daten "bedienen"? :traurig:

Ja richtig, dabei ist die SZ sogar noch als wirklich harmlos zu bezeichnen! Es gibt sehr große Seiten, bei denen schon mal so 30 und mehr solcher Scripte eingebunden sind. Am Besten sieht man das mit Add-ons wie z. B. NoScript, Ghostery oder RequestPolicy Continued, da kommt so manche Grausamkeit zutage. :grr:

Zitat von HT-Frogger

ähhh... sorry... deshalb sterben in letzter Zeit soviele Festplatten!

Ebenfalls sorry, aber ich sehe da keine Verbindung zwischen dem Referrer und defekten Festplatten!

(Ui, da liegen laut Verkehrsfunk irgendwo Bratpfannen und so auf der Fahrbahn! Hat jemand Zeit und ein Fahrzeug? [Blockierte Grafik: http://tmowizard.square7.ch/smilies/smilie_happy_251.gif]

Ne, Quatsch! Seid vorsichtig, wenn ihr dort unterwegs seid, Bratpfanne und ähnliches gegen Windschutzscheibe ist keine gute Idee!)

Zitat von Stoiker

Meinem Verständnis nach schon. Wenn ich bestimmte Einstellungen im Firefox verändere, dann kann ich mit der Unterbindung oder Veränderung des Referrers einen kleinen Beitrag dazu leisten nicht in toto und zusammenhängend Spuren zu hinterlassen die mich über Webseiten hinweg verfolgen können.

Ich habe mich auf Lightbeam und das Ziel, die Anzahl der dort verknüpften Seiten zu minimieren, bezogen. Dazu tut der Referrer überhaupt nichts. Kontext ist wichtig.

Abgesehen davon leistet der Referrer nicht wirklich einen wertvollen Beitrag zum Tracking in dem Sinne, in dem man Tracking üblicherweise versteht. Man sollte im Gegenteil sogar vielleicht aufpassen, dass man durch Änderungen daran nicht zu einer leichter identifizierbaren Minderheit wird. Aber grundsätzlich, wenn es um Tracking geht, dann hat man dafür wesentlich mächtigere Werkzeuge. Beim Referrer geht es normalerweise nur um die Frage "von welcher Seite kommt der Besucher?", nicht darum, einen Nutzer über mehrere Besuche hinweg zu identifizieren, dazu taugt der Referrer einfach nicht. Außer vielleicht, wenn ein Besucher immer wieder von der gleichen Webseite kommt, von der sonst niemand kommt.

Zitat von Stoiker

Kann man müssen, muss man aber nicht nicht. Die Werbebranche im Internet fällt leider nicht mit innovativen Ideen auf. Daher gilt zumindest für mich: im Zweifel gegen den Angeklagten oder wie es im Rheinischen Grundgesetz Artikel 6 steht: "Kenne mer nit, bruche mer nit, fott domet."

Meine Aussage in dem Beitrag, aus dem du zitiert hast, war wörtlich: "Script ist nicht gleich Script". Es geht eben nicht nur um Werbung, du sprichst jetzt nur von Werbung. Wenn man nicht alles in einen Topf werfen will, muss man aber alles einzeln betrachten. Lightbeam visualisiert nur die Verbindungen, Lightbeam macht keine Aussage darüber, welchen Zweck die Verbindungen haben und es ist nicht möglich zu sagen, dass jede Verbindung, die Lightbeam anzeigt, schlecht sei. Zumal, wie Zitronella ergänzt hat, Lightbeam offensichtlich (ich habe Lightbeam schon so lange nicht mehr benutzt, ich vertrau ihr da einfach mal) nicht nur Tracking-Verbindungen anzeigt.

Zitat von TmoWizard

Hallo bigpen!

Ja richtig, dabei ist die SZ sogar noch als wirklich harmlos zu bezeichnen! Es gibt sehr große Seiten, bei denen schon mal so 30 und mehr solcher Scripte eingebunden sind.

Ich hab die Tage via Twitter einen Screenshot gesehen, der gezeigt hat, dass es bei WIRED wohl eine dreistellige (!) Zahl ist.

auf Seite1 dieses Threads ist in Lightbeam eine Verbindung zu dynvpn.de durch die von mir verlinkte Firefox-Logo Grafik zu sehen, die in Lightbeam Graph angzeigt wird und in Lightbeam List (Sites Connected 1)

auf Seite2 dieses Threads wird noch square7.ch angezeigt allerdings nicht im Lightbeam-Graph sondern nur unter Lightbeam-List (Sites Connected 0)
und genau das verstehe ich nicht, denn die verantwortliche Grafik hinter dem Zitat von

Zitat von TmoWizard

(Ui, da liegen laut Verkehrsfunk irgendwo Bratpfannen und so auf der Fahrbahn! Hat jemand Zeit und ein Fahrzeug?

ist für mich sichtbar :-??
(getestet mit frischem Profil nur mit Lightbeam installiert) Vielleicht hat TmoWizard eine Erklärung dafür?

//pixcept.de wird in Lightbeam-Graph und Lightbeam-List (Sites Connected 0) (Sites Connected 1) auch angezeigt, sobald man irgendeine Seite von camp-firefox.de aufruft aber das habe ich in meiner Auflistung zur Übersichtlichkeit heraus gehalten. (Edit: geändert da ich mich vertippt habe)

HT-Frogger:

Zitat von HT-Frogger

daß es ein böser Bot ist

Was bitte ist ein "böser Bot"? Ich kann wahrscheinlich jedem Browser sagen, daß er sich als Google-Bot ausgibt, wie willst Du das erkennen?

Ich kann auch meinem YaCy-Server (verwendet zum Thema YaCy die Suchmaschine eurer Wahl) sagen, daß er sich als Yahoo oder Bing bemerkbar macht beim Crawlen. Einen wirklich "bösen Bot" wirst Du kaum erkennen, sonst taugt er einfach nichts.

Zitat

Wenn meine Webseite erkennt, daß kein Referrer gesendet wurde

Kein Bot sendet soweit mir bekannt in dem Sinn einen Referrer, sonst stimmt was nicht mit ihm, solch einem Bot würde ich auch nicht trauen. Klar muß der Bot einer Suchmaschine wissen, welche Seite wohin verlinkt, das hängt u. A. auch mit der Suchtiefe zusammen:

[Blockierte Grafik: http://tmowizard.square7.ch/bilder_hintergrund/yacy-suchtiefe.jpg]

Ein "richtiger" Bot hat immer eine bestimmte Suchtiefe, nach denen er den Links auf einer Website folgt. Für Google wäre es sonst nie möglich gewesen, daß sie eine solch gewaltige Menge an Sites im Index haben! Trotzdem wird bzw. sollte dir eine Suchmaschine nie verraten, von welcher Website sie gerade kommt.

@Sören:

Zitat

Ich hab die Tage via Twitter einen Screenshot gesehen, der gezeigt hat, dass es bei WIRED wohl eine dreistellige (!) Zahl ist.

Ja, das könnte bei denen tatsächlich passen. Das Problem dabei ist auf manchen Websites, daß mit jedem freigegebenen Script 10 weitere oder so dazu kommen!

Zitat

Abgesehen davon leistet der Referrer nicht wirklich einen wertvollen Beitrag zum Tracking in dem Sinne, in dem man Tracking üblicherweise versteht. Man sollte im Gegenteil sogar vielleicht aufpassen, dass man durch Änderungen daran nicht zu einer leichter identifizierbaren Minderheit wird.

*hüstel* Ich denke mal, daß ich mir da mit SeaMonkey nun wirklich keine Gedanken machen muß. :mrgreen: Mit der Suite gehört man automatisch zu einer verschwindend geringen Minderheit, aber das ist mir (bis jetzt) irgendwie ziemlich egal.

Stoiker:

Zitat

Mit aktivierten Cookies (gern natürlich auch Third-Party-Cookies was die Sache noch kalorienreicher macht)

Das mit den Cookies ist eine andere Geschichte und hat weder mit dem Referrer noch mit dem UA oder mit Scripten zu tun. Wobei ich hier gestehen muß, daß ich Cookies von Drittanbietern grundsätzlich verbiete. Ich mag die Teile nicht, basta!

Zitat

In eine Blacklist (z.B. bei No Script) eintragen. Und zumindest so versuchen einem Teil dieses Gesindels das Leben zu erschweren.

Ähem... Cookies wirst Du damit aber eher weniger blockieren können. Eigentlich bietet aber wohl jeder Browser die Möglichkeit, daß man Cookies verbietet, ein Add-on benötigt man hierzu selten!

Zitat

Wenn ich bestimmte Einstellungen im Firefox verändere, dann kann ich mit der Unterbindung oder Veränderung des Referrers einen kleinen Beitrag dazu leisten nicht in toto und zusammenhängend Spuren zu hinterlassen die mich über Webseiten hinweg verfolgen können.

Da verwechselst Du was, denn hierfür sind Cookies zuständig und nicht der Referrer! Ich habe hier für die Verwaltung meines YaCy einen eigenen Browser mit speziellen Einstellungen. Der Referrer wird (derzeit noch) übertragen, aber Cookies sind absolut verboten. Das merkt man ganz besonders bei Webseiten, welche z. B. Werbung von der Bucht oder so einblenden. Cookies gelten immer und auf jeder Seite, der Referrer jedoch nur für die nächste Seite.

Probiere es doch mal aus:

Verbiete wirklich mal alle Cookies, lasse aber den Referrer zu. Danach versuchst Du es anders herum, Du wirst staunen! Ich bin ja nun wirklich nicht DER Webmaster und (offen gestanden und nicht nur durch einige meiner Artikel eigentlich auch öffentlich bekannt) trockener Alkoholiker, aber der Unterschied ist sogar in mein geschundenes Hirn eingedrungen. Sören hat das ja ebenfalls schon erklärt, mehr ist dazu eigentlich nicht zu sagen/schreiben.

Zitronella:

Zitat von Zitronella

und genau das verstehe ich nicht, denn die verantwortliche Grafik hinter dem Zitat von

ist für mich sichtbar :-??
(getestet mit frischem Profil nur mit Lightbeam installiert) Vielleicht hat TmoWizard eine Erklärung dafür?

:-??? Öhm... Nö, da bin ich jetzt auch ziemlich ratlos. :shock: Ich habe hier allerdings auch das Problem, daß Lightbeam seit einiger Zeit nicht mehr mit dem SeaMonkey funktioniert und ich nur für einen Test hierfür garantiert nicht den Firefox installiere! Wenn ich das noch richtig im Kopf habe, dann gibt es dazu auch eine entsprechende Meldung auf Bugzilla. Ich habe dieses Thema jedoch nicht mehr weiter verfolgt, denn so genau will ich das alles gar nicht mehr wissen!

Zitat von TmoWizard

:-??? Öhm... Nö, da bin ich jetzt auch ziemlich ratlos. :shock:

ach ich habe eine Erklärung: liegt wahrscheinlich an https zu :arrow: http :idea:

Zitat von Zitronella

//pixcept.de wird in Lightbeam-Graph und Lightbeam-List (Sites Connected 0) auch angezeigt, sobald man irgendeine Seite von camp-firefox.de aufruft aber das habe ich in meiner Auflistung zur Übersichtlichkeit heraus gehalten.

Nur für das Protokoll für diejenigen, die diesen Thread lesen und wissen wollen, was das für eine Verbindung ist (hab ich irgendwo schonmal erwähnt, aber weiß ja nicht jeder): Dort haben wir unsere Instanz von Piwik [1] installiert. Der Server steht in Deutschland (nicht in den USA oder so) und ist vollständig unter unserer Kontrolle. Es ist der gleiche Server, auf dem auch camp-firefox.de, mozilla.de und alle meine anderen Seiten betrieben werden. Wir hosten unsere Analyse-Software selbst und senden die Daten nicht an ein anderes Unternehmen.

[1] https://piwik.org/

Hallo Zitronella!

Zitat von Zitronella

ach ich habe eine Erklärung: liegt wahrscheinlich an https zu :arrow: http :idea:

Hm... Das wäre wohl eine Möglichkeit! Leider bietet mein Hoster offiziell (nur auf Nachfrage und soweit ich das richtig mitbekommen habe auch noch sehr teuer!) kein HTTPS an, daran kann ich also wenig ändern. Für mein inzwischen kleines und unbedeutendes Blog rentiert sich das nicht, dazu habe ich nach dem Zwangsumzug von CwCity nach Square7 leider einfach zu viele Leser verloren.

Sören hat dazu ja eine verständliche Antwort gegeben, das dürfte folglich so richtig sei.

(Edit: Mein YaCy-Server hier ist nicht öffentlich, ich kann das folglich auch nicht prüfen! Der ist hierfür nicht eingerichtet und wird es auch nie sein, "My home ist my castle!")

Zitat von TmoWizard

Was bitte ist ein "böser Bot"? Ich kann wahrscheinlich jedem Browser sagen, daß er sich als Google-Bot ausgibt, wie willst Du das erkennen?

Das kann man schon erkennen. Wenn z.B. der Google-Bot crawlt, dann macht man eine DNS Abfrage "IP in Host aufloesen" und anschließend eine "Host wieder in IP aufloesen". Wenn das übereinstimmt ist es der Google-Bot, sonst nicht. Das wird von Google auch so empfohlen und geht auch für Bing und Andere. Und es gibt natürlich noch viele mehr Kriterien die Diebe, Sammler, Schadsoftwareverbreiter etc erkennen können. Das ist eines meiner persönlichen Hobbys. Deshalb ist meine Webseite auch so gut wie nicht angreifbar, und die unerwünschten Zugriffe halten sich bei unter 10%.

Gruß Harry

Konkret nach Bots zu filtern wäre für mich kein zielführender Ansatz, denn ist ja am Ende total egal, ob sich ein Bot oder ein Mensch verdächtig verhält. Daher lieber die Aktivitäten selbst analysisieren. Das geschieht hier auf dem Server:

https://www.camp-firefox.de/forum/viewtopi…001091#p1001091

Sören, da hast Du natürlich Recht. Nicht umsonst habe ich ca 800 Zeilen PHP Script nur zur Abwehr geschrieben. Was ich aber immer noch nicht so richtig weiß ist die beste Blockanweisung. 404, 403, 301 -> BKA, oder OK und eine leere Seite? Manchmal ist eine lange Pause gut (> 1 Min). Am liebsten würde ich den Server schonen wollen und ihm nur sagen: Lass den Bot doch verhungern und antworte gar nicht, aber das geht mit PHP anscheinend nicht.

Gruß Harry

Wenn du den Server schonen möchtest, dann solltest du eine Lösung auf Ebene von Apache, nginx oder was für einen Server auch immer du einsetzt, anstreben. PHP ist dafür wirklich nicht geeignet, denn wenn PHP zur Ausführung kommt, dann hat der Bot deinem Server bereits Arbeit gemacht.

Sören, das ist ja nicht mein Server. Ich habe nur eine "Arme Leute Domain", zum Glück mit Flatrate. Ich kann zwar einiges in der .htaccess machen, aber die Rewrite-Engine geht nicht. Zum Glück gibt es PHP. Damit schreibe ich auch eine kleine Logdatei. Zwar nur für wenige Tage, dafür aber für mich sehr übersichtlich. Und ich habe die Domain ja nicht zum Geld verdienen, sondern nur um meine grauen Zellen etwas zu beschäftigen.

Gruß Harry