xml-sitemap für web.mac.com/my.homepage

    Hallo.


    Ich bin gerade am überlegen, ob es überhaupt sinnvoll ist, eine XML-Sitemap für meine Homepage - nennen wir sie für mich als Mac-User mal http://web.mac.com/my.homepage - zu erstellen. Crawlen die Bots dann echt mein Directory auf dem Server ab? Ich kann es mir irgendwie nicht ganz vorstellen. Wenn ich jetzt eine Homepage http://www.meineseite.de habe, dann wohl schon eher, aber gilt das auch für die 100 MB-Webseiten, die man von Apple geschenkt kriegt?

    Man weiß ja nicht im Detail, wie die Suchmaschinenbots genau vorgehen - je größer eine Suchmaschine ist, desto mehr Geheimnisse werden um die Indizierungsalgorithmen gemacht. Möglich, dass bei "echten" Domainnamen andere Prioritäten gesetzt werden. Aber im Prinzip spricht nichts dagegen, dass Bots auch Subverzeichnisse auf der Vorhandensein von Indizierungshilfsmitteln (hier also die Sitemap) überprüft werden - nach einer robots.txt wird ja schließlich auch gesucht.