Donnerstag, 20. November 2008

Nochmal zur Übung....

Vielleicht haben Sie festgestellt, dass bei einer Crawl-Tiefe von "nur" 10.000 Dokumenten die Reihenfolge der zu besuchenden URLs keine so große Rolle spielt (insbesondere, wenn Sie von einer URL aus starten, bei der die nachfolgenden Links alle in der selben bzw. nur in wenig verteilten Domains vorliegen). Vielleicht finden Sie Start-URLs, bei denen er Effekt wesentlich deutlicher zu Tage tritt...

Die Frage ist natürlich, inwiefern hat die Anordnung der URLs überhaupt eine Auswirkung, und, wenn sie eine hat, wie könnte ich das noch besser ausnutzen....und ab wann macht sich das überhaupt bemerkbar?......
(Welchen Vorteil hätte denn Ihr Crawler, wenn er explizit in einer neuen Website erst einmal nach SiteMaps sucht...?)

Keine Kommentare: