Roland Häder (roland)'s status on Thursday, 02-Oct-2014 16:28:09 CEST
-
@heluecht Man muss hier aber zu #YaCy auch fair sein, Bugs, wie das falsche Parsen von Links und Überlastung der Server durch zu starkes Crawlen waren Bugs und sollten immer schnell gemeldet werden: http://bugs.yacy.net - YaCy beachtet die Ladezeit, das Crawl-Delay aus der #robots.txt und fügt noch 500ms + einen "Flux-Wert" oben drauf. Somit sollte der Server maximal 2x Sekunde angefragt werden. Kommen mehr IPs gleichzeitig vorbei, liegt das daran, dass YaCy halt dezentral ist und somit keine ..