A friendly warning. Verhoog niet zomaar de crawl rate van de google Bot in webmaster tools. De kans is namelijk groot dat GoogleBot ook echt zal doen wat je hem vraagt. En dat nagenoeg zonder grenzen. Ik heb een maand geleden de crawl rate voor een kleine site verdubbeld en GoogleBot is ook prompt twee keer zoveel langs gekomen.
Op een grotere site staat de crawl rate momenteel 2.5 pages/sec. Per dag geeft dit pieken boven de 200.000 pagina’s. So, Handle with care…
