In mijn vorige post had ik het over de vernieuwde interface voor de crawlsnelheid settings in google webmaster tools. Je kan nu zelf deze snelheid verhogen, in sommige gevallen tot 10 per seconde.  De crawlsnelheid verhogen heeft een aantal positieve consequenties : meer pagina’s in de Google, meestal meer traffic uit Google,….  

Uiteraard heeft het ook een aantal negatieve consequenties. De duidelijkste is de zwaardere belasting van je servers, hiervoor waarschuwt Google ook. Een effect dat meestal vergeten wordt ik impact op de bandbreedte en de daarbij horende kosten. Een klein rekenvoorbeeld:

Als Googlebot je site 0.05 keer per seconde crawlt (ik heb er zo enkele) en een gemiddelde pagina is 100KB groot dan verbruikt Googlebot :

BandBreedte:  0.05 page/sec * 100KB/page =  5 KB/sec = 0.04 Mbps
Throughput: 0.05 * 3600 * 24 * 30 * 100KB = 12.36 GB/maand

Dit zijn cijfers die je niet direct aan je facturen zal zien, maar stel dat Googlebot 1 keer per seconde langskomt (zo heb ik er ook eentje) Dan krijg je:

Bandbreedte: 0.8 Mbps
Throughput: 250 GB/maand 

Als je een server hebt met een 10Mbps uplink is 8% van de bandbreedte voor googlebot alleen al niet meer verwaarloosbaar. Stel dat je er meerdere sites op draait en MsnBot en Slurp ongeveer hetzelfde presteren dan raak je al snel in de problemen.

Stel nu dat je de crawlrate op 10 pagina’s per seconde zou zetten ( dat kan! zie vorige post ) dan krijg je:

Bandbreedte: 8 Mbps
Throughput: 2.5 TB/maand

 En dat voor GoogleBot alleen!

Ik had het al hier en daar gelezen, maar nu zie ik het ook inmijn eigen accounts. De crawl speed option in Google webmaster tools is veranderd van een radio box ( 2 of 3 opties afhankelijk van de grootte van de site ) naar een slider bar die ook de effectieve settings van de googlebot weergeeft. Als de balk iets voorbij de helft staat ( zie illustratie ) crawlt googlebot 1.75 pagina’s per seconde. De minimum en maximum waardes op de balk varieren van site tot site. Het hoogste dat ik momenteel al gezien heb is een maximum van 10 pagina’s per seconde!

 Ik heb alvast in een van mijn sites de waarde bij wijze van expirement verdubbeld. Benieuwd of Google de verandering ook zomaar zal doorvoeren…

 

Ik blijf fier op mijn kindje! GarageTV.be 778.070 PV, grote broer Zita.be 734.440 PV.

testing my new XmlRpc API implementation, please ignore

testing my new XmlRpc API implementation, please ignore

Klein vraagje aan mijn talrijk publiek. Kan iemand mij uitleggen hoe een disk die 74% vrij is zwaar gefragmenteerd kan zijn. Zie screenshot

Voor alle duidelijkheid, het was geen volle disk waarvan ik 74% heb gedelete. Hij heeft nog nooit vol gestaan.

Nieuw tooltje op tools.baare.com. Bereken je link populariteit in Google. Geef je website url en wij berekenen hoeveel andere sites er volgens google naar jouw site linken. In de volgende versie zullen ook Yahoo en Live Search opgenomen worden, samen met een benchmark rapport.

 

http://tools.baare.com/kmo-website/link-populariteit.aspx

Al ben ik er nu zelf niet meer bij, toch even een vermelding van deze sterke prestatie. Gisteren haalde GarageTV.be voor het eerst meer pageviews ( in cim ) dan grote broer - en tevens een van de grotere portalen - Zita.be. GarageTV haalde 760.000 pageviews en Zita.be 737.000. Puik werk jongens!

Nieuw tooltje op http://tools.baare.com : Bereken je positie in Google. Geef je website URL en de zoekterm in en je krijgt de positie van je site in Google terug.  Het toolje doorzoekt de eerste 50 resultaten op www.google.com. Als je je wil beperken tot .be sites typ je gewoon site:.be naast je zoekterm.

http://tools.baare.com/kmo-website/google-positie.aspx�

Dat continuous integration zeer nuttig is dat wisten we ondertussen al, maar het kan ook best leuk zijn:

http://www.woodwardweb.com/gadgets/000434.html