«
»

Google, SEO, webmaster tools

GoogleBot : berekening van de bandbreedte kost

12.21.08 | Comment?

In mijn vorige post had ik het over de vernieuwde interface voor de crawlsnelheid settings in google webmaster tools. Je kan nu zelf deze snelheid verhogen, in sommige gevallen tot 10 per seconde.  De crawlsnelheid verhogen heeft een aantal positieve consequenties : meer pagina’s in de google, meestal meer traffic uit google,….  

Uiteraard heeft het ook een aantal negatieve consequenties. De duidelijkste is de zwaardere belasting van je servers, hiervoor waarschuwt google ook. Een effect dat meestal vergeten wordt ik impact op de bandbreedte en de daarbij horende kosten. Een klein rekenvoorbeeld:

Als Googlebot je site 0.05 keer per seconde crawlt (ik heb er zo enkele) en een gemiddelde pagina is 100KB groot dan verbruikt Googlebot :

BandBreedte:  0.05 page/sec * 100KB/page =  5 KB/sec = 0.04 Mbps
Throughput: 0.05 * 3600 * 24 * 30 * 100KB = 12.36 GB/maand

Dit zijn cijfers die je niet direct aan je facturen zal zien, maar stel dat Googlebot 1 keer per seconde langskomt (zo heb ik er ook eentje) Dan krijg je:

Bandbreedte: 0.8 Mbps
Throughput: 250 GB/maand
 

Als je een server hebt met een 10Mbps uplink is 8% van de bandbreedte voor googlebot alleen al niet meer verwaarloosbaar. Stel dat je er meerdere sites op draait en MsnBot en Slurp ongeveer hetzelfde presteren dan raak je al snel in de problemen.

Stel nu dat je de crawlrate op 10 pagina’s per seconde zou zetten ( dat kan! zie vorige post ) dan krijg je:

Bandbreedte: 8 Mbps
Throughput: 2.5 TB/maand

 En dat voor GoogleBot alleen!


have your say

Add your comment below, or trackback from your own site. Subscribe to these comments.

Be nice. Keep it clean. Stay on topic. No spam.

You can use these tags:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

:

:


«
»

My Index

0-10

A

Adwords campagne beheer

B

bakgerei voor kindjes

C

CE HTML
Community Server

D

E

Elegant
Elegant opinie

F

Familie Anrijs
fotoshoot
professionele familiereportage
fotoshoot
familie fotoshoot
FrontierVille
FrontierVille guides review site

G

GarageTV
garagetv.be
Google Adwords - adverteren op zoekmachines
Google-approved Qualified Professional
Groene stroom

H

huwelijksreportage

I

Internet reclame

J

JWI Consulting

K

Kantoorinrichting
Kaartjes bestellen
kerstkaartjes bestellen
KMO website snelheidstest

L

Lamineerapparaat a3

M

N

O

Online kaartjes bestellen

P

P&O ferries
Philips Net TV
Playmobilkasteel
Portfolio Development (.NET C# PHP)
Portfolio SEO (Search Engine Optimalisatie)
Provinciaal Voetbal
provinciaal voetbal Antwerpen
provinciaal voetbal Branbant
provinciaal voetbal Limburg
provinciaal voetbal Oost-Vlaanderen
provinciaal voetbal West-Vlaanderen

Q

R

S

SEO (Search Engine Optimization)
Snelheids voor kmo websites
Suikerpasta

T

trouwfoto's
trouwfoto's

U

www.uwfotomoment.be

V

verjaardagsfeestjes
Verjaardagsfeestjes voor kindjes
Voetbal uitslagen
online voetbalschoenen kopen

W

google webmaster tools

X

Y

Z

Zoekmachine optimalisatie