Una de les feines de tenir el blog en un hosting propi és que, de tant en tant, cal fer de sysadmin per tenir-ho tot al dia i que els consums de xarxa no es disparin.
Fa tres mesos va ser això el que em va passar: va començar a augmentar el consum d’ample de banda, arribant de vegades a la quota que tinc contractada… un desastre! Així que va tocar pujar-se de mànigues i entrar a treballar.
Per algun motiu, els consums anaven sense control, i no era pas per un augment de visites… Després de mirar i mirar, he arribat a la conclusió que tot plegat venia donat per més d’un motiu:
- Accés de molts robots molt continuat
- Intents d’accés a adreces d’administració
- Pes de la pagina massa gran
L’accés d’un número de crawlers gran, que fan accessos tothora, incontrolats, multiplicat pel pes excessiu de la plana va fer que el consum augmentés, sense que ho fessin les visites (les estadístiques d’accés marcaven molt tràfic no registrat -el dels robots- i tamanys de pàgina de fins a 180 KB!, i moltes vegades en hores estranyes).
Després d’aplicar un seguit de mesures, he anat vigilant el consum d’ample de banda i els accessos i han baixat espectacularment (no sé quin tant per cent pot tenir cada factor, però han baixat tant els tamanys de la pagina servida com el número d’accessos per robots i fins i tot els accessos -intents- a adreces d’administració, cgi…)
El controls que he aplicat i els llocs on he trobat informació son aquests:
1. Definir un fitxer robots.txt més refinat que el que hi ha per defecte, indicant
- quines carpetes es pot visitar
- un temps de refresc de la visita del robot prou gran (en el meu cas una hora, 3600 segons, perquè no actualitzo tan ràpidament el blog)
- Més informació de robots:
- Què és robots.txt?
- Sigt.net: Robots.txt para WordPress
- WordPress robots.txt Example
- Perishable Press: Better Robots.txt Rules for WordPress
- Afegir un retard al robot a StackOverflow: Robots.txt - What is the proper format for a Crawl Delay for multiple user agents?
2. Tallar l’accés als robots (o intentar mesurar-lo) mitjançant .htaccess.
- definir regles per intentar tallar robots no coneguts (definint ip’s o noms de malbots coneguts)
- definint quines carpetes no son visitables, directament (n’hi ha que no fan cas de robots.txt)
- Més informació de htaccess
3. Reduir el tamany de la plana. En el meu cas, no cal que cada plana sigui una landing page i tingui tota la informació del blog i mil i un artefactes per navegar…
- Escollir un tema que no sigui gràficament molt carregat (per més caches que posem, si eliminem imatges baixem pes, és així de simple)
- A nivell de disseny, podem carregar el blog amb efectes de desplegables, carrussels, menús i moltes coses més… però cal plantejar-se si la navegació és la que volem o pot ser carregós.
- Exemple: un canvi en el plugin d’arxiu (l’anterior -Moo Collapsing Archives- generava una llista sencera, ordenada per mesos i anys de tots els posts… no calia. L’actual -Compact Archives- genera una llista molt més compacta). Només això ha aprimat les planes 100 KB.
