Robots.txt: blokkeer geen CSS en Javascript

logo pdb
Ryte.com (voorheen On-page.org) is een van de beste on-page SEO tools, aanbevolen door Joomlaseo.com (zie onze review). Gratis voor 1 account (voor altijd)!!!

Een recente tweet van Peter Martin triggerde me om nog eens beter naar de robots.txt in Joomla te kijken. Het toonde een presentatie van Google met de volgende tekst:

Don't block CSS, Javascript and other resource files by default. This prevents Google bot from properly rendering the page and understanding that it's optimized for mobile.

NB: Sinds Juli 2014 zijn de regels voor /templates/ en /media/ verwijderd uit robots.txt voor nieuwe installaties, dus dit artikel is vooral van toepassing op sites ie eerder al geinstalllerd zijn (dank aan Sander Potjer voor de tip). Afhankelijk van je extensies kunnen er echter toch reden zijn om hier goed naar te kijken, dus lees vooral toch verder

Wat betekent dit voor Joomla?

Tot voor kort werden de /templates/ en /media/ folder standaard geblokkeerd voor Google in je robots.txt bestand. In de /templates/ map zit naturlijk het CSS en Javascript waarmee je website gestyled. Op de Webmaster Central blog heeft Google vermeld dat ze deze bestanden nu wel willen kunnen lezen om te beoordelen of een website wel responsive is. 

Fetch als Google

De beste manier om te kijken of Google overal bij kan waar het bij zou moeten kunnen vind je in je Google Webmaster Tools dashboard onder Crawl >> Fetch als Google. Hiermee kun je zien hoe de googlebot jouw site 'ziet'. Je kunt dit afzonderlijk doen voor meerdere devices, maar ook voor het nu meest relevante Mobile - Smartphone:

fetch-als-google

Klik dan op Fetch and Render en zet de googlebot aan het werk. Na een paar seconden krijg je het resultaat: 

robots-fetch-als-google

Let op: er staat weliswaar een groen vlaggetje, maar er staat ook: Partial (of Gedeeltelijk). Klik je daarop, dan zie je dat googlebot er toch niet helemaal uitkomt:

mobile-view-verwrongen

Niet bepaald hoe je zou willen dat je bezoekers je site zien... Google kan nu dus eigenlijk niet goed beoordelen of je site mobielvriendelijk is of niet.

Web Hosting

Je zou de hele /templates/ folder eens kunnen verwijderen (zoals nu standaard in Joomla), maar mogelijk netter is om de folder wel te blokkeren, maar je actieve template uit te zonderen door de volgende regel toe te voegen aan robots.txt:

Allow: /templates/MIJN-TEMPLATE/ 

Doe daarna nog eens Fetch en Render. Helaas kreeg ik in dit geval nog steeds een gedeeltelijke check, al ziet de boel er wel beter uit nu:

fetch-render

Onderaan in Webmaster tools zie je de reden waarom er nog steeds zaken niet getoond worden:

 foutmeldingen in fetch en render

Er waren blijkbaar nog 2 resources die geblokkeerd werden, ditmaal omdat een paar minder belangrijke bestanden op niet-standaard plekken werden opgeslagen. Ook deze kun je expliciet toestaan:

Allow: /plugins/system/jcemediabox/css
Allow: /media/mod_languages/css/

Nu is de melding: Complete! Google kan de site nu dus goed zien.

Gecombineerd CSS en Javascript

In veel gevallen gebruik ik de extensie JCH-optimize, die mijn CSS en Javascript bestanden combineert tot 1 bestand. Tot voor kort (intussen niet meer) werden de bestanden opgeslagen in de /plugins/ folder, en dus standaard geblokkeerd. Ook dit is weer op te lossen:

Allow: /plugins/system/jch_optimize/assets2/
Allow: /templates/MY-TEMPLATE/

Conclusie

Ook als je site responsive is loont het de moeite om te checken of Google dat ook zo ziet.

Over deze site

Joomlaseo.com is volledig gebouwd en geschreven door Simon Kloostra, SEO Specialist en Webdesigner uit Utrecht. Ik heb ook een boek geschreven en blogs voor bedrijven als OStraining, TemplateMonster, SEMrush en dergelijke.