Nederlands‎ > ‎Blogposts‎ > ‎

Crawlfouten: de volgende generatie

posted Jul 11, 2012, 1:45 PM by Chris Hiltermann   [ updated Jul 12, 2012, 10:21 AM ]
Crawlfouten is een van de populairste functies in Webmasterhulpprogramma's en vandaag introduceren we enkele zeer belangrijke verbeteringen die deze functie nog nuttiger maakt. We detecteren en rapporteren nu veel nieuwe typen fouten. Om de nieuwe gegevens inzichtelijker te maken, hebben we de fouten opgesplitst in twee delen: sitefouten en URL-fouten. 

Sitefouten

Sitefouten zijn fouten die niet specifiek horen bij een bepaalde URL. Ze zijn van invloed op uw gehele site. Deze fouten omvatten DNS-omzettingsfouten, verbindingsproblemen met uw webserver en problemen met het ophalen van uw robots.txt-bestand. We rapporteerden deze fouten per URL, maar dat was niet erg logisch omdat de fouten niet specifiek bij afzonderlijke URL's horen. Dergelijke fouten zorgen er eigenlijk zelfs voor dat Googlebot geen URL's kan aanvragen. In plaats daarvan houden we nu bij hoe vaak elk type sitefout optreedt. We proberen u ook meldingen te sturen wanneer deze fouten zo regelmatig optreden dat ze aandacht vereisen.


Frequentie en aantal sitefouten in de loop der tijd weergeven


Als u geen problemen op deze gebieden heeft (en dergelijke problemen ook niet recent heeft gehad), zoals het geval is voor veel sites, vallen we u niet lastig met dit gedeelte. In plaats daarvan laten we u enkele vriendelijke vinkjes zien om u te laten weten dat alles in orde is.


Een site zonder recente sitefouten

URL-fouten

URL-fouten zijn specifieke fouten voor een bepaalde pagina. Dit betekent dat toen Googlebot probeerde de URL te crawlen, Googlebot erin is geslaagd uw DNS om te zetten, verbinding te maken met uw server, uw robots.txt-bestand op te halen en te lezen en vervolgens deze URL aan te vragen, maar dat er vervolgens iets verkeerd is gegaan. We splitsen URL-fouten op in verschillende categorieën op basis van de oorzaak van de fout. Als uw site gegevens van Google Nieuws of mobiele gegevens (CHTML/XHTML) weergeeft, laten we afzonderlijke categorieën voor die fouten zien.


URL-fouten op type met volledige huidige en historische aantallen

Minder is beter 

In het verleden lieten we u maximaal 100.000 fouten van elk type zien. Al deze informatie proberen te bevatten was een bijna onmogelijke opgave en het was niet mogelijk te achterhalen welke van die fouten belangrijk (uw startpagina is niet beschikbaar) of minder belangrijk (een typfout in een link naar uw site op de persoonlijke site van iemand anders) waren. Er was geen realistische manier beschikbaar om alle 100.000 fouten te bekijken. U kon de fouten niet sorteren of doorzoeken en uw voortgang niet markeren. In de nieuwe versie van deze functie hebben we ervoor gekozen u in eerste instantie alleen de belangrijkste fouten te laten zien. Voor elke categorie laten we u de 1000 belangrijkste fouten zien waarvoor u naar onze mening actie moet ondernemen. U kunt deze top 1000 fouten sorteren en filteren, ons op de hoogte stellen wanneer u denkt dat u de fouten heeft verholpen en details over de fouten bekijken. 

Fouten in elke kolom onmiddellijk filteren en sorteren
Fouten in elke kolom onmiddellijk filteren en sorteren

Sommige sites hebben meer dan 1000 fouten van een bepaald type, dus u kunt nog steeds het totale aantal fouten bekijken dat u heeft van elk type, evenals een grafiek met historische gegevens tot 90 dagen geleden. Voor gebruikers die zich zorgen maken dat 1000 fouten en een vermelding van het totale aantal fouten niet voldoende is, overwegen we programmatische toegang (een API) toe te voegen waarmee u alle fouten die u heeft, kunt downloaden. Laat het ons dus weten als u meer gegevens nodig heeft.

We hebben ook de lijst met pagina's die worden geblokkeerd door robots.txt, verwijderd. Hoewel deze lijst soms nuttig kan zijn om een probleem met uw robots.txt-bestand te achterhalen, bevat de lijst meestal pagina's die u met opzet heeft geblokkeerd. We willen ons echt focussen op fouten, dus informatie over URL's die zijn geblokkeerd door robots.txt, worden binnenkort weergegeven in de functie 'Crawlertoegang' bij 'Siteconfiguratie'. 

De details ontdekken 

Als u op een afzonderlijke URL-fout in de hoofdlijst klikt, wordt een detailvenster weergegeven met extra informatie, waaronder de laatste keer dat we hebben geprobeerd de URL te crawlen, het tijdstip waarop we voor het eerst een probleem opmerkten en een korte uitleg van de fout.

Details voor elke URL-fout
Details voor elke URL-fout

In het detailvenster kunt u klikken op de link voor de URL die de fout heeft veroorzaakt. Zo kunt u zelf zien wat er gebeurt wanneer u probeert de URL te bezoeken. U kunt de fout ook markeren als 'verholpen' (later meer daarover), Help-inhoud voor het type fout weergeven, sitemaps weergeven die de URL bevatten en zelfs Googlebot opdracht geven de URL nu op te halen, voor meer informatie of om te controleren of uw oplossing heeft gewerkt.

Pagina's weergeven die een link naar deze URL bevatten
Pagina's weergeven die een link naar deze URL bevatten

Actie ondernemen

Een ding waar we echt trots op zijn bij deze nieuwe versie van de functie Crawlfouten, is dat u zich eerst kunt richten op het verhelpen van de belangrijkste fouten. We hebben de fouten gerangschikt zodat boven aan de prioriteitslijst de fouten worden weergegeven die u kunt verhelpen, ongeacht of u dit doet door verbroken links op uw eigen site te herstellen, bugs in uw serversoftware op te lossen, uw sitemaps bij te werken om niet-werkende URL's te verwijderen of een 301-omleiding toe te voegen om gebruikers naar de 'echte' pagina te brengen. We stellen dit vast op basis van meerdere factoren, waaronder het feit of u de URL in een sitemap heeft opgenomen, hoeveel plaatsen een link naar de URL bevatten (en of een of meer van die plaatsen zich ook op uw site bevinden) en of de URL onlangs zoekverkeer heeft ontvangen.

Zodra u denkt dat u het probleem heeft verholpen (u kunt uw oplossing testen door de URL op te halen als Googlebot), kunt u ons dit laten weten door de fouten te markeren als 'verholpen' als u een gebruikers met volledige toegangsrechten bent. Als u dit doet, wordt de fout uit de lijst verwijderd. In de toekomst worden de fouten die u heeft gemarkeerd als verholpen, niet opgenomen in de lijst met belangrijkste fouten, tenzij we dezelfde fout tegenkomen wanneer we proberen een URL opnieuw te crawlen.

Fouten selecteren en markeren als verholpen
Fouten selecteren en markeren als verholpen

We hebben veel werk gestoken in de nieuwe functie Crawlfouten, dus we hopen dat u deze erg nuttig zult vinden. Laat ons weten wat u vindt en bezoek ons forum als u suggesties heeft!

Geschreven door Kurt Dresner, het team van Webmasterhulpprogramma's

Comments