Bedrijfsgegevens

bol.com

Keulsekade 189, Utrecht

Tom Smits <tsmits@bol.com>

Achtergrond

Google is 24 uur per dag bezig om onze pagina’s te crawlen en in haar zoekmachine-index te stoppen. We zouden graag meer inzicht willen hebben wat Google nu juist heel vaak crawlt, wat ze minder crawlen en waar ze vrijwel nooit crawlen. Als we weten wat Google fijn vindt, dan kunnen we daar beter op inspelen en betere technische keuzes maken:

• Pagina’s die weinig gecrawld worden zouden we dus juist moeten activeren.
• Daarnaast zou een dergelijke tool onze verbeteringen moeten bewijzen. Bijvoorbeeld door kortere URLs toe te passen per 10 oktober 2013 zou het aantal crawls toe moeten nemen. 
• Bepaalde pagina’s voorzien van een noindex-tag zou ertoe moeten leiden dat andere pagina’s vaker gecrawld gaan worden.
   

Deze crawldata wordt opgeslagen in een txt-bestand van dagelijks circa 600 mb, 1,8 miljoen regels.

Een voorbeeldregel:

We zien dus dat de googlebot deze pagina heeft gecrawld: /nl/c/boeken/engelse-boeken-d-m-rogers/7008122/N/8299+8292/sc/books_en/index.html, op 16 september om 1 seconde over 00:00

Opdracht

Ontwikkel een parser die de crawldata kan verwerken in een storage (relationeel mag, maar hoeft niet) en laat zien middels een eenvoudig dashboard welke aanpassingen en verbeteringen bol.com kan maken. 

Keywords

Java SE

Apache Camel, Spring Batch of een andere integratieoplossing.