Bij eBay analyseert men dagelijks 52 petabytes aan data

Met liefst 108 miljoen actieve gebruikers en met totaal $68 miljard aan verkopen het afgelopen jaar heeft online marktplaats eBay een behoorlijk bak met data voor zich. Liefst 52 petabyte om precies te zijn. Maar hoe analyseert men dat en nog belangrijker: hoe zet eBay het in?

Om al die data begrijpelijk te maken, gebruikt eBay software van Tableau. Dit bedrijf maakt professionele datavisualisatie software om grote brokken data om te zetten naar interactie visuals. Dankzij de juiste tools kunnen medewerkers de data elk moment van de dag inzien.

Technisch bezien heeft eBay de architectuur verdeelt over 3 aparte analytische omgevingen: twee streng beveiligde data warehouses en een derde Hadoop instantie voor de ongestructureerde workloads. Die laatste is overigens niet inzichtelijk voor alle medewerkers omdat het lastig is om de toegangsrechten breed in te stellen voor Hadoop.

Met een totale omvang van zo’n 10 petabyte is eBay’s data warehouse ontworpen voor het verwerken van bestellingen, verzendingen, biedingen, betalingen en gegevens van gebruikers. Binnen de gehele organisatie kunnen werknemers inloggen op dit EDW via SQL en zelf queries draaien om data uit het systeem te halen.

De tweede instantie heeft men “Singularity” gedoopt (niet te verwarren met) en is zo’n 42 petabyte groot. In dit data warehouse vinden we een combinatie van gestructureerde en ongestructureerde data, zoals bijvoorbeeld de logs van de verschillende sites. Singularity is vooral belangrijk bij het onderzoeken van het bezoekersgedrag.

Met Tableau is eBay in staat om al deze data stromen visueel te maken en de relevantie breed over de bühne te brengen. Het heeft er voor gezorgd dat er een sterke analytische cultuur is ontstaan binnen eBay.

Sinds men de software voor het eerst geïntroduceerd is, is de populariteit razendsnel gegroeid: “Tableau brings value of data to nearly everyone internally. We’ve seen phenomenal growth; its usage doubles every six months. It lets users explore data across variety of platforms and is used more and more to support strategy.“, aldus Gary Dougan, senior manager of business intelligence platform and architecture at eBay

tableau-dashboard-big