Concrete Effecten

Het is gemakkelijk om zomaar te verklaren dat de filter bubble een invloed uitoefent op de manier waarop wij als internetsurfers informatie vergaren, maar we kunnen er pas werkelijk zeker van zijn dat er iets van de kritiek aan is als we het met eigen ogen gezien hebben. Om die reden hebben wij een piepkleine steekproef uitgevoerd. Het groepje dat deze website heeft gemaakt en de inhoud ervan heeft onderzocht en uitgeschreven, bestaat uit acht mensen. We vroegen ons af of we zelf zouden kunnen verifiëren in hoeverre zoekmachines als Google, Ask.com en Bing verschillende zoekresultaten naar voren schoven, afhankelijk van de gebruiker, en of het echt waar was dat Duck Duck Go volledig neutraal en filter bubble-loos was.

Om de waarachtigheid van de bubbel te bewijzen dan wel te ontkrachten, besloten we allemaal zoekresultaten in te geven en vast te leggen via screenshots. Zeven van de acht mensen zouden daarna hun resultaten voorleggen aan het laatste overgebleven groepslid, dat dan de zoektermen zelf uit zou proberen en zou bekijken in hoeverre er daadwerkelijk een verschil te bemerken was. Deze zoektermen werden gekozen op basis van het onderwerp waar elk groepslid op dat moment onderzoek naar aan het doen was in verband met een paper. Het idee was dat elk van de zeven groepsleden het onderwerp van hun persoonlijke paper in zou geven in een aantal zoekmachines, wat hun zoekresultaten in theorie onderhevig zou moeten maken aan personalisering, aangezien zij al veel rond dit onderwerp gewerkt hadden op het web. Het achtste groepslid, dat geen specifieke binding had met deze onderwerpen, zou dan dezelfde zoektermen ingeven, en bekijken in hoeverre dit de zoekresultaten beïnvloedde.

Wat volgt is een kleine selectie van vergelijkende afbeeldingen die voortgekomen zijn uit deze test. Onze conclusie is dat het verschil in resultaten niet ongelooflijk dramatisch is, maar dat er bij de drie meest populaire zoekmachines wel degelijk verschillen te spotten zijn. Duck Duck Go, daarentegen, is daar niet op te betrappen, tenzij in een heel specifiek geval, zoals u zo meteen zult zien. Alle afbeeldingen hebben betrekking op de eerste pagina van zoekresultaten die naar boven komt. Vermeld dient nog te worden dat alle zoekopdrachten uitgevoerd worden door een relatief homogene steekproef van Leuvense studenten uit dezelfde leeftijdscategorie. Met de hyperlinks onder het woord “hier” kan u na elke set foto’s ook zelf testen hoe hard uw resultaten verschillen van de voorbeelden.

We beginnen onze voorbeelden met wat algemeen beschouwd wordt als dé zoekmachine der zoekmachines: Google. Het bewijs dat Google wel degelijk haar resultaten filtert is meteen geleverd. Doch het eerste resultaat hetzelfde is, zien we bij de respectievelijke nummers 2 al een verschil opduiken. Hoewel bij voorbeeld A een Wikipedia-pagina op nummer twee staat, is dat bij voorbeeld B een pagina van History Today. Dit resultaat komt bij voorbeeld A ook voor, maar dan op nummer 3. Bij de rest van de respectievelijke pagina’s zijn de verschillen ook vooral terug te brengen op een kwestie van volgorde. Het meest opvallende verschil is resultaat nummer 8 van voorbeeld A: daar duikt een pagina van www.washingtonblog.com op, die niet terug te vinden is bij voorbeeld B. Het feit dat de link van dit resultaat paars gekleurd is en niet blauw, geeft ons een hint over een mogelijke reden; de paarse kleur betekent dat de gebruiker van voorbeeld A deze link in het verleden al bezocht heeft. Google heeft dit feit onthouden en brengt daarom de pagina opnieuw naar boven, en met meer prioriteit, in een poging de gezochte informatie waarvan de zoekmachine verwacht dat ze pertinent is, sneller te verschaffen.

Als conclusie kunnen we stellen dat Google zeker niet ontsnapt aan de waarheid die zich gepresenteerd heeft; het personaliseerd zoeken heeft de zoekresultaten voor de respectievelijke gebruikers zeker aangepast. Dit gezegd zijnde moet de magnitude van deze verschillen ook gerelativeerd worden. De verschillen zijn voornamelijk een kwestie van een verschil in volgorde, althans voor de eerste pagina. Wij kijken in deze steekproef niet verder dan de eerste pagina omdat wij menen dat er in het algemeen vooral aandacht wordt besteed aan de eerste pagina zoekresultaten. Wij kunnen ons als dusdanig voorstellen dat deze schijnbaar kleine verschillen op termijn, en wanneer geëxtrapoleerd naar een veel grotere steekproef, wel degelijk een reëel verschil kunnen maken. Wanneer een pagina die de zoekmachine beschouwt als minder relevant naar de tweede pagina wordt verwezen, of zelfs naar de lagere regionen van de eerste pagina, loopt men in onze optiek al het risico om deze pagina te missen. Een pagina die wel of niet gelezen wordt — als we dat idee opentrekken naar het wereldwijde gebruik van Google, durven wij ons voor te stellen dat daar noemenswaardige repercussies aan verbonden zijn.

Wij onthouden er ons evenwel van echte conclusies te trekken in dit verband, vanwege de zeer kleine schaal waarop de steekproef werd uitgevoerd. Wat we wel kunnen afleiden is het volgende; wie Google Search gebruikt, krijgt zoekresultaten die onderhevig zijn aan de effecten van aangepaste zoekresultaten.
Probeer het zelf hier.

In eerste instantie merken we dat de resultaten opmerkelijk gelijklopend lijken te zijn. Van de vijf afbeeldingen die in preview getoond worden bovenaan de pagina, er is maar één verschillend, en de eerste vijf zoekresultaten zijn opmerkelijk genoeg exact dezelfde. Maar dan duikt het verschil op, en wordt ook blootgelegd hoe de gepersonaliseerde zoekresultaten van Bing werken. Bij voorbeeld A, wiens gebruiker onderzoek doet naar “Japanese host clubs”, een vorm van Japans etablissement waar zich een nachtleven afspeelt, hebben zoekresultaat zes en zeven betrekking of deze specifieke betekenis van “host”. Natuurlijk, “host” is een Engels woord dat ook simpelweg gastheer betekent, in de zin van de persoon die een andere persoon in zijn huis ontvangt of onderbrengt. Bij voorbeeld B, wiens gebruiker geen specifiek opzoekwerk heeft gedaan naar deze host clubs, komen links naar boven die verwijzen naar de Japanse manier van gasten ontvangen. Als we bij voorbeeld A dan even verder gaan kijken, zien we dat deze links ook verschijnen, maar niet als nummer 6 en 7, maar als 8 en 9.

Dat verschil lijkt verwaarloosbaar, en wij kunnen ook niet stellen dat het werkelijk opzienbarend is, maar het bewijst wel één ding; de zoekmachine Bing wist dat de gebruiker van voorbeeld A reeds gezocht had naar links die gaan over “Japanese host clubs”, en maakte van die informatie gebruik om prioriteit te geven aan links die daarop betrekking hadden, in plaats van de links die over de andere invulling van de term “Japanese hosts” gingen. Daarbij is het zo dat gebruiker A Bing nog niet heeft gebruikt om opzoekwerk te doen in verband met haar paper: dat wijst erop dat Bing deze informatie wist op te halen zonder dat daarvoor Bing zelf reeds gebruikt moest worden. Wat de precieze bron is van deze informatie is ons onbekend, maar het is niet onvoorstelbaar dat de website gebruik maakte van haar cookies om reeds bezochte sites over “Japanese host clubs” naar voren te schuiven.
Probeer het zelf hier.

Deze resultaten, op basis van een test met de zoekmachine Ask.com, lijken in eerste instantie vrij positief. De bovenste widget, met “explore answers about” is bij beide voorbeelden exact dezelfde. Ook de zoekresultaten lijken geen enorm grote invloed te ondervinden van de “filter bubble”. Er zijn echter wel kleine verschillen, zoals het artikel van www.basverbeek.be over de “illegaliteit van de Koreaanse annexatie”. Bij voorbeeld A, dat toebehoort aan de persoon die er onderzoek over doet, staat dit resultaat hoger, mogelijk omdat ze dat resultaat al eens bekeken heeft. Opvallend is ook het Youtube-filmpje dat onderaan de pagina opduikt bij voorbeeld A, en afwezig is bij voorbeeld B. De reden ligt waarschijnlijk in het feit dat de gebruiker van voorbeeld A dit filmpje in verband met haar paper bekeken heeft.

Ook bij Ask.com kunnen we dus vaststellen dat de zoekresultaten zich aanpassen aan de gebruiker die ze ingeeft. Hoewel we ten alle tijden indachtig blijven dat deze steekproef te klein is om harde, algemene conclusies te kunnen trekken, kunnen we wel zeggen dat de resultaten van Ask.com in dit geval eerder minimaal verschillen tussen iemand die al wat op het net heeft gewerkt rond het thema van de Koreaanse annexatie in vergelijking met iemand die er, althans recent, niets over heeft opgezocht.
Probeer het zelf hier.

We zijn uiteraard bijzonder geïnteresseerd in de resultaten die we verkrijgen met de zoekmachine Duck Duck Go, aangezien zij slechts één doelstelling voorop zegt te stellen: zoekresultaten verschaffen zonder daarbij eender welke actie van de gebruiker te tracken en zonder de zoekresultaten te beïnvloeden. Nu, over de privacy-beloftes van Duck Duck Go kunnen we uit deze resultaten jammer genoeg geen echte conclusies trekken, maar in termen van de concrete effecten van een potentiële filter bubble kunnen we dat wel. De resultaten, zoals u kan zien, zijn helemaal dezelfde. Als u er zeker van wil zijn dat uw zoekresultaten bij een onderzoek niet onderhevig zullen zijn aan invloed van buitenaf, lijkt op basis van deze resultaten Duck Duck Go de meest passende oplossing.
Probeer het zelf hier.

We hernemen hier snel Duck Duck Go om een kleine opmerking te maken. Hoewel het in principe onmogelijk is dat de zoekresultaten van Duck Duck Go onderhevig zijn aan invloed van buitenaf, via bijvoorbeeld cookies, is er één geval waarin de resultaten toch kunnen verschillen. Toen we deze steekproef origineel afnamen, en enkele weken later de resultaten vergeleken, constateerden we tot onze verrassing dat de zoekresultaten aanzienlijk verschilden. Dat stelde ons voor een raadsel. Zou Duck Duck Go op één of andere manier haar gebruikers een leugen voorspiegelen over haar anonieme kwaliteiten? Dat leek onwaarschijnlijk, want dan zou iemand dat ondertussen al wel gemerkt hebben.

De verklaring, zo bleek, lag in het feit dat Duck Duck Go om de zoveel tijd intern haar database opkuist en de zoekresultaten die verbonden zijn met een zoekterm zo herschudt en aanpast. In de tijdsspanne van drie weken tussen de originele proef en de resultatenvergelijking, was er blijkbaar een danig database-onderhoud doorgevoerd, wat de resultaten had beïnvloed. Dat bewezen we door nogmaals een poging te wagen. Zoals u kan zien, is voorbeeld C (de originele zoekresultaten) verschillend van het punt van vergelijking, voorbeeld D. Maar toen we na onze kortstondige verwarring bij onze tweede poging voorbeeld E voor onze neus kregen, wisten we dat het opgelost was; voorbeeld D en E zijn identiek.

Over Duck Duck Go blijft onze conclusie dus geldig; het is dé zoekmachine voor gebruikers die geen aangepaste zoekresultaten willen.
Probeer het zelf hier.