Ja! De wetenschap heeft een algoritme in elkaar geklust dat mooie foto’s herkent. Eh… wát? Zijn we al zover dat ook ons oordeelsvermogen inmiddels volledig geautomatiseerd kan worden? Die afslag had ik even gemist. Reden om de oorspronkelijke publicatie door te akkeren en hier te bespreken. Want wetenschappelijke kennis moet worden gedeeld, ook al wordt dit onderzoek gesubsidieerd door Yahoo.
Verborgen juweeltjes op Flickr
Op dit moment worden er zo’n 200 miljoen foto’s gedeeld op Flickr, zoals ik al eerder schreef. Op Flickr, maar ook op andere sociale media blijft de beschikbare inhoud toenemen, maar de hoeveelheid aandacht daarvoor groeit niet mee. Veel foto’s blijven daarom verborgen voor velen: op Flickr zijn 166 miljoen foto’s maximaal 5 keer gemarkeerd als favoriet door een gebruiker. Oftewel: een klein deel van de inhoud ontvangt een groot deel van de aandacht terwijl de meerderheid van de foto’s staat te dringen op een veel te klein podium. In deze long tail móeten fotografische juweeltjes zitten, zo redeneren de wetenschappers Schifanella, Redi & Aiello. Maar hoe die te vinden?
Algoritme op basis van menselijk oordelen
Niemand gaat voor de lol 166 miljoen foto’s beoordelen. Dus moet er geautomatiseerd worden gezocht naar mooie foto’s – oftewel een algoritme aanleren wat wij mooi vinden. De auteurs nemen daarom als referentie het menselijk oordeel in respons op 10.000 Flickr-foto’s. Die meningen werden gecrowdsourced Crowd Flower. Deelnemers krijgen foto’s te zien in 4 categorieën, gebaseerd op de tags die aan de foto’s zijn gekoppeld door … een computer.
De referentie van wat mooi en lelijk is, wordt woordelijk toegelicht in een vijfpuntsschaal lopende van Unacceptable tot Exceptional. En dat objectiveren van ‘mooi’ is natuurlijk een idiote uitdaging. Want wat is een badly framed image? En verstaan jij en ik exact hetzelfde onder artistic value? Volgens onderstaande omschrijving kan een sterk gephotoshopte foto exceptioneel zijn. Dat vinden we kennelijk mooi met z’n allen – van die licht verteerbare, contrastrijke zuurstokplaatjes. Is dat mooi? Of zijn dat fast food foto’s; lekker, maar je bent wel snel verzadigd. Om over de (kleur-)verzadiging in de foto zelf maar niet te spreken.
Na deze omschrijvingen krijgt de deelnemer ook voorbeeldfoto’s te zien. De foto’s links tonen je een referentie van wat toch echt een 5 zou moeten zijn; de sterk aangezette lucht, de idiote vignettering, jawel, dat is móói. Vervolgens mag je de foto’s die rechts staat afgebeeld, beoordelen.
Alle 10.000 foto’s zijn tenminste 5 keer beoordeeld door mensen. En die beoordelingen komen aardig met elkaar overeen, getuige onderstaande statistieken. Voor sommigen (waaronder ik) toch leuk om een oude bekende als Cronbach’s Alfa weer eens terug zien. Ergens in mijn bovenkamer wordt met man en macht een vastzittend laatje opengetrokken; jawel, boven de 0.70 mag iets als betrouwbaar worden gezien weet ik nog. Waarvan akte!
Goed, de input is betrouwbaar bevonden en kan dus worden gebruikt om het algoritme mee te voeden. Vervolgens beschrijven de auteurs nauwgezet wat ze verder doen om het algoritme optimaal te laten functioneren. Interessant? Dan verwijs ik je graag door naar de publicatie zelf.
Het gebouwde algoritme mag aan de slag. De resultaten vergelijken de auteurs weer met menselijke input. En dat komt behoorlijk dicht in de buurt. Dus kon het algoritme starten met het echte werk: speuren naar mooie plaatjes in de long tail van Flickr. Of nouja, mooi. Contrast- en kleurrijk vooral. En dat deed het niet onverdienstelijk, zo blijkt uit onderstaande tabel. Links zien we random onpopulaire foto’s van Flickr, in het midden zien we populaire foto’s (veel favorieten), en rechts zien we onpopulaire foto’s die door het algoritme als mooi zijn geclassificeerd.
Portretfotografie lukt alleen nog niet zo goed
Maar… de auteurs geven toe dat de methode niet zo goed is in het beoordelen van foto’s waar mensen op staan. Dat is logisch, melden ze, want wij mensen hebben een apart hersengebiedje voor het herkennen van gezichten – dat kun je niet even nabootsen in een algoritme. Bovendien is er bij een portretfoto meer aan de hand dan enkel een juiste compositie, een goed contrast en een kleurrijk geheel. We zien emoties, de suggesties van een verleden, een levensstijl. Ja, portretfotografie is een andere tak van sport, concluderen ze. Hun algoritme kan daar niet zoveel mee.
Conclusie: meer van hetzelfde
Kortom, dit algoritme helpt ons om meer van hetzelfde op Flickr te vinden. En dat is natuurlijk interessant vanuit commercieel perspectief. Want deze plaatjes vindt de massa mooi en lenen zich dus perfect voor advertentie-inkomsten. We blijven genoeglijk zitten in onze filterbubbel van zuurstokzoete foto’s en worden niet wakker geschud door een foto die langer dan 3 seconden onze aandacht vangt en een vraag opwerpt, in plaats van een antwoord. Daarvoor moeten we dus niet bij Flickr zijn. Gelukkig zijn daar weer andere sites voor, zoals bijvoorbeeld LensCulture of New Dawn. Beiden zijn sterk geredigeerd – door mensen, natuurlijk…