Hur påverkar selfiefilter AI-baserad ansiktsidentifiering?

När det var dags för studenterna Pontus Hedman och Vasilios Skepetzis att skriva sin masteruppsats vid Högskolan i Halmstad ville de undersöka hur selfiefilter påverkar detektering och igenkänning av ansikten med hjälp av AI (artificiell intelligens). De hänvisades till en grupp av forskare inom området som blev deras handledare, och tillsammans med doktoranden Kevin Hernandez-Diaz och professorn Josef Bigun, har de nu skrivit en vetenskaplig artikel som heter ”On the effect of selfie beautification filters on face detection and recognition”. (På svenska: Om förskönande selfiefilters effekt på detektering och igenkänning av ansikten.)

– Idén att fokusera på filtren på sociala medier kom från insikten att människor på ett väldigt offentligt sätt visar upp sina bilder på sociala medier-plattformar. Ofta har de här bilderna förbättrats på något sätt med hjälp av de verktyg som plattformarna erbjuder, eller täckts genom sättet som bilden har tagits på, säger Pontus Hedman som numera arbetar på Orange Cyberdefense som säkerhetsanalytiker.

– Det var intressant att diskutera ett scenario som liknar det roliga och påhittade ”förbättra bilden”-temat som man ofta ser i fiktiva kriminaldraman, tillägger Vasilios Skepetzis, som även han arbetar som säkerhetsanalytiker på Orange Cyberdefense.

Filter påverkar identitetsigenkänning på ett negativt sätt

En av Pontus Hedmans och Vasilios Skepetzis handledare var Fernando Alonso Fernandez, doktor och universitetslektor i datorseende och bildanalys vid Högskolan i Halmstad.

– Den här forskningen handlar om ansiktsanalys av bilder som har tagits ”i det vilda”, det vill säga i situationer där vi inte kan kontrollera omständigheterna. På grund av de olika filtren som finns tillgängliga på sociala medier och videokonferensapplikationer kan bilderna vara delvis täckta, så att inte hela ansiktet syns. Användarna kan till exempel lägga till roliga glasögon eller djurnosar. Det som händer när de här delarna av ansiktet är täckta är att det kan påverka funktionaliteten av vanliga algoritmer som inte förväntar sig att det här ska hända, säger Fernando Alonso Fernandez.

Filtren påverkar särskilt ansiktsdetektering och identitetsigenkänning på ett negativt sätt om de täcker ögonen, och till viss del näsan.

– Det är flera olika problem som samspelar här. När man får en bild vet man exempelvis inte om där finns artificiella glasögon eller ej, och då behöver AI:n detektera ansiktet för att ta reda på det. Men om ansiktet är delvis täckt kan det vara så att det inte är möjligt att detektera det, förklarar Fernando Alonso Fernandez.

Utvecklat en metod som återställer filtren

Som en lösning på problemet utvecklade Pontus Hedman och Vasilios Skepetzis en metod som återställer den påverkan som har orsakats av filtren, vilket bidrar till bättre precision när det gäller ansiktsdetektering. De använde sig av bilder med filter på från en databas för att träna systemet att återställa några av dessa modifikationer, såsom artificiella glasögon, med varierande framgångar.

– Resultaten var inte framgångsrika när originalglasögonen var helt svarta. Men med glasögon som var lite transparenta var de mer framgångsrika i att återställa ansiktsdetekteringen och att återskapa ögonen, säger Fernando Alonso Fernandez.

– En bild har en begränsad mängd information, vilket bevisades av de dåliga resultaten med de heltäckta ögonen. Med hjälp av några få brödsmulor var det möjligt att återskapa dem med generativa algoritmer, förklarar Vasilios Skepetzis.

Utöver detta använde Pontus Hedman och Vasilios Skepetzis bilder med filter för att träna algoritmen att känna igen ansiktet. Det de kunde se var att det här tillvägagångssättet kunde göra det enklare att känna igen ansikten som var delvis täckta av selfiefilter.

Resultat kan leda till mer effektiv ansiktsidentifiering

Resultaten har publicerats i Pattern Recognition Letters, en välrespekterad och kvalitetsgranskad vetenskaplig tidskrift som är inom topp 20 i ämnet, och artikeln har citerats av flera andra forskare.

– Vi tycker alla att det är väldigt roligt att våra studenter har skrivit en uppsats som har uppmärksammats av offentligheten, och att de båda efter sin examen snabbt har lyckats hitta jobb inom området, säger Fernando Alonso Fernandez.

Fernando Alonso Fernandez hoppas att de här resultaten kan leda till en mer effektiv ansiktsanalysbaserad identifieringsprocess, något som har blivit mycket mer attraktivt efter pandemin eftersom man inte måste röra vid några sensorer för att bli identifierad.

– Ansiktsidentifiering används till exempel redan på många flygplatser, men det krävs att ansiktet inte är täckt. När man ska gå igenom de automatiska dörrarna och få sitt ansikte skannat behöver man i dagsläget först ta av allting som täcker ansiktet, såsom glasögon. Det finns även automatiska fordon och vårdrobotar som behöver kunna känna igen och interagera med människor. För att det ska fungera på ett korrekt sätt behöver de kunna identifiera människor som exempelvis har på sig glasögon eller munskydd, förklarar Fernando Alonso Fernandez.

Kan man lita på tekniken?

Gruppen är medveten om att många människor är oroliga över de negativa konsekvenser som kan uppstå när man utvecklar den här typen av teknologi. När forskarna berättar vad de jobbar med är det ofta frågor kring detta som dyker upp.

– Sådan är oro är rimlig. Exempelvis kan maskiner bli partiska baserat på de dataset som de har tränats på – precis som människor. Därför måste man förstå och använda de här verktygen med försiktighet, med tanke på det känsliga användningsområdet, säger Vasilios Skepetzis.

Fernando Alonso Fernandez håller med och säger:

– Självklart kan missbruk av den här tekniken leda till negativa konsekvenser – på samma sätt som att många andra teknologier kan användas både med bra och dåliga avsikter. Allt handlar om lagstiftning, i det här fallet kring dataskydd. Vi måste skapa tillit. Man måste kunna lita på systemen.

Även om det är avgörande att man kan lita på tekniken tycker Pontus Hedman också att det är viktigt att vara kritisk.

– I framtiden kommer vi se ansiktsigenkänning och digitala identiteter spela en större roll i samhället. Jag tycker att alla borde överväga vilken typ av data man tillhandahåller fritt och offentligt, säger Pontus Hedman.

Allt handlar om lagstiftning, i det här fallet kring dataskydd. Vi måste skapa tillit. Man måste kunna lita på systemen.

 

Fernando Alonso Fernandez, doktor och universitetslektor i datorseende och bildanalys

Oändliga möjligheter med rätt finansiering

Medan Pontus Hedman och Vasilios Skepetzis numera arbetar inom cybersäkerhetsindustrin, fortsätter Fernando Alonso Fernandez och hans grupp av forskarkollegor att forska inom ansiktsigenkänning, med hjälp av olika finansiärer som är intresserade av ämnet – i juni träffade han och hans kollegor till exempel en stiftelse som hoppas att den här typen av teknik ska kunna hjälpa till att förhindra barnmisshandel.

De är även del av en grupp forskare från svenska lärosäten som försöker skapa ett nationellt centrum för digitalforensisk forskning.

– Möjligheterna med den här typen av forskning är oändliga – det handlar bara om att företag och politiker ska få upp ögonen för den och bestämma sig för att finansiera forskningen, avslutar Fernando Alonso Fernandez.

Text: EMMA SWAHN
Bild: IDA FRIDVALL (porträttbild) och PIXABAY (kollage)