Altering the backgrounds of synthetic portrait images: A comparison of machine learning based methods
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Förändra bakgrunder i syntetiska portättbilder : En jämförelse av maskininlärningsbaserade metoder (Swedish)
Abstract [sv]
För att kunna testa sina metoder där ansiktsigenkänningssystem används vill polisen ta fram ett dataset av syntetiskt framställda ansiktsbilder som ser ut som riktiga profilbilder av gärningspersoner (mugshots). För att kunna använda tillgängliga, redan tränade, generativa modeller för ansiktsbilder i detta syfte behöver de genererade bilderna ändras för att uppfylla de kraven. Det här projektet undersöker specifikt hur bakgrunden i de generade bilderna kan anpassas. I detta syfte jämförs tre metoder. Den första baseras på att variera indatan till modellen längs med principala komponenter för att ändra utdatan. Den andra använder alfa-masker för att blocka ut den ursprungliga bakgrunden för att sedan måla in en ny. Den tredje använder också en alfa-mask, men för att klippa ut ansiktet och klistra det på en separat bakgrundsbild, för att sedan blanda samman de två komponenterna. Den första metoden gjorde en viss förändring på bakgrunden utan att samtidigt ändra ansiktet så mycket, men förändringen var väldigt inkonsekvent prover emellan. Den andra metoden målade bakgrunder som för det mesta passade ihop med förgrundsobjektet, men som ärvde tendenser från datasetet som modellen var tränad på. Den tredje producerade inte några godtagbara sammansatta bilder, eftersom den verkade vara väldigt dåligt anpassad för att fungera med fotografibilder, och modifierade färgsättningen på ansiktena alldeles för mycket. Över lag bevarades identiteten på personen på bilder genom förändringen. Slutligen bedömdes ingen av metoderna vara användbar till den tilltänkta uppgiften, då de antingen producerade bilder som var för dåliga som bilder sett, var för beräkningstunga, eller inte kunde ge tillräcklig kontroll över de resulterande bilderna (i alla fall inte i sin nuvarande form).
Abstract [en]
To test their methods that use facial recognition systems, the police are in need of a synthetic dataset of images of faces, that look like real mugshots. To use available pre-trained generative models for this, features of the generated images need to be tailored to that purpose. This project is concerned with modifying the backgrounds of synthetically generated images of faces. To this end, three methods are used and compared. The first varies the input into the generator along principal components to change the output. The second uses an alpha mask to block out the background and then inpaints the background anew. The third also uses an alpha mask but to extract the face, and then pastes it onto a separate background image and blends the components together. The first method managed to do some altering to the background while preserving the face, but the change was not very consistent amongst samples. The second made mostly coherent new backgrounds, but that inherited bias from the dataset that the model was trained on. The third did not produce any satisfactory images, as the model seemed to be badly adapted to photograph images, and adjusted the coloring of the face too much. For the most part, the identity of the person in the image was preserved during the augmenting. None of the methods were in the end judged to be applicable to the intended task due to them either not producing good enough resulting images, or being too computationally heavy, or not offering control over the resulting image (at least not in their current state).
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology , 2024. , p. 42
Series
TRITA-EECS-EX ; 2024:671
Keywords [en]
Ansiktsigenkänning, Generativa motståndarnätverk, Inmålning av bilder, Blandande av bilder
Keywords [sv]
Ansiktsigenkänning, Generativa motståndarnätverk, Inmålning av bilder, Blandande av bilder
National Category
Computer Sciences Computer Engineering
Identifiers
URN: urn:nbn:se:kth:diva-355464OAI: oai:DiVA.org:kth-355464DiVA, id: diva2:1909328
External cooperation
Nationellt Forensiskt Centrum
Subject / course
Computer Science
Presentation
2024-03-05, via Zoom https://kth-se.zoom.us/j/62579596299, Stockholm, 13:15 (English)
Supervisors
Examiners
2025-01-202024-10-302025-01-20Bibliographically approved