2024 · Afsluttet
AIGTatt
Et kursusbaseret forskningsprojekt skrevet efter BIOSIG-lignende retningslinjer, der bruger AI-genererede tatoveringer til at træne og evaluere biometriske tatoveringsgenkendelsesmodeller.
Overblik
AIGTatt var et kursusbaseret forskningsprojekt skrevet i stil og format som en BIOSIG 2024-artikel. Projektet undersøgte, om fuldt syntetiske tatoveringsdata kan afhjælpe mangel på og privatlivsbegrænsninger ved offentlige tatoveringsdatasæt til biometrisk genkendelsesforskning.
Dataset-pipelinen genererede strukturerede tatoveringsprompts med GPT-4 Turbo, producerede billeder med SDXL og en tatoveringsspecifik fine-tuned SDXL-model, beskårede tatoveringsregionerne og skabte realistiske variationer med rotation, skalering, lysstyrke, støj og andre augmentationer. Det endelige studie brugte 250 isolerede tatoveringsidentiteter og 5.000 variationer.
Retrieval-eksperimenterne trænede EfficientNetV2- og Swin-embeddingmodeller med ArcFace-lignende mål og evaluerede dem på virkelige tatoveringsdatasæt som WebTattoo og BIVTatt. Arbejdet viste, at syntetiske tatoveringsdata kan bootstrappe genkendelsessystemer, samtidig med at større og mere varierede datasæt er nødvendige for stærkere generalisering.
Højdepunkter
- Jeg skabte AIGTatt, et fuldt syntetisk tatoveringsdataset med 250 unikke AI-genererede tatoveringer og 5.000 augmentede variationer.
- Jeg fine-tunede SDXL til tatoveringsgenerering og sammenlignede DALL-E 3, Stable Diffusion 2.1, Stable Diffusion 3, SDXL og den fine-tunede SDXL-model.
- Jeg trænede tattoo retrieval-modeller med EfficientNetV2 og Swin og nåede top-20-identifikationsrater omkring 95 % på WebTattoo og 98 % på BIVTatt.