2024 · Concluído
AIGTatt
Um projeto de investigação académico escrito seguindo guidelines ao estilo BIOSIG, usando tatuagens geradas por IA para treinar e avaliar modelos biométricos de reconhecimento de tatuagens.
Visão geral
O AIGTatt foi um projeto de investigação académico escrito no estilo e formato de um artigo BIOSIG 2024. O trabalho explorou se dados de tatuagens totalmente sintéticos poderiam ajudar a contornar a escassez e as restrições de privacidade dos datasets públicos usados em investigação de reconhecimento biométrico.
A pipeline gerava prompts estruturados com GPT-4 Turbo, produzia imagens com SDXL e um SDXL fine-tuned para tatuagens, recortava as regiões das tatuagens e criava variações realistas com rotação, escala, brilho, ruído e outras transformações. O estudo final usou 250 identidades de tatuagens isoladas e 5.000 variações.
As experiências de retrieval treinaram modelos de embeddings com EfficientNetV2 e Swin usando objetivos ao estilo ArcFace, e avaliaram-nos em datasets reais como WebTattoo e BIVTatt. O trabalho mostrou que dados sintéticos podem ajudar a arrancar sistemas de reconhecimento, deixando claro que datasets maiores e mais diversos seriam necessários para melhor generalização.
Destaques
- Criei o AIGTatt, um dataset totalmente sintético com 250 tatuagens geradas por IA e 5.000 variações aumentadas.
- Fiz fine-tuning do SDXL para geração de tatuagens e comparei DALL-E 3, Stable Diffusion 2.1, Stable Diffusion 3, SDXL e o SDXL fine-tuned.
- Treinei modelos de recuperação de tatuagens com EfficientNetV2 e Swin, atingindo taxas top-20 de identificação perto de 95% no WebTattoo e 98% no BIVTatt.