Forsknings- og utviklingsenheten i Department of Homeland Security, Science and Technology Directorate organiserte et teknologirally bestående av tekniske eksperter og frivillige for å finne en algoritme for ansiktsgjenkjenning som kan identifisere mennesker med masker med høyest mulig nøyaktighet.
Arrangementet pågikk i 10 dager. 582 frivillige ble testet av de 60 forskjellige ansiktsgjenkjenningssystemene. De viktigste anskaffelsessystemene var Stone, Vly, West, Dans, Besek og, Pine, som var en blanding av seks forskjellige bildesamlingssystemer, parret med ti forskjellige matchende algoritmer som ble evaluert i henhold til deres ansiktsfangstevne og pålitelighet. å identifisere et ansikt med høy nøyaktighet.
De forskjellige AI ansiktsgjenkjenningssystemene ga forskjellige resultater. Gjennomsnittlig nøyaktighet for å gjenkjenne personer uten maskering var 93%, og den samme for maskerte personer var i gjennomsnitt 77%. Den beste teknologien var Dans som var i stand til å identifisere maskerte mennesker 96% av tiden, og den verste teknologien gjorde det bare i 4% av tiden. Resultatene var basert på Effektivitet, Tilfredshet, FaceFtAR (Failure To Acquire Rate) og FacemTIR (True Identification Rate)
Effektivitet er her definert som den gjennomsnittlige tiden det tar for testfrivillige å utføre en transaksjon med hvert system. Når det gjelder effektivitet, var West og Dans de beste da de bare tok 4 sekunder med transaksjonstid. Tilfredshet er her definert som andelen testfrivillige som ga positive svar. West, Dans og Besek ga de mest tilfredsstillende resultatene med et antall på 95%.
Fail to Acquire Rate (FtAR) defineres her som andelen transaksjoner som ikke klarte å fange et bilde, eller som ikke klarte å fange et bilde som kunne males av MdTF-matchingalgoritmen. MdTF True Identification Rate (mTIR) er her definert som andelen av transaksjoner der det innsendte biometriske bildet samsvarte med den rette testfrivillige eller var uidentifisert hvis sondefag ikke var i galleriet. I begge resultatene var Vly på topp. FtAR var 1,7% innen 20 sekunder og mTIR var 97,8% innen 20 sekunder.
Den fulle rapporten om arrangementet er ikke bekreftet ennå. Du kan sjekke hele rapporten på MDTF som forventes de neste ukene.