Kommandósok rohanták le a gyereket, mert a mesterséges intelligencia fegyvernek nézte a nála lévő chipset

Egy 16 éves amerikai diákra fegyveres rendőrök rontottak rá, mert az iskola mesterséges intelligenciával működő biztonsági rendszere egy Doritos-zacskót fegyvernek hitt. Az eset országos vitát indított el az MI-megfigyelés határairól.

Október 20-án a baltimore-i Kenwood High School előtt Taki Allen éppen edzés után beszélgetett barátaival, amikor rendőrautó fékezett le mellette. A rendőrök a földre parancsolták, megbilincselték, majd átkutatták, mert a biztonsági kamerák képeit elemző mesterséges intelligencia fegyvert vélt látni a zsebében. 

A riasztást az Omnilert nevű amerikai cég fegyverfelismerő MI-je adta, amelyet tavaly vezettek be a Baltimore megyei iskolákban. Csakhogy az algoritmus nem értette a kontextust és ezúttal egy ártatlan tinédzsert sodort veszélybe.

🧠 Miről is van szó pontosan?
Omnilert: Egy amerikai biztonságtechnológiai vállalat, amely MI-alapú fegyverfelismerő rendszereket fejleszt iskolák és közintézmények számára. Olyan képelemző eljárást nyújt, amely a megfigyelőkamerák képein vizuális mintázatok alapján próbál lőfegyvereket azonosítani. A rendszer valós időben riaszt, de kontextust nem ért, ezért a fegyverre emlékeztető tárgyakat – például esernyőt, táskát vagy jelen esetben egy chipses zacskót – is tévesen jelölhet meg.

„Elkezdtek felénk jönni fegyverrel, és azt kiabálták, hogy feküdjek a földre. Én meg csak néztem, hogy mi van.” - mesélte Taki Allen. „Térdre kellett ereszkednem, a kezeimet hátra tenni, és megbilincseltek. Aztán átkutattak, és semmit sem találtak.”

Allen fegyveres rendőrök által bilincselve ült a földön. A rendőrök később megmutatták neki azt az MI-által rögzített képet, amely a riasztást kiváltotta. A zsebében lévő, összegyűrt Doritos-zacskót a rendszer fegyvernek nézte.

„Csak arra gondoltam, hogy most meg fogok halni? Le fognak lőni?” – mondta. „Megmutatták a képet, mondták, hogy ez fegyvernek tűnik, én meg annyit feleltem: nem, ez chips.”

A biztonság ára: az algoritmusok tévedhetetlenségébe vetett hit

Az amerikai iskolákban egyre gyakoribbak a mesterséges intelligenciával működő biztonsági rendszerek: a cél a megelőzés, de a módszer sok esetben adatvédelmi és etikai kérdéseket vet fel. A technológia – bármennyire is fejlett – nem látja az emberi szándékot, csak mintázatokat. 

A baltimore-i iskolakerület a történtek után közleményben kért bocsánatot, és pszichológiai segítséget ajánlott fel a diákoknak. A cég szerint a rendszer „rendeltetésszerűen működött”, mert az a feladata, hogy gyorsan jelezzen, és utólag emberek döntsenek a továbbiakról. Csakhogy a valóságban ez az „emberi döntés” már egy sokkos állapotban lévő kamasz feje fölött zajlott.

Miért fontos ez szülőként?

Sok országban – és egyre több magyar intézményben is – kísérleteznek automatizált beléptető-, arcfelismerő- és viselkedéselemző rendszerekkel, amelyek elvileg a biztonságot szolgálják. De minden ilyen rendszer mögött ott a kérdés: ki ellenőrzi a gépet, és ki védi meg a gyereket, ha az algoritmus téved?

A szülők számára ez az eset figyelmeztető példa. A technológiai biztonság csak akkor valódi, ha átlátható, ellenőrizhető és felelősségvállalással jár. Ha az iskola kamerái nemcsak rögzítenek, hanem értelmeznek is, akkor a gyerekek személyes adatai, mozdulatai és arckifejezései is a rendszer részeivé válnak.

Erről pedig szülőként nekünk is tudnunk kell, ahogy a lehetséges következményekről, tudva, hogy ez a történet természetesen szélsőséges, nem mindennapi eset. Ez viszont senkit nem vigasztal, ha éppen az ő gyerekének kell ilyesmit átélnie.

• mesterséges intelligencia
• iskola
• közbiztonság
• digitális megfigyelés
• Omnilert