Egy vak fiatal fejlesztett MI-appot, amely elmondja, mi történik a felhasználó körül
Mark Morad saját problémájára keresett megoldást, ma pedig már vak emberek ezreinek segít eligazodni a körülöttük lévő világban.
Nincs most elég időd?
- A 20 éves Mark Morad teljesen vak, és azért kezdett programozni, mert a meglévő eszközök nem tudták számára megfelelően értelmezni a tananyagok képeit, grafikonjait és diagramjait.
- Ebből lett a ScribeMe, amely ma már a kamera képét is elemzi: képes felolvasni egy feliratot, felismerni tárgyakat és folyamatosan leírni a környezetet. Meta okosszemüveggel mindezt úgy teszi, hogy a felhasználónak még a telefont sem kell a kezében tartania.
- Mark 16 éves, szintén vak húga egy kenyai szafarin használta így az alkalmazást: hallotta, milyen állatok vannak körülötte, milyen messze és mit csinálnak. Azt mondta, úgy érezte, mintha ismét látna.
- A technológiának persze vannak korlátai: maga a fejlesztő is figyelmeztet arra, hogy a mesterséges intelligencia tévedhet, ezért nem szabad önálló navigációs vagy biztonsági rendszerként használni.
- Magyarul még nem elérhető, de várható a megjelenése.
SEGÍTS NEKÜNK, HOGY SEGÍTHESSÜNK!
A Képernyőidő ingyenes, de nem ingyen készül. Segítsd munkánkat egy tetszőleges adománnyal, hogy minél több tartalom születhessen.
- Számlaszám: 12100011-19129370
- Név: LogIn Digitális Edukáció Egyesület
A tárgy mezőbe írd be, hogy adomány. Köszönjük segítséged, igyekszünk megszolgálni.
Karen Morad öt éve vak. A most 16 éves kairói lány júniusban Kenyában járt a családjával, ahol egy Meta okosszemüveget viselt. Miközben körülötte zajlott a szafari, a szemüveg kamerájának képét a ScribeMe nevű alkalmazás elemezte, Karen pedig folyamatosan hallotta, milyen állatokat lát a rendszer, milyen távol vannak tőle és éppen mit csinálnak.
„Mindig azt gondoltam, hogy ilyesmi lehetetlen, de megtörtént, és tényleg úgy éreztem, hogy látok” –– mondta Karen az élményről.
Hirdetés
A „látás” természetesen itt nem szó szerinti. A kamera rögzíti azt, ami Karen előtt van, a mesterséges intelligencia értelmezi a képet, majd beszéddé alakítja a fontosnak ítélt vizuális információkat. A ScribeMe Live Assist funkciója ráadásul nem egyetlen fényképet elemez: folyamatos videóképpel dolgozik, és kérdezni is lehet tőle. Ha például a felhasználó nem találja a kulcsát, megkérdezheti, látja-e valahol a kamera.
🧠 Miről is van szó pontosan?
Mesterséges intelligencia (MI vagy AI): Olyan számítógépes rendszerek gyűjtőneve, amelyek nagy mennyiségű adatból képesek mintázatokat felismerni, képeket és szövegeket elemezni, kérdésekre válaszolni vagy új tartalmat létrehozni. Nem emberi módon gondolkodnak: a megtanult összefüggések alapján számítják ki, milyen válasz vagy értelmezés lehet megfelelő.
Karen ma már az iskolában és a hétköznapokban is használja az alkalmazást: segít neki megtalálni a megfelelő termet, felismerni üzleteket, kiválasztani egy ruhát vagy tanulni. A rendszer célja éppen az, hogy olyan helyzetekben adjon több önállóságot, amelyekhez egy vak embernek korábban gyakran más segítségét kellett kérnie.
Az egész egy iskolai problémával kezdődött
A ScribeMe fejlesztője Karen bátyja, a 20 éves Mark Morad. Mark 2018-ban kezdett arra panaszkodni, hogy romlik a látása. Egyiptomban és külföldön is vizsgálták, de pontos diagnózist nem tudtak adni, azt állapították meg, hogy egy ritka, gyógyíthatatlan látóideg-betegség miatt idővel elveszíti a látását. Karen látása körülbelül fél év, Marké közel három év alatt tűnt el, 2021 végére pedig már egyikük sem látott.
Mark számára az egyik legnagyobb probléma az iskolában jelentkezett. A vak és gyengénlátó emberek által használt képernyőolvasók képesek felolvasni a megfelelően kialakított digitális szövegeket, menüpontokat és gombokat. Egy fizikaábrát vagy grafikont azonban nem lehet egyszerűen „felolvasni”, ha nincs hozzá megfelelő szöveges leírás. Mark ezért a természettudományos tárgyaknál sokszor másokra szorult, hogy elmagyarázzák neki, mi van a képen.
🧠 Miről is van szó pontosan?
Képernyőolvasó: Egy akadálymentesítő program, amely beszéddé vagy Braille-kijelzőn olvasható információvá alakítja azt, ami egy telefon vagy számítógép képernyőjén található. Szövegekkel nagyon jól működhet, egy megfelelő leírás nélküli kép, diagram vagy grafikon tartalmát azonban önmagában nem feltétlenül tudja közvetíteni.
Mark külföldi fejlesztőknek is írt, akik hasonló problémákkal foglalkoztak, de elmondása szerint nem kapott választ. Ekkor döntött úgy, hogy megpróbálja maga megoldani a problémát. Programozni kezdett tanulni, nagyrészt YouTube-oktatóvideók segítségével, és 2023-ra elkészült a ScribeMe első működő változata, amely még jóval egyszerűbb volt a mainál. PDF-eket és PowerPoint-prezentációkat dolgozott fel: kinyerte a bennük található szöveget, a képekhez pedig mesterséges intelligenciával készített leírást. Mark célja az volt, hogy ugyanahhoz az információhoz hozzáférjen, amelyet látó osztálytársai egyszerűen megnéznek a képernyőn.
Hirdetés
Ma már a körülöttünk lévő világot is leírja
A jelenlegi ScribeMe három alapvető feladatot kapcsol össze.
- A Smart Scan dokumentumokat, például PDF-eket és prezentációkat tesz hozzáférhetőbbé.
- A Snap & Scribe egy lefényképezett jelenetet, étlapot vagy címkét ír le.
- A Live Assist pedig élő kameraképet elemez, így a felhasználó beszélgethet az alkalmazással arról, ami éppen előtte van.
Ez utóbbihoz illeszkedik különösen jól egy okosszemüveg, mert ugyebár kamera nélkül ez a rendszer nem sokat ér. Az okosszemüveg kívülről hagyományos szemüvegre hasonlíthat, a keretébe azonban kamera, mikrofon, hangszóró és vezeték nélküli kapcsolat is kerülhet. A Meta ilyen szemüvegeivel például kéz használata nélkül lehet fényképet vagy videót készíteni, zenét hallgatni, telefonálni, üzeneteket kezelni vagy mesterséges intelligenciához beszélni.
A kamera nagyjából azt látja, amerre a viselője néz, az úgynevezett nyitott hangszórók pedig úgy adják át a választ, hogy közben a környezet hangjai is hallhatók maradnak. Egyes újabb modellek már kijelzőt is tartalmaznak, de a ScribeMe szempontjából a kamera, a mikrofon és a hangszóró a lényeg: ezek teszik lehetővé, hogy az MI „megnézze” a felhasználó előtti világot, majd szóban elmondja, mit érzékel.
Látássérült embernél ennek nagyon konkrét előnye lehet: a keze szabad marad például a fehér bot használatához.
A Meta az elmúlt időszakban kifejezetten fejleszteni kezdte az okosszemüvegek akadálymentesítési lehetőségeit, és külső fejlesztők számára is eszközöket biztosít olyan alkalmazások készítéséhez, amelyek a szemüveg kameráját használják. Vak és gyengénlátó felhasználóknál a cég példái között szerepel feliratok elolvasása, tárgyak felismerése és a környezet értelmezése is.
🧠 Miről is van szó pontosan?
Meta Platforms: Az amerikai technológiai vállalat, amelyhez többek között a Facebook, az Instagram és a WhatsApp tartozik. A cég az elmúlt években egyre nagyobb hangsúlyt helyezett a mesterséges intelligenciára, valamint az olyan viselhető eszközökre, amelyek az MI-t közvetlenül a hétköznapi használatba hozzák. Ide tartoznak a Meta okosszemüvegei is, amelyeket többek között a Ray-Ban és az Oakley márkákat is birtokló EssilorLuxotticával közösen fejleszt.
Több ezer emberhez jutott el
Mark fejlesztése 2024-ben megnyerte az egyiptomi Vodafone fogyatékossággal élő emberek számára készülő MI-eszközökre kiírt hackathonját, amelyen mintegy 200 csapat indult. A siker után társalapító csatlakozott hozzá, a projekt pedig tovább nőtt.
2026 augusztusában a ScribeMe-et már több ezer ember használja mintegy 140 országban.
Az alkalmazás iPhone-ra és Androidra is elérhető. Ingyenesen letölthető, de a komolyabb funkciókhoz fizetős csomagok tartoznak. Húsz nyelven működik, sajnos a magyar még nincs köztük, de a weboldal már elérhető magyarul, és ott vagyunk a tervezett támogatások listáján.
Az MI itt sem tévedhetetlen, erre fontos ügyelnünk
A ScribeMe látványos bemutatói könnyen kelthetik azt az érzést, hogy a mesterséges intelligencia valamiféle digitális látást ad a felhasználónak. A saját felhasználási feltételei ennél jóval óvatosabban fogalmaznak: az MI válaszai lehetnek pontatlanok, hiányosak vagy késhetnek, ezért a szolgáltatás nem helyettesíti az emberi döntést, és nem használható önálló navigációs vagy vészhelyzeti rendszerként.
Ez különösen fontos, amikor az alkalmazás már nem egy tankönyvi képet, hanem a valódi környezetet értelmezi. Egy rosszul felismert ruhaszín kellemetlen lehet, egy téves információ egy lépcsőről vagy más akadályról viszont veszélyes. A ScribeMe ezért segítségként határozza meg magát, nem a fehér bot, a vakvezető kutya vagy más bevált tájékozódási módszer helyettesítőjeként.
A Live Assist működéséhez a szolgáltatás helyadatokat is kérhet, köztük pontos GPS-helyzetet, amikor a funkció aktív. A ScribeMe szerint ezeket a valós idejű segítséghez és a tájékozódási funkciókhoz használja, marketingcélra saját ígérete szerint nem értékesíti őket.
Ezért ha el is érkezik hazánkba az alkalmazás napi használata a magyar nyelvű támogatással, ezeket mindenképpen érdemes lesz majd szem előtt tartani.
Hirdetés
- Legfrissebb
- Egy vak fiatal fejlesztett MI-appot, amely elmondja, mi történik a felhasználó körül
- Darts VR2: Bullseye teszt szülőknek
- Miért fontos, hogy a digitális klónok korában újraindult Robin Williams Instagram-oldala?
- Ha elfogy a szülő türelme, könnyebben előkerül a képernyő, de nem ez a legnagyobb baj
- A YouTube Premium megint drágul Magyarországon, a családi csomag ára fájdalmas határt lépett át
- Ingyen játék: két új ajándékot ad az Epic, de az egyiknél van egy fontos csavar
- A Meta korábbi biztonsági mérnöke szerint Zuckerberg hazudott a gyermekek biztonsága iránti aggodalmáról
- Reklámok jönnek a ChatGPT-be: mire készülj szülőként?
- Visszatérhet a Myspace, az oldal, amely egyszer már uralta a közösségi médiát
- Külön ChatGPT-t kapnak a tinédzserek, Magyarországon is elindul ez a gyermekvédelmi funkció