AIRE Klubi #44: Multimodaalne tehisintellekt ühendab erinevad andmed

sTARTUp Dayl peetud AIRE klubis selgitasid Martin Rebane (TI juht) ja Ida Maria Orula (TI arendaja) Tartu Teaduspargist Sparkupist multimodaalse tehisintellekti toimimist.

Algatuseks selgitasid esinejad olulise erinevuse traditsioonilise ja multimodaalse tehisintellekti vahel.

Traditsiooniline tehisintellekt töötab ühe modaalsusega, mis tähendab ühte sisendi tüüpi ja andmetöötlust.

Traditsiooniline TI:

• Ühe andmetüübi töötlus, kas siis pilt, tekst või heli.
• Selge fookus, näiteks tuvastamine või klassifitseerimine.
• Tähelepanu detailidel, suurepärane täpseks, fokusseeritud analüüsiks
• Kergem hallata, mis tähendab lihtsamat treenimist ja mõõtmist.
• Kiire, hea ja mugav kasutamiseks reaalajas.

Traditsioonilist tehisintellekti on hea kasutada kui on vaja kiireid ja täpseid vastuseid selge sisendi olemasolul.

Multimodaalne tehisintellekt

Multimodaalne tehisintellekt analüüsib mitut sisendit korraga, näiteks pilti, teksti ja heli koos.

Süsteem töötleb erinevaid andmetüüpe paralleelselt, seejärel integreerib need nn ühendamiskihi kaudu. Tulemuseks ei ole lihtsalt klassifitseerimine või tuvastamine, pigem on see arutlemine, otsuste tegemine ja põhjalik mõistmine.

Multimodaalse tehisintellekti tugevused:

• Töötleb pilti, teksti ja heli samaaegselt.
• Ühendamiskiht kombineerib teadmisi erinevatest modaalsustest.
• Genereerib vastuseid, otsuseid, ennustusi ja arutlusi.
• Mõistab olukordi mitmest perspektiivist ehk annab laiema konteksti.

Reaalsed rakendused tootmises

Sessioon tõi esile, et multimodaalne tehisintellektist on kõige enam on kasu tootmis- ja tööstuskeskkondades:

• Kvaliteedikontrolliks saab kombineerida visuaalset kontrolli muude andmetega
• Mustrite analüüsimine leidmaks anomaaliaid
• Otsuste tegemine erinevate andmete põhjal.

Multimodaalset tehisintellekti saaks kasutada termokaamerates, mis aitaks hinnata toodete visuaalset välimust läbi tavakaamerate ja hinnata temperatuuri jaotust tootes.

Selline ühendamine aitab püüda kinni defekte, mida ühe modaalsusega süsteemid jätaksid märkamata, näiteks tooted võivad näida visuaalselt korras, kuid neil on temperatuurikõikumine, mis võib viidata toote võimalikule ebakvaliteetsusele.

Võimekused alles arenevad

Kuulaja küsis, et kas multimodaalne tehisintellekt oskab lugeda kehakeelt? Sellele saab vastata, et see on arendamisel, ehk siis tehnoloogia püüab tõlgendada inimeste žeste, on see võimekus veel arenemisjärgus.