Prosessen med å utvikle produkt startet på høsten med å skrive prosjektoppgave. Her gikk hun aktivt inn med å undersøke arbeidstakere med funksjonshemminger.
– Jeg ønsket å utforske hvilken teknologi som allerede fantes der ute og og hvilke grupper av personer med nedsatt funksjonsevne forskningen har fokusert på tidligere, sier Karin.
Konklusjonen ble at hun ikke kunne lage en felles løsning, og valgte derfor å fokusere på døve.
– I litteraturen fant jeg at denne gruppen ofte har uforløst potensial i industrien, og at teknologiske løsninger kan bidra til at de kan delta trygt og effektivt i produksjonsmiljøer.
Montørarbeid ble valgt som case, både fordi dette er et relevant arbeidsområde for døve arbeidstakere, og fordi hun hadde tilgang til laboratoriefasiliteter og simuleringsmuligheter på campus.
– Etter den avgrensningen var satt arbeidet jeg med å identifisere hvilke smertepunkter som finnes for døve og hørselshemmede arbeidstakere i industrielle miljøer, sier Lie.
Lydløs kommunikasjon
Resultatet ble altså et system som ved hjelp av kunstig intelligens registrerer bevegelse. Oppfinnelsen har foreløpig ikke fått et navn, men omtales som Communication beyond sound i Lies masteroppgave. Prototypen består av:
• Et vibrerende belte drevet av datamaskinsyn varsler brukeren når noen nærmer seg fra venstre eller høyre, noe som øker sikkerheten og romforståelsen.
• En tale-til-tekst-modul basert på OpenAIs Whisper-modell som muliggjør transkribering i sanntid av muntlige instruksjoner i støyende omgivelser.
• Et nettbasert treningsgrensesnitt som gir oppgavestøtte uten behov for lyd- eller skriftlige instruksjoner.
Slik fungerer det
Et kamera blir satt opp bak brukeren som sitter og jobber. Kameraet sender da gjennom nettet videostrøm til datamaskinen man jobber med. Den bruker videoen til å finne mennesker eller objekter som er bak personen. Det slår da ut i det nevnte vibrator-beltet. Dette kameraet sender videostrøm over nettverket til en datamaskin foran personen.
På denne datamaskinen kjører en treningsmodul som hjelper brukeren med å utføre arbeidsoppgaver. Samtidig analyseres videostrømmen i bakgrunnen for å oppdage mennesker eller objekter som nærmer seg bakfra.
Når noe blir oppdaget, aktiveres vibrasjonsmotorer i et belte personen har på seg, og brukeren varsles med vibrasjon på den siden hvor bevegelsen skjer. Varslingen vises også visuelt på skjermen, slik at personen får både fysisk og visuell tilbakemelding
Engasjerte døveforbundet
Under testingen i datainnsamlingen var Lie nødt til å replikere hørselsnedsettelser ved hjelp av deltakere som brukte lydisolerte headset. Tidligere i høst kunne hun prøve ut teknologien fra representanter fra døveforbundet.
– Det var veldig spennende å kunne snakke med de som kan dra nytte av prototypen. Nå fikk jeg tilbakemeldinger med de som har den funksjonsnedsettingen. Selv om man setter et headset på noen, kan det aldri erstatte erfaringen til mennesker som faktisk lever med hørselsnedsettelse. Derfor var det veldig verdifullt å få innspill fra døvemiljøet.
Teknologien høstet gode tilbakemeldinger fra de som fikk prøvd den ut:
– Jeg fikk høre at det var behagelig å ha på vibratorene. Men at vi burde tenke mer på plasseringen på beltet, forteller hun.
– Ikke vanlig, men heller ikke uventet
Sotirios Panagou er førsteamanuensis ved institutt for maskinteknikk og produksjon. Han var og veileder til Karin på masteroppgaven. Han er ikke overrasket over den overveldende positive responsen hans masterstudent har fått på prosjektet.
– Det er ikke veldig vanlig, men heller ikke uventet i vårt fagmiljø. Vi har en sterk tradisjon om å prøve å oppfordre studentene våre til å utforske deres ideer så lenge de er grunnet i praktisk relevans, sier Panagou, og legger til:
– Karin gjorde en fantastisk jobb. Jeg er takknemlig for at jeg fikk gleden av å se hennes ideer og arbeid utarte seg til noe som kan bidra til kunnskap for en bedre verden, som tross alt er mottoet til NTNU.
Åpen kildekode
Lie håper at hun har vært med på å sette grunnmuren for kommende teknologi, men avkrefter at hun selv kommer til å medvirke på en eventuell fortsettelse.
– Akkurat nå har vi snakket med noen folk som har lyst til å ta dette her videre. Både jeg og min veileder, Sotirios Panagou, ønsker å ha prototypen som åpen kildekode, sier hun.
For de som skulle mistenke det ligger et kommersielt motiv i grunn, vil hun betrygge:
– Nei. Jeg har ingen planer om å ta patent på dette, ler Karin.
Karin Sofie Syversveen Lie er nå ferdig med mastergraden i prosjektutvikling på NTNU og jobber nå som systemutvikler hos Norkart. Oppgaven er skrevet som et bidrag til EU-prosjektet SkillAIbility.