Naslov Unaprijeđena prirodna korisnička interakcija u paradigmi pametne okoline temeljena na metodama dubokog učenja Naslov (engleski) Advanced natural user interaction in a smart environment paradigm based on deep learning methods Autor Luka Kraljević Mentor Mladen Russo (mentor)Član povjerenstva Dinko Begušić (predsjednik povjerenstva)Član povjerenstva Nikola Rožić (član povjerenstva)Član povjerenstva Maja Matijašević (član povjerenstva)Član povjerenstva Marjan Sikora (član povjerenstva)Član povjerenstva Maja Stella (član povjerenstva)Ustanova koja je dodijelila Sveučilište u Splitu Datum i država obrane 2021-02-02, Hrvatska Znanstveno / umjetničko TEHNIČKE ZNANOSTI Univerzalna decimalna klasifikacijaUDC ) 621.3 - Elektrotehnika Sažetak Promatrajući pametnu okolinu ne samo iz aspekta integracije tehnološkog napretka u društvo već kao i novu računalnu paradigmu koja za cilj ima unaprjediti način interakcije čovjeka i računala, vidljivo je da ona u svojoj srži zahtjeva razradu novih koncepata korisničkih sučelja orijentiranih prema oblicima interakcije urođenih u ljudsko ponašanje. Razmatrajući govor, geste i emocije kao tri najvažnija faktora međuljudske interakcije, u ovoj doktorskoj disertaciji je predstavljen skup znanstvenih istraživanja čiji znanstveni doprinosi utječu na unaprjeđenje korisničke interakcije. Preglednim poglavljem ova disertacija adresira ključne faktore koji su pridonijeli razvoju područja prirodnih korisničkih sučelja. Kao rezultat istraživanja u području govornih sučelja u ovoj disertaciji predstavljena je nova metoda za lokalizaciju izvora zvuka u 3D prostoru. Simulacijskom i eksperimentalnom analizom utvrđeno je da se razvijena metoda može koristi za precizno pozicioniranje izvora zvuka u otvorenom prostoru, a time ujedno predstavlja temelj za poboljšanje performansi govornog sučelja u uvjetima udaljenog snimanja. U kontekstu unaprjeđenja sučelja temeljenog na gestama, predložen je novi sustav za prepoznavanje dinamičkih gesti temeljen na algoritmu dubokog učenja gdje se kroz praktičnu provedbu na prepoznavanju hrvatskog znakovnog jezika pokazala
mogućnost interakcije s pametnom okolinom. U sklopu istraživanja usmjerenim na afektivna sučelja, u ovoj disertaciji predložena je također i nova metoda za prepoznavanje emocija u glazbi koja se temelji na obradi audio signala realističnim biofizičkim modelom pužnice u svrhu generiranja vjernog prikaza ljudskog slušnog spektrogram te upotrebom konvolucijske neuralne mreže za ekstrakciju novih vrsta značajki. Analiza performansi na javno dostupnoj bazi potvrdila je izvrsne rezultate implicirajući pritom da se razvijeni sustav može koristiti za efikasno pretraživanje i organizaciju glazbenih datoteka na temelju emocionalnih
vrijednosti. Predočene metode, znanstveni doprinosi kao i rezultati cjelokupnog istraživanja u području prirodnih korisničkih sučelja zajedno tvore novi znanstveni doprinos u smislu unaprjeđenja korisničke interakcije u pametnoj okolini.
Sažetak (engleski) Thinking of the smart environment not just only as of the integration of technological progress into society but also as a new computing paradigm aimed at reforming the way humans and computers interact, it is apparent that it requires the elaboration of new user interface concepts oriented towards forms of interaction innate to human behavior. Regarding speech, gestures, and emotions as the three most crucial interpersonal interaction factors, this doctoral dissertation presents a set of scientific research whose scientific contributions directly influence user interactions. With a given review chapter, this dissertation addresses the key factors contributing to the development of natural user interfaces. As a result of research in speech interfaces, a new method for sound source localization in 3D space was presented in this dissertation. Simulation and experimental analysis of the proposed approach showed that the method could precisely estimate the position of the sources in the free- field, and as such, it represents the basis for improving the performance of the speech interface in distant speech recognition. In the context of improved gesture-based interfaces, a new system for recognizing
dynamic gestures was proposed based on a deep learning algorithm. Through practical implementation on the recognition of Croatian sign language, the possibility of interaction with a smart environment was demonstrated. As part of the research focused on affective interfaces, in this dissertation, a new method for recognizing emotions in music has also been proposed based on processing audio signals by a detailed biophysical cochlear model to generate an accurate representation of the human auditory spectrogram and use a convolutional neural network to extract new types of features. The presented methods, scientific contributions, and the results of the research in the field of natural user interfaces together form a new scientific contribution in improving user interaction in a smart environment.
Ključne riječi
pametna okolina
prirodno korisničko sučelje
duboko učenje
automatsko prepoznavanje govora
lokalizacija izvora zvuka
prepoznavanje dinamičkih gesti
prepoznavanje emocija u glazbi
Ključne riječi (engleski)
smart environment
natural user interface
deep learning
automatic speech recognition
sound source localization
dynamic gesture recognition
emotion recognition in music
Jezik hrvatski URN:NBN urn:nbn:hr:179:582571 Datum promocije 2022 Projekt Šifra: UIP-2014-09-3875 Projekt Šifra: DOK-2015-10 Studijski program Naziv: Elektrotehnika i informacijska tehnologija Vrsta resursa Tekst Opseg 103 str. Način izrade datoteke Izvorno digitalna Prava pristupa Pristup korisnicima matične ustanove Uvjeti korištenja Datum i vrijeme pohrane 2022-02-28 11:34:25
