prikaz prve stranice dokumenta Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama
Pristup svim korisnicima iz sustava znanosti i visokog obrazovanja RH
diplomski rad
Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama
2021. urn:nbn:hr:179:263015
Ozretić, Veronika
Sveučilište u Splitu
Fakultet elektrotehnike, strojarstva i brodogradnje
Zavod za elektroniku i računarstvo

Citirajte ovaj rad

Ozretić, V. (2021). Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama (Diplomski rad). Split: Sveučilište u Splitu, Fakultet elektrotehnike, strojarstva i brodogradnje. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić, Veronika. "Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama." Diplomski rad, Sveučilište u Splitu, Fakultet elektrotehnike, strojarstva i brodogradnje, 2021. https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić, Veronika. "Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama." Diplomski rad, Sveučilište u Splitu, Fakultet elektrotehnike, strojarstva i brodogradnje, 2021. https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić, V. (2021). 'Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama', Diplomski rad, Sveučilište u Splitu, Fakultet elektrotehnike, strojarstva i brodogradnje, citirano: 28.10.2024., https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić V. Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama [Diplomski rad]. Split: Sveučilište u Splitu, Fakultet elektrotehnike, strojarstva i brodogradnje; 2021 [pristupljeno 28.10.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:179:263015

V. Ozretić, "Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama", Diplomski rad, Sveučilište u Splitu, Fakultet elektrotehnike, strojarstva i brodogradnje, Split, 2021. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:179:263015

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:179:263015
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovPregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama
Naslov (engleski)A review of activation functions used in convolutional neural networks
AutorVeronika Ozretić
MentorMaja Braović (mentor)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Splitu
Fakultet elektrotehnike, strojarstva i brodogradnje
(Zavod za elektroniku i računarstvo )
Split
Datum i država obrane2021-07-23, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Glavni zadatak ovog rada jest ostvariti pregled aktivacijskih funkcija u konvolucijskim neuronskim mrežama. To je ostvareno tako što je prvo dan kratki pregled strukture i načina rada konvolucijskih neuronskih mreža kako bi se stvorila podloga za predstavljanje aktivacijskih funkcija koje su se koristile tijekom izrade ovog rada. Aktivacijske funkcije koje su se koristile su: sigmoidalna funkcija, ReLU funkcija, tangentno-hiperbolična funkcija, softmax i swish funkcija. Nakon upoznavanja s konvolucijskim mrežama i matematičkim opisom aktivacijskih funkcija, dan je kratki pregled semantičke segmentacije. U sklopu pregleda semantičke segmentacije dan je kratki pregled U-net arhitekture konvolucijske mreže koja se koristila za potrebe ovog rada. Na kraju, u sklopu semantičke segmentacije spomenuti su i podaci kao jedan od najvažnijih dijelova strojnog učenja te su nabrojani najpopularniji skupovi podataka koji se koriste za potrebe treniranja modela semantičke segmentacije. Prije same usporedbe aktivacijskih funkcija, predstavljena je Keras biblioteka s funkcijama, klasama i njihovim argumentima koji su se koristili za potrebe ovog rada. Aktivacijske funkcije su analizirane tako što je prvo konstruirana i implementirana jednostavna konvolucijska neuronska mreža U-net arhitekture za semantičku klasifikaciju te se implementacija mreže vrtjela na proširenom skupu FESB MLID digitalne baze slika prirodnog krajolika kroz 500 epoha tijekom kojih su spremane težine veza za koje mreža bilježi najmanji validacijski gubitak. Rezultati izvođenja mreže sa svakom aktivacijskom funkcijom analizirani su na temelju parametara gubitka, validacijskog gubitka, točnosti, validacijske točnosti, vremena izvršavanja te parametra sekundi/koraku. Dobiveni rezultati su pokazali da ReLU i swish funkcija najčešće bilježe bolje rezultate u odnosu na ostale funkcije s tima da ReLU funkcija bilježi najbolje rezultate u parametrima vremena izvođenja i sekundi/koraku, dok bilježi lošije rezultate kod parametara validacijskog gubitka. S druge strane je pokazano da swish funkcija bilježi druge po redu najgore rezultate koji se tiču vremena izvršavanja i parametra sekundi/koraku, ali zato bilježi bolje rezultate gubitka, validacijskog gubitka i prosječne vrijednosti validacijske točnosti.
Sažetak (engleski)
Main task of this thesis is to achieve an overview of activation functions in convolutional neural networks. This was accomplished by first giving a brief overview of convolutional neural networks and mathematical description of activation functions used in convolutional neural networks. Activation functions used are sigmoid function, ReLU function, tanh function, softmax function and swish function. After brief overviews of CNNs and mathematical descriptions of activation functions, a brief overview of semantic segmentation. As a part of the review of semantic segmentation, a brief overview of U-net architecture of CNNs is given. Finally, as part of semantic segmentation, data is mentioned as one of the most important parts of machine learning and computer vision and the most popular data sets used for training semantic segmentation model are listed. Before comparing the activation functions, the Keras library is presented along with the functions, classes and their arguments that are used for the purposes of this thesis. Activation functions are analyzed by first constructing and implementing a simple CNN that is trained on the extended set of FESB mediterranean landscape image dataset over 500 epochs during which only the weights that cause the minimal validation loss are stored. The obtained results showed that the ReLU and swish functions usually record better results compared to other functions. ReLU function records the best results in the execution time and seconds/step, but therefore records worse results of validation loss. On the other hand, swish function records second worst results in terms of the execution time and seconds/step, but therefore records better results in loss, validation loss and average validation accuracy.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:179:263015
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag. ing. com.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaPristup svim korisnicima iz sustava znanosti i visokog obrazovanja RH
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2021-12-01 11:26:23