prikaz prve stranice dokumenta Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama
Access restricted to authenticated users
master's thesis
Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama
2021. urn:nbn:hr:179:263015
Ozretić, Veronika
University of Split
Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture
Department of Electronics and Computing

Cite this document

Ozretić, V. (2021). Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama (Master's thesis). Split: University of Split, Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture. Retrieved from https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić, Veronika. "Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama." Master's thesis, University of Split, Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture, 2021. https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić, Veronika. "Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama." Master's thesis, University of Split, Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture, 2021. https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić, V. (2021). 'Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama', Master's thesis, University of Split, Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture, accessed 19 April 2024, https://urn.nsk.hr/urn:nbn:hr:179:263015

Ozretić V. Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama [Master's thesis]. Split: University of Split, Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture; 2021 [cited 2024 April 19] Available at: https://urn.nsk.hr/urn:nbn:hr:179:263015

V. Ozretić, "Pregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama", Master's thesis, University of Split, Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture, Split, 2021. Available at: https://urn.nsk.hr/urn:nbn:hr:179:263015

Please login to the repository to save this object to your list.
Metadata
TitlePregled aktivacijskih funkcija u konvolucijskim neuralnim mrežama
Title (english)A review of activation functions used in convolutional neural networks
AuthorVeronika Ozretić
MentorMaja Braović (mentor)
GranterUniversity of Split
Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture
(Department of Electronics and Computing)
Split
Defense date and country2021-07-23, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Glavni zadatak ovog rada jest ostvariti pregled aktivacijskih funkcija u konvolucijskim neuronskim mrežama. To je ostvareno tako što je prvo dan kratki pregled strukture i načina rada konvolucijskih neuronskih mreža kako bi se stvorila podloga za predstavljanje aktivacijskih funkcija koje su se koristile tijekom izrade ovog rada. Aktivacijske funkcije koje su se koristile su: sigmoidalna funkcija, ReLU funkcija, tangentno-hiperbolična funkcija, softmax i swish funkcija. Nakon upoznavanja s konvolucijskim mrežama i matematičkim opisom aktivacijskih funkcija, dan je kratki pregled semantičke segmentacije. U sklopu pregleda semantičke segmentacije dan je kratki pregled U-net arhitekture konvolucijske mreže koja se koristila za potrebe ovog rada. Na kraju, u sklopu semantičke segmentacije spomenuti su i podaci kao jedan od najvažnijih dijelova strojnog učenja te su nabrojani najpopularniji skupovi podataka koji se koriste za potrebe treniranja modela semantičke segmentacije. Prije same usporedbe aktivacijskih funkcija, predstavljena je Keras biblioteka s funkcijama, klasama i njihovim argumentima koji su se koristili za potrebe ovog rada. Aktivacijske funkcije su analizirane tako što je prvo konstruirana i implementirana jednostavna konvolucijska neuronska mreža U-net arhitekture za semantičku klasifikaciju te se implementacija mreže vrtjela na proširenom skupu FESB MLID digitalne baze slika prirodnog krajolika kroz 500 epoha tijekom kojih su spremane težine veza za koje mreža bilježi najmanji validacijski gubitak. Rezultati izvođenja mreže sa svakom aktivacijskom funkcijom analizirani su na temelju parametara gubitka, validacijskog gubitka, točnosti, validacijske točnosti, vremena izvršavanja te parametra sekundi/koraku. Dobiveni rezultati su pokazali da ReLU i swish funkcija najčešće bilježe bolje rezultate u odnosu na ostale funkcije s tima da ReLU funkcija bilježi najbolje rezultate u parametrima vremena izvođenja i sekundi/koraku, dok bilježi lošije rezultate kod parametara validacijskog gubitka. S druge strane je pokazano da swish funkcija bilježi druge po redu najgore rezultate koji se tiču vremena izvršavanja i parametra sekundi/koraku, ali zato bilježi bolje rezultate gubitka, validacijskog gubitka i prosječne vrijednosti validacijske točnosti.
Abstract (english)
Main task of this thesis is to achieve an overview of activation functions in convolutional neural networks. This was accomplished by first giving a brief overview of convolutional neural networks and mathematical description of activation functions used in convolutional neural networks. Activation functions used are sigmoid function, ReLU function, tanh function, softmax function and swish function. After brief overviews of CNNs and mathematical descriptions of activation functions, a brief overview of semantic segmentation. As a part of the review of semantic segmentation, a brief overview of U-net architecture of CNNs is given. Finally, as part of semantic segmentation, data is mentioned as one of the most important parts of machine learning and computer vision and the most popular data sets used for training semantic segmentation model are listed. Before comparing the activation functions, the Keras library is presented along with the functions, classes and their arguments that are used for the purposes of this thesis. Activation functions are analyzed by first constructing and implementing a simple CNN that is trained on the extended set of FESB mediterranean landscape image dataset over 500 epochs during which only the weights that cause the minimal validation loss are stored. The obtained results showed that the ReLU and swish functions usually record better results compared to other functions. ReLU function records the best results in the execution time and seconds/step, but therefore records worse results of validation loss. On the other hand, swish function records second worst results in terms of the execution time and seconds/step, but therefore records better results in loss, validation loss and average validation accuracy.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:179:263015
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsAccess restricted to authenticated users
Terms of useLicence In copyright icon
Created on2021-12-01 11:26:23