İleri Beslemeli Yapay Sinir Ağları için Donanım Uygulamasına Yatkın Çevrimiçi ELM Tabanlı Eğitim Algoritması
Önder Polat1, Sema Koç Kayhan2*
1Gaziantep Üniversitesi, Gaziantep, Türkiye
2Gaziantep Üniversitesi, Gaziantep, Türkiye
* Corresponding author: skoc@gantep.edu.tr
Presented at the Cognitive Models and Artificial Intelligence Conference (BMYZ2023), Ankara, Türkiye, Oct 26, 2023
SETSCI Conference Proceedings, 2023, 15, Page (s): 27-32 , https://doi.org/10.36287/setsci.6.1.013
Published Date: 29 December 2023
Bu bildiride, ileri beslemeli tek gizli katmanlı yapay sinir ağları için donanım uygulamasına uyumlu olan ve seyrek düzenlileştirilmiş bir aşırı öğrenme makinası (ELM) algoritması sunulmaktadır. Önerilen algoritma, düzenlileştirme için genelleştirilmiş minimaks konkav (GMC) ceza fonksiyonuna dayanmakta ve matris tersi alma veya norm hesaplaması gibi donanım mimarisi için karmaşıklığı arttıracak matematiksel işlemleri içermemektedir. Önerilen algoritma, çevrimiçi sıralı ELM (OS-ELM) algoritmasına benzer olarak, çevrimiçi öğrenmeyi destekleyecek şekilde değiştirilmiştir. Önerilen algoritma, UCI makine öğrenmesi veri deposundan alınan veri kümeleri ile test edilmiş ve genel olarak daha yüksek seyreklik seviyelerine ulaşmıştır. OS-ELM algoritmasına göre genellikle daha iyi sonuçlar vermiştir. Ek olarak, düzenlileştirme ile artan seyreklik seviyeleri sayesinde, önerilen algoritma yapay sinir ağından gereksiz değişkenleri elemekte ve test verileri için tahmin doğruluğunu artırmaktadır.
Keywords - Yapay Sinir Ağı, Çevrimiçi makine öğrenmesi, ELM, Donanım uygulaması
G. B. Huang, H. Zhou, X. Ding, ve R. Zhang, “Extreme Learning Machine for Regression and Multiclass Classification”, IEEE Trans. Syst. Man Cybern. Part B Cybern., c. 42, sy 2, ss. 513-529, Nis. 2012, doi: 10.1109/TSMCB.2011.2168604.
G.-B. Huang, D. H. Wang, ve Y. Lan, “Extreme learning machines: a survey”, Int. J. Mach. Learn. Cybern., c. 2, sy 2, ss. 107-122, Haz. 2011, doi: 10.1007/s13042-011-0019-y.
G.-B. Huang, Q.-Y. Zhu, ve C.-K. Siew, “Extreme learning machine: Theory and applications”, Neurocomputing, c. 70, sy 1, ss. 489-501, Ara. 2006, doi: 10.1016/j.neucom.2005.12.126.
Yoan Miche, A. Sorjamaa, P. Bas, O. Simula, C. Jutten, ve A. Lendasse, “OP-ELM: Optimally Pruned Extreme Learning Machine”, IEEE Trans. Neural Netw., c. 21, sy 1, ss. 158-162, Oca. 2010, doi: 10.1109/TNN.2009.2036259.
B. Efron, T. Hastie, I. Johnstone, ve R. Tibshirani, “Least angle regression”, Ann. Stat., c. 32, sy 2, ss. 407-499, Nis. 2004, doi: 10.1214/009053604000000067.
H.-J. Rong, Y.-S. Ong, A.-H. Tan, ve Z. Zhu, “A fast pruned-extreme learning machine for classification problem”, Neurocomputing, c. 72, sy 1-3, ss. 359-366, Ara. 2008, doi: 10.1016/j.neucom.2008.01.005.
Z. Shao, M. J. Er, ve N. Wang, “An Efficient Leave-One-Out Cross-Validation-Based Extreme Learning Machine (ELOO-ELM) With Minimal User Intervention”, IEEE Trans. Cybern., c. 46, sy 8, ss. 1939-1951, Ağu. 2016, doi: 10.1109/TCYB.2015.2458177.
Y. Miche, M. van Heeswijk, P. Bas, O. Simula, ve A. Lendasse, “TROP-ELM: A double-regularized ELM using LARS and Tikhonov regularization”, Neurocomputing, c. 74, sy 16, ss. 2413-2421, Eyl. 2011, doi: 10.1016/j.neucom.2010.12.042.
Ö. Polat ve S. K. Kayhan, “GPU-accelerated and mixed norm regularized online extreme learning machine”, Concurr. Comput. Pract. Exp., c. 34, sy 15, s. e6967, 2022, doi: 10.1002/cpe.6967.
H. T. Huynh ve Y. Won, “Regularized online sequential learning algorithm for single-hidden layer feedforward neural networks”, Pattern Recognit. Lett., c. 32, sy 14, ss. 1930-1935, Eki. 2011, doi: 10.1016/j.patrec.2011.07.016.
Z. Shao ve M. J. Er, “An online sequential learning algorithm for regularized Extreme Learning Machine”, Neurocomputing, c. 173, ss. 778-788, Oca. 2016, doi: 10.1016/j.neucom.2015.08.029.
T. Song, D. Li, Z. Liu, ve W. Yang, “Online ADMM-Based Extreme Learning Machine for Sparse Supervised Learning”, IEEE Access, c. 7, ss. 64533-64544, 2019, doi: 10.1109/ACCESS.2019.2915970.
C.-H. Zhang ve J. Huang, “The sparsity and bias of the Lasso selection in high-dimensional linear regression”, Ann. Stat., c. 36, sy 4, ss. 1567-1594, Ağu. 2008, doi: 10.1214/07-AOS520.
“A Survey on Nonconvex Regularization-Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning | IEEE Journals & Magazine | IEEE Xplore”. Erişim: 11 Ekim 2023. [Çevrimiçi]. Erişim adresi: https://ieeexplore.ieee.org/document/8531588
C.-H. Zhang, “Nearly unbiased variable selection under minimax concave penalty”, Ann. Stat., c. 38, sy 2, ss. 894-942, Nis. 2010, doi: 10.1214/09-AOS729.
I. Selesnick, “Sparse Regularization via Convex Analysis”, IEEE Trans. Signal Process., c. 65, sy 17, ss. 4481-4494, Eyl. 2017, doi: 10.1109/TSP.2017.2711501.
H. H. Bauschke ve P. L. Combettes, Convex Analysis and Monotone Operator Theory in Hilbert Spaces. içinde CMS Books in Mathematics. New York, NY: Springer, 2011. doi: 10.1007/978-1-4419-9467-7.
“Citation - UCI Machine Learning Repository”. Erişim: 11 Ekim 2023. [Çevrimiçi]. Erişim adresi: https://archive-beta.ics.uci.edu/citation
|
This is an Open Access article distributed under the terms of the Creative Commons Attribution License 4.0, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. |