Bu tez çalışmasında, yeni bir yapay sinir ağı (YSA) yaklaşımı olarak, gizli katman düğümlerinde serbest parametreli adaptif aktivasyon fonksiyonu kullanan adaptif aktivasyon fonksiyonlu YSA (AAFYSA) algoritması tasarlanmıştır. Tasarımı yapılan bu algoritma geliştirilmiş, Matlab programlama dili ile üç tane AAFYSA modellerinin (AAFYSA-1, AAFYSA-2 ve AAFYSA-3) ve geleneksel çok katmanlı YSA (ÇKYSA) algoritmasının yazılımı gerçekleştirilmiştir. ÇKYSA yazılımının yapılmasında AAFYSA ile eşit koşullarda karşılaştırma amaçlanmıştır. AAFYSA ve ÇKYSA yazılımlarının gerçekleştirilmesinde, YSA formülasyonlarına uygun biçimde yeniden komutlar ve fonksiyonlar oluşturularak programları yazılmıştır. AAFYSA modelleri arasındaki fark gizli katmanlarında kullanılan adaptif aktivasyon fonksiyonlarıdır. AAFYSA-1 modelinin gizli katman düğümlerinde serbest parametreli sigmoid fonksiyonu, AAFYSA-2 modelinin gizli katman düğümlerinde ise serbest parametreli sigmoid fonksiyonu ile serbest parametreli sinüs fonksiyonunun toplamı kullanılmıştır. Morlet dalgacık fonksiyonuna serbest parametreler ekleyerek YSA'nın aktivasyon fonksiyonu olarak kullanma fikri ilk defa bu çalışmada ileri sürülerek AAFYSA-3 modelinin gizli katman düğümlerinde kullanılmıştır. Geliştirilen YSA'lar öğrenme açısından karşılaştırıldığında ağ bilgileri, geleneksel ÇKYSA'da ağırlık vektörlerinde saklanırken AAFYSA'da hem ağırlık vektörlerinde hem de aktivasyon fonksiyonunun serbest parametrelerinde saklanmaktadır. Tasarlanıp geliştirilen ve yazılımları yapılan AAFYSA modelleri ve geleneksel ÇKYSA modeli sınıflama problemlerine uygulanmıştır. Uygulamaya ilk olarak, standart bir problem olarak kabul edilen XOR problemiyle başlanmış, daha sonra, AAFYSA modelleri ile ilk defa EKG ve EEG verilerinin sınıflandırılması problemleri üzerinde durulmuştur. Ayrıca EEG verilerinde özellik çıkartılmasının AAFYSA başarısına etkisi araştırılmıştır. Yapılan uygulamalarda, genelde % 99.9 eğitme başarısı hem ÇKYSA hem de AAFYSA modelleri için elde edilmiştir. Fakat AAFYSA kullanıldığı zaman, ağın eğitme zamanının ve iterasyon sayısının geleneksel ÇKYSA'ya göre daha az olduğu görülmüştür. Ayrıca, aynı eğitme ve test başarısına AAFYSA'nın gizli katmanında daha az düğüm sayısı ile ulaşılabilmiştir. Sonuç olarak AAFYSA'nın ÇKYSA'ya göre hedefe daha iyi ve hızlı yakınsadığı, bunda da aktivasyon fonksiyonunun adaptif olmasının etkili olduğu gözlenmiştir.
In this study, a neural network (NN) algorithm was proposed as a new neural network approach in which free parameter adaptive activation function (NNAAF) is used. The designed algorithm was developed to obtain three NNAAF?s and for comparison, traditional multi layer NN (MLNN) models via MATLAB programming language. New commands and functions were implemented in NN formulations in developing the models. NNAAF models differ from each other in their adaptive activation functions of hidden layers. Free parameter sigmoid function was used in hidden layer neurons of NNAAF-1 model, while free parameter sinus function was used additionally in NNAAF-2. In the third model (NNAAF-3) activation function was obtained by inserting free parameters into Morlet wavelet function, which was first applied in this study. Comparison of the developed models in terms of learning mechanism indicated that network information is kept in weight vectors in traditional MLNN, while it is kept in both weight vectors and in free parameters of activation function in NNAAF?s. The developed models were applied to different types of classification problems including XOR problem, as a standard classification, ECG and EEG signals. Additionally, effects of feature extraction on NNAAF performance were studied for EEG data. For all models, about 99.9% training performance was achieved. NNAAF models decreased training time and number of iterations considerably as compared to traditional MLNN model. Furthermore, the same training and test performance was achieved with less number of neurons in hidden layer of NNAAF. As a result, it was observed that NNAAF converges to the target better and faster than MLNN mainly due to its adaptive activation function.
