Pamukkale Univ Muh Bilim Derg. Ahead of Print: PAJES-49473 | DOI: 10.5505/pajes.2023.49473

A Comparative Analysis on the Reliability of Interpretable Machine Learning

Mustafa YILDIRIM¹, Feyza Yýldýrým Okay¹, Suat Ozdemir^2
1Gazi University, Engineering Faculty, Computer Engineering Department, Ankara, Turkey
²Hacettepe University, Engineering Faculty, Computer Engineering Department, Ankara, Turkey

There is often a trade-off between accuracy and interpretability in Machine Learning (ML) models. As the model becomes more complex, generally the accuracy increases and the interpretability decreases. Interpretable Machine Learning (IML) methods have emerged to provide the interpretability of complex ML models while maintaining accuracy. Thus, accuracy remains constant while determining feature importance. In this study, we aim to compare agnostic IML methods including SHAP and ELI5 with the intrinsic IML methods and Feature Selection (FS) methods in terms of the similarity of attribute selection. Also, we compare agnostic IML models (SHAP, LIME, and ELI5) among each other in terms of similarity of local attribute selection. Experimental studies have been conducted on both general and private datasets to predict company default. According to the obtained results, this study confirms the reliability of agnostic IML methods by demonstrating similarities of up to 86% in the selection of attributes compared to intrinsic IML methods and FS methods. Additionally, certain agnostic IML methods can interpret models for local instances. The findings indicate that agnostic IML models can be applied in complex ML models to offer both global and local interpretability while maintaining high accuracy.

Keywords: Interpretable machine learning, default prediction, reliability, Jaccard index similarity, feature selection

---

Yorumlanabilir Makine Öðrenmesinin Güvenilirliði Üzerine Karþýlaþtýrmalý Bir Analiz

Mustafa YILDIRIM¹, Feyza Yýldýrým Okay¹, Suat Ozdemir^2
1Gazi Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliði Ana Bilim Dalý, Ankara, Türkiye
²Hacettepe Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliði Ana Bilim Dalý, Ankara, Türkiye

Makine Öðrenmesi (ML) modellerinde genellikle doðruluk ve yorumlanabilirlik arasýnda bir denge vardýr. Model daha karmaþýk hale geldikçe, genellikle doðruluk artar ve yorumlanabilirlik azalýr. Yorumlanabilir Makine Öðrenimi (IML) yöntemleri karmaþýk ML modellerinin doðruluðunu korurken yorumlanabilirliðini saðlamak için ortaya çýkmýþtýr. Böylece, öznitelik önemi belirlenirken doðruluk sabit kalýr. Bu çalýþmada, SHAP ve ELI5 gibi agnostik IML yöntemleri ile içsel IML yöntemleri ve özellik seçimi (FS) yöntemlerinin öznitelik seçimi benzerliði açýsýndan karþýlaþtýrýlmasýný amaçlýyoruz. Ayrýca agnostik IML modellerini (SHAP, LIME ve ELI5) yerel öznitelik seçiminin benzerliði açýsýndan kendi aralarýnda karþýlaþtýrýyoruz. Þirket temerrüdünü tahmin etmek için hem genel hem de özel veri kümeleri üzerinde deneysel çalýþmalar yapýlmýþtýr. Elde edilen sonuçlara göre, bu çalýþma öznitelik seçiminde içsel IML yöntemleri ve FS yöntemlerine kýyasla %86’ya kadar benzerlikler göstererek agnostik IML yöntemlerinin güvenilirliðini doðrulamaktadýr. Ek olarak, bazý agnostik IML yöntemleri, modelleri yerel örnekler için de yorumlayabilmektedir. Sonuçlar, agnostik IML modellerinin, yüksek doðruluðu korurken genel ve yerel yorumlanabilirlik saðlamak için karmaþýk ML modellerinde uygulanabileceðini göstermektedir.

Anahtar Kelimeler: Yorumlanabilir makine öðrenmesi, temerrüt tahmini, güvenilirlik, Jaccard dizin benzerliði, öznitelik seçimi

---