Yorumlanabilir makine öğrenmesinin güvenilirliği üzerine karşılaştırmalı bir analiz
Mustafa Yıldırım1, Feyza Yıldırım Okay1, Suat Özdemir21Gazi Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Ana Bilim Dalı, Ankara, Türkiye2Hacettepe Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Ana Bilim Dalı, Ankara, Türkiye
Makine Öğrenmesi (ML) modellerinde genellikle doğruluk ve yorumlanabilirlik arasında bir denge vardır. Model daha karmaşık hale geldikçe, genellikle doğruluk artar ve yorumlanabilirlik azalır. Yorumlanabilir Makine Öğrenimi (IML) yöntemleri karmaşık ML modellerinin doğruluğunu korurken yorumlanabilirliğini sağlamak için ortaya çıkmıştır. Böylece, öznitelik önemi belirlenirken doğruluk sabit kalır. Bu çalışmada, SHAP ve ELI5 gibi agnostik IML yöntemleri ile içsel IML yöntemleri ve özellik seçimi (FS) yöntemlerinin öznitelik seçimi benzerliği açısından karşılaştırılmasını amaçlıyoruz. Ayrıca agnostik IML modellerini (SHAP, LIME ve ELI5) yerel öznitelik seçiminin benzerliği açısından kendi aralarında karşılaştırıyoruz. Şirket temerrüdünü tahmin etmek için hem genel hem de özel veri kümeleri üzerinde deneysel çalışmalar yapılmıştır. Elde edilen sonuçlara göre, bu çalışma öznitelik seçiminde içsel IML yöntemleri ve FS yöntemlerine kıyasla %86’ya kadar benzerlikler göstererek agnostik IML yöntemlerinin güvenilirliğini doğrulamaktadır. Ek olarak, bazı agnostik IML yöntemleri, modelleri yerel örnekler için de yorumlayabilmektedir. Sonuçlar, agnostik IML modellerinin, yüksek doğruluğu korurken genel ve yerel yorumlanabilirlik sağlamak için karmaşık ML modellerinde uygulanabileceğini göstermektedir.
Anahtar Kelimeler: Yorumlanabilir makine öğrenmesi, temerrüt tahmini, güvenilirlik, Jaccard dizin benzerliği, öznitelik seçimiA comparative analysis on the reliability of interpretable machine learning
Mustafa Yıldırım1, Feyza Yıldırım Okay1, Suat Özdemir21Gazi University, Engineering Faculty, Computer Engineering Department, Ankara, Turkey2Hacettepe University, Engineering Faculty, Computer Engineering Department, Ankara, Turkey
There is often a trade-off between accuracy and interpretability in Machine Learning (ML) models. As the model becomes more complex, generally the accuracy increases and the interpretability decreases. Interpretable Machine Learning (IML) methods have emerged to provide the interpretability of complex ML models while maintaining accuracy. Thus, accuracy remains constant while determining feature importance. In this study, we aim to compare agnostic IML methods including SHAP and ELI5 with the intrinsic IML methods and Feature Selection (FS) methods in terms of the similarity of attribute selection. Also, we compare agnostic IML models (SHAP, LIME, and ELI5) among each other in terms of similarity of local attribute selection. Experimental studies have been conducted on both general and private datasets to predict company default. According to the obtained results, this study confirms the reliability of agnostic IML methods by demonstrating similarities of up to 86% in the selection of attributes compared to intrinsic IML methods and FS methods. Additionally, certain agnostic IML methods can interpret models for local instances. The findings indicate that agnostic IML models can be applied in complex ML models to offer both global and local interpretability while maintaining high accuracy.
Keywords: Interpretable machine learning, default prediction, reliability, Jaccard index similarity, feature selectionMakale Dili: İngilizce