E-ISSN: 2587-0351 | ISSN: 1300-2694
Rastgele ormanlardan kural çıkarmada küme bölüntüleme formülasyonlarının performans analizi [Pamukkale Univ Muh Bilim Derg]
Pamukkale Univ Muh Bilim Derg. 2021; 27(4): 513-519 | DOI: 10.5505/pajes.2020.05926

Rastgele ormanlardan kural çıkarmada küme bölüntüleme formülasyonlarının performans analizi

Mert Edali
Endüstri Mühendisliği Bölümü, Yıldız Teknik Üniversitesi, İstanbul

Rastgele Ormanlar farklı alanlardaki sınıflandırma ve regresyon problemleri için sıklıkla kullanılan bir yapay öğrenme algoritmasıdır. Yüksek başarım göstermelerine rağmen, yapıtaşları olan karar ağaçlarına kıyasla yorumlanabilirlikleri oldukça düşüktür. Her bir üyesinin bir karar ağacı olduğu gerçeğinden yola çıkarak, Rastgele Ormanlardan yorumlanabilir eğer-ise tipinde kurallar çıkarmak için farklı küme bölüntüleme formülasyonları öneriyoruz. Literatürde sıklıkla kullanılan sınıflandırma ve regresyon veri setleri üzerinde yaptığımız deneylerin sonuçları göstermektedir ki orijinal küme bölüntüleme model formülasyonu, başarımı kabul edilebilir seviyelerde tutarak kural sayısını önemli ölçüde düşürebilmektedir. Çıkarılan kural sayısını daha da düşürebilmek için problemin amaç fonksiyonuna bir değişiklik öneriyoruz. Bu değişiklikle birlikte, çıkarılan kural sayısında daha da düşüş gözlemlerken başarımın aynı seviyelerde kaldığını gözlemliyoruz. Küme bölüntüleme problemi
NP-zor olmasına rağmen, çoğu veri seti için yirmi dakika içinde en iyi çözümü buluyoruz.

Anahtar Kelimeler: Rastgele Ormanlar, Kural Çıkarma, Küme Bölüntüleme, Sınıflandırma, Regresyon, Yorumlanabilirlik

Performance analysis of set partitioning formulations on the rule extraction from random forests

Mert Edali
Department of Industrial Engineering, Yildiz Technical University, Istanbul

Random Forests is a widely used machine learning algorithm for classification and regression problems from different domains. Although they are generally accurate, their interpretability is low compared to their building blocks: single decision trees. Using the fact that each member of a Random Forest is a decision tree, we propose different set partitioning formulations to extract interpretable if-then rules from Random Forests. Our experiments on well-known classification and regression datasets show that the original set partitioning model formulation significantly reduces the number of rules while keeping the accuracy at acceptable levels. We also propose a modification to the problem's objective function, which aims to reduce the number of extracted rules further. We observe a further reduction in the number of extracted rules while the accuracy values stay nearly the same. Although the set partitioning problem is NP-hard, we obtain optimal results for most datasets within twenty minutes.

Keywords: Random Forests, Rule Extraction, Set Partitioning, Classification, Regression, Interpretability

Mert Edali. Performance analysis of set partitioning formulations on the rule extraction from random forests. Pamukkale Univ Muh Bilim Derg. 2021; 27(4): 513-519

Sorumlu Yazar: Mert Edali, Türkiye
LookUs & Online Makale