Pamukkale Univ Muh Bilim Derg. Ahead of Print: PAJES-40072 | DOI: 10.5505/pajes.2023.40072

Performance Comparison of Data Balancing Techniques on Hate Speech Detection in Turkish

Habibe Karayiðit¹, Ali Akdagli², Çiðdem ACI^3
1Ministry Of National Education, Adana, Turkey
²Department Of Electrical And Electronics Engineering, Mersin University, Mersin, Turkey
³Department Of Computer Engineering, Mersin University, Mersin, Turkey

Increasing hate speech on social media platforms causes psychological disorders and deep and negative effects. Automatic language classification models are needed to detect hate speech. When testing language models for hate speech, imbalanced datasets where one data class is represented much more frequently than the other can be a problem in language datasets. When the dataset is imbalanced, the classifier may be biased towards the majority class and may not perform well in the minority class. This can lead to incorrect or unreliable classification results. To solve this problem, data level balancing methods such as oversampling or undersampling are used to balance the class distribution before classifying the dataset. This study, it is aimed to achieve a successful classification model combination that detects hate speech by using data-level balancing methods. For this, a comprehensive study was carried out by applying the balancing method at eight data levels (random oversampling, Synthetic Minority Oversampling Technique (SMOTE), K-means SMOTE, Localized Random Affine Shadow Sample (LoRAS), Text-based Generative Adversarial Network (TextGAN), Nearmiss, Tomek Links ve Clustering-based) to the Abusive Turkish Comments (ATC) dataset, which has an imbalanced distribution of labels, obtained from Instagram. Classification performances of data level balancing methods were evaluated with Basic Machine Learning (BML) and Convolutional Neural Network (CNN) methods. It has been observed that the CBoW+CNN model based on the TextGAN data-level balancing method, as well as the Skip-gram CNN model, exhibited the best classification performance with a Macro-Averaged F1 score of 0.972.

Keywords: Data balancing, Social media, Machine learning, Deep learning, Natural language processing, Hate speech

---

Türkçe Nefret Söylemi Tespitinde Veri Dengeleme Tekniklerinin Performans Karþýlaþtýrmasý

Habibe Karayiðit¹, Ali Akdagli², Çiðdem ACI^3
1Milli Eðitim Bakanlýðý, Adana, Türkiye
²Mersin Üniversitesi, Elektrik-elektronik Mühendisliði Bölümü, Mersin, Türkiye
³Mersin Üniversitesi, Bilgisayar Mühendisliði Bölümü, Mersin, Türkiye

Sosyal medya platformlarýnda artan nefret söylemleri, psikolojik rahatsýzlýklara, derin ve olumsuz etkilere neden olmaktadýr. Nefret söylemlerini tespit etmek için otomatik dil sýnýflandýrma modellerine ihtiyaç vardýr. Nefret söylemleri için dil modelleri test edilirken, bir veri sýnýfýnýn diðerinden çok daha sýk temsil edildiði dengesiz veri kümeleri dil verilerinde sorun teþkil edebilir. Veri kümesi dengesiz daðýlýma sahip olduðunda, sýnýflandýrýcý çoðunluk sýnýfýna yönelik önyargýlý olabilir ve azýnlýk sýnýfýnda iyi performans göstermeyebilir. Bu, yanlýþ veya güvenilmez sýnýflandýrma sonuçlarýna yol açabilir. Bu sorunu çözmek için veri kümesi sýnýflandýrýlmadan önce oversampling veya undersampling gibi veri düzeyi dengeleme yöntemleri ile veri sýnýflarý dengelenir. Bu çalýþmada, veri düzeyi dengeleme yöntemleri kullanýlarak nefret söylemini tespit eden baþarýlý bir sýnýflandýrma modeli kombinasyonu elde etmek amaçlanmaktadýr. Bu amaçla, Instagram'dan elde edilmiþ dengesiz etiket daðýlýmýna sahip Abusive Turkish Comments (ATC) veri kümesine sekiz veri düzeyinde (rastgele oversampling, Synthetic Minority Oversampling Technique (SMOTE), K-means SMOTE, Localized Random Affine Shadow Sample (LoRAS), Text-based Generative Adversarial Network (TextGAN), Nearmiss, Tomek Links ve Clustering-based) dengeleme yöntemi uygulanarak kapsamlý bir çalýþma yapýlmýþtýr. Veri düzeyi dengeleme yöntemlerinin sýnýflandýrma performanslarý Basic Machine Learning (BML) ve Convolutional Neural Network (CNN) yöntemleriyle deðerlendirilmiþtir. TextGAN veri düzeyi dengeleme yöntemine dayalý CBoW+CNN modelinin ve Skip-gram CNN modelinin 0,972 Makro Ortalamalý F1 puaný ile en iyi sýnýflandýrma performansýný sergilediði görülmüþtür.

Anahtar Kelimeler: Veri dengeleme, Sosyal medya, Makine öðrenmesi, Derin öðrenme, Doðal dil iþleme, Nefret söylemi

---