A comparative analysis of text classification for Turkish language

Text categorization plays important role in the field of Natural Language Processing. Recently, the rapid growth in the amount of textual data and requirement of automatic annotation makes the problem of text categorization more important. As a prominent one of the traditional methods, the bag-of-words approach has been successfully applied to text categorization problem for years. Recently, Neural Network Language Models (NNLM) have achieved successful results for various problems of Natural Language Processing (NLP). The most important advantage of the NNLM is to provide effective word and document representations. Those representations are lower dimensional and are found to be more effective than traditional methods. They have been exploited successfully for semantic and syntactic analysis. On the other hand, the traditional bag-of-words approaches that use one-hot long vector representation are still considered powerful in terms of their accuracy in document classification. However, comparing these approaches for Turkish language has not been attempted before. In this study, we compared them within a variety of analysis. We observed that the traditional bag-of-word representation utilizing an effective feature selection and a machine learning algorithm aligned with it have comparable performance with new generation vector based methods, namely word embeddings. In this study, we have conducted various experiments comparing these approaches and designated an effective text categorization architecture for Turkish Language.

Türkçe için karþýlaþtýrmalý metin sýnýflandýrma analizi

Metin Sýnýflandýrma Doðal Dil Ýþleme (DDÝ) alanýnda önemli bir yere sahiptir. Son zamanlarda metinsel verilerin artmasý ve otomatik etiketlenmesi gerekliliði, metin sýnýflandýrma probleminin önemini artýrmýþtýr. Geleneksel yaklaþýmlardan öne çýkan kelime torbasý yöntemi yýllardýr metin sýnýflandýrmasýnda baþarýlý olmaktadýr. Son zamanlarda sinir aðlarý dil modelleri DDÝ problemlerine baþarýlý bir þekilde uygulanmýþ ve bazý alanlarda büyük baþarý kaydetmiþlerdir. Yapay Sinir Aðlarý (YSA) temelli mimarilerin en önemli avantajý daha etkili kelime ve metin gösterilimlerin oluþturmasýdýr. Bu gösterilimler, geleneksel yöntemlere göre daha az boyutlu ve daha etkili bulunmuþtur. Özellikle anlambilimsel ve sözdizimsel analizlerde baþarýlý uygulamalar yapýlmýþtýr. Öte yandan daha uzun vektörlerle gösterilim kullanan geleneksel kelime torbasý yöntemleri, metin gösterilimleri anlamýnda hala gücünü korumaktadýr. Ancak Türkçe için bu iki yaklaþýmýn herhangi bir karþýlaþtýrýlmasý yapýlmamýþtýr. Bu çalýþmada, geleneksel kelime torbasý yaklaþýmý ile sinir aðý temelli yeni gösterilim yaklaþýmlarý metin sýnýflandýrmasý açýsýndan karþýlaþtýrýlmýþtýr. Bu çalýþmalarda gördük ki etkili özellik seçimleri geleneksel yöntemlerinin hala yeni kuþak kelime gömme (word embeddings) yaklaþýmý ile yarýþacak düzeydedir. Son olarak deneylerimizi bu iki yaklaþým açýsýndan çeþitlendirerek raporladýk ve Türkçe için baþarýlý metin sýnýflandýrma mimarisini bu raporda ayrýntýlý tartýþtýk.