Pamukkale Univ Muh Bilim Derg. Baskýdaki Makaleler: PAJES-44459 | DOI: 10.5505/pajes.2025.44459

Yükseköðretim Ýçin Transformer Tabanlý Soru-Cevap Sistemleri: Türkçe ve Çok Dilli Modellerin Karþýlaþtýrmalý Bir Ýncelemesi

Halenur Sazak, Muhammed Kotan
Biliþim Sistemleri Mühendisliði, Sakarya Üniversitesi, Sakarya, Türkiye

Bu çalýþma, yükseköðretimde kullanýlmak üzere geliþtirilen bir soru cevap sistemi sunmaktadýr. BERTurk Base cased/uncased, ELECTRA-Turk, mBERT ve XLM-R olmak üzere beþ önceden eðitilmiþ model deðerlendirilmiþtir. Modeller, THQuAD veri kümesi üzerinde ince ayarlanarak eðitilmiþ ve resmi üniversite kaynaklarý ile öðrenci sorularýndan oluþturulan bir sýkça sorulan sorular veri kümesi üzerinde test edilmiþtir. Tam Eþleþme ve F1 gibi standart metriklere ek olarak anlam açýsýndan doðru yanýtlarý da dikkate alan geniþletilmiþ bir deðerlendirme yöntemi uygulanmýþtýr. En yüksek F1 skoru 0.8936 ve Tam Eþleþme skoru 0.8478 ile ELECTRA-Turk modeli tarafýndan elde edilmiþtir. Bulgular, transformer tabanlý yaklaþýmlarýn akademik ortamda otomatik soru cevaplama görevlerinde etkili olduðunu ve öðrenci odaklý bilgiye eriþimi artýrabileceðini göstermektedir.

Anahtar Kelimeler: Soru-Cevap Sistemi, Transformer Modeller, Bilgi Edinme, Türkçe Dil Modelleri, Doðal Dil Ýþleme

---

Transformer-Based Question Answering Systems for Higher Education: A Comparative Study of Turkish and Multilingual Models

Halenur Sazak, Muhammed Kotan
Department of Information Systems Engineering, Sakarya University, Sakarya, Turkey

This study presents a question answering system developed for higher education using transformer-based models. Five pretrained models were evaluated including BERTurk Base cased/uncased, ELECTRA-Turk, mBERT and XLM-R. The models were fine-tuned on the THQuAD dataset and tested on a frequently asked questions dataset constructed from official university sources and student queries. In addition to standard evaluation metrics such as Exact Match and F1 score, an extended evaluation approach was applied to better capture semantically appropriate answers. ELECTRA-Turk achieved the highest F1 score of 0.8936 and an Exact Match score of 0.8478. The results show that transformer-based approaches can effectively support automated question answering in academic domains and improve information access for students.

Keywords: Question-Answering System, Transformer Models, Information Retrieval, Turkish Language Models, Natural Language Processing

---

ATIF KOPYALA