INTENT AND SENTIMENT ANALYSIS FOR TURKISH CUSTOMER SERVICE CHATBOTS: A COMPARATIVE STUDY

Kaya M.

1. ULUSLARARASI ORDU MODERN BİLİMSEL ARAŞTIRMALAR KONGRESİ, Ordu, Turkey, 13 - 14 April 2026, vol.1, pp.763-773, (Full Text)

Publication Type: Conference Paper / Full Text
Volume: 1
City: Ordu
Country: Turkey
Page Numbers: pp.763-773
Ondokuz Mayıs University Affiliated: Yes

In this study, intent and sentiment analysis are jointly addressed for Turkish customer service chatbot systems. With the increasing use of chatbot systems in customer service processes, accurately understanding user requests and responding appropriately has become essential. In this context, correctly identifying both the purpose (intent) and emotional state (sentiment) of user messages is critical to developing more effective, user-oriented systems.

In this study, a novel dataset comprising 710 user queries was constructed to reflect e-commerce scenarios. Each instance in the dataset includes both intent and sentiment labels. Intent labels were reorganized into a more balanced structure by merging semantically similar classes, while sentiment labels were categorized into four main classes: anger, sadness, neutral, and satisfaction. This structure enables the joint evaluation of both intent and sentiment analysis tasks on the same dataset.

Within the scope of the study, different machine learning and deep learning models, including Logistic Regression, BERTurk, RoBERTa, and ELECTRA, were compared for intent and sentiment classification tasks. The performance of the models was evaluated using accuracy and F1-score metrics. The results show that transformer-based models outperform traditional methods. For the intent classification task, the BERTurk model achieved the highest performance with 83.8% accuracy and a Macro F1 score of 0.859. For sentiment analysis, the ELECTRA model provided the best results with 83.8% accuracy and a Macro F1 score of 0.841.

As a result, it was observed that intent classification is a more challenging task than sentiment analysis, mainly due to the greater number of classes and their greater semantic overlap. Additionally, transformer-based models demonstrated strong performance, especially for Turkish text. This study highlights the importance of jointly addressing intent and sentiment analysis in Turkish customer service chatbot systems and contributes to the development of more effective and user-centered solutions.

Key Words: Natural Language Processing, Chatbot, Intent Classification, Sentiment Analysis, Transformer Models, Turkish Text Classification

Bu çalışmada, Türkçe müşteri hizmetleri chatbot sistemleri için niyet (intent) ve duygu (sentiment) analizi birlikte ele alınmıştır. Günümüzde müşteri hizmetleri süreçlerinde chatbot sistemlerinin yaygınlaşması, kullanıcı taleplerinin doğru anlaşılması ve uygun şekilde yanıtlanmasını önemli hâle getirmiştir. Bu bağlamda, kullanıcı mesajlarının hem amacının (niyet) hem de duygusal durumunun doğru bir şekilde tespit edilmesi, daha etkili ve kullanıcı odaklı sistemlerin geliştirilmesi açısından kritik bir rol oynamaktadır.

Bu çalışmada, e-ticaret senaryolarına uygun olarak hazırlanmış ve toplam 710 kullanıcı sorgusundan oluşan özgün bir veri seti kullanılmıştır. Veri setinde her bir örnek için niyet ve duygu etiketleri bulunmaktadır. Niyet etiketleri benzer anlam taşıyan sınıfların birleştirilmesiyle daha dengeli bir yapıya dönüştürülmüş, duygu etiketleri ise öfke, üzgün, nötr ve memnuniyet olmak üzere dört temel sınıfta ele alınmıştır. Bu sayede hem niyet hem de duygu analizinin aynı veri seti üzerinde birlikte değerlendirilmesi sağlanmıştır.

Çalışma kapsamında, niyet ve duygu sınıflandırma görevleri için Logistic Regression, BERTurk, RoBERTa ve ELECTRA olmak üzere farklı makine öğrenmesi ve derin öğrenme modelleri karşılaştırılmıştır. Modellerin performansı doğruluk (accuracy) ve F1 skoru gibi metrikler kullanılarak değerlendirilmiştir. Elde edilen sonuçlara göre, transformer tabanlı modellerin klasik yöntemlere göre daha başarılı olduğu görülmüştür. Niyet sınıflandırma görevinde BERTurk modeli %83.8 doğruluk ve 0.859 Macro F1 skoru ile en yüksek performansı elde ederken, duygu analizi görevinde ELECTRA modeli %83.8 doğruluk ve 0.841 Macro F1 skoru ile en iyi sonucu vermiştir.

Sonuç olarak, niyet sınıflandırma görevinin duygu analizine göre daha zor olduğu ve transformer tabanlı modellerin özellikle Türkçe metinlerde yüksek performans sağladığı gözlemlenmiştir. Bu çalışma, Türkçe müşteri hizmetleri chatbot sistemlerinde niyet ve duygu analizinin birlikte ele alınmasının önemini ortaya koymakta ve bu alanda geliştirilecek sistemlere katkı sağlamaktadır.

Anahtar Kelimeler: Doğal Dil İşleme, Chatbot, Niyet Sınıflandırma, Duygu Analizi, Transformer Modelleri, Türkçe Metin Sınıflandırma