Abstract
Bengali text classification is a Significant task in natural language processing (NLP), where text is categorized into predefined labels. Unlike English, Bengali faces challenges due to the lack of extensive annotated datasets and pre-trained language models. This study explores the effectiveness of large language models (LLMs) in classifying Bengali newspaper articles. The dataset used, obtained from Kaggle, consists of articles from Prothom Alo, a major Bangladeshi newspaper. Three instruction-tuned LLMs LLaMA 3.1 8B Instruct, LLaMA 3.2 3B Instruct, and Qwen 2.5 7B Instruct were evaluated for this task under the same classification framework. Among the evaluated models, Qwen 2.5 achieved the highest classification accuracy of 72%, showing particular strength in the "Sports" category. In comparison, LLaMA 3.1 and LLaMA 3.2 attained accuracies of 53% and 56%, respectively. The findings highlight the effectiveness of LLMs in Bengali text classification, despite the scarcity of resources for Bengali NLP. Future research will focus on exploring additional models, addressing class imbalance issues, and refining fine-tuning approaches to improve classification performance.
Abstract (translated)
বাংলা টেক্সট ক্লাসিফিকেশন ন্যাচরাল ল্যাঙুয়েজ প্রসেসিং (NLP) এর একটি গুরুত্বপূর্ণ উদ্দেশ্য, যেখানে টেক্সটকে ইতিমধ্যেই ডিফাইন করা লেবেলগুলির ভিত্তিতে বিভাগ করা হয়। ইংরেজির চেয়ে, বাংলা এমন দুর্নিয়তা মোকাবেলা করে যা আইনসূচক ডেটাসেট এবং প্রিট্রেইনড ল্যাঙুয়েজ মডেলগুলির অভাবের ফলে হয়। এই গবেষণা দেখেছে উচ্চকনিষ্ঠ ল্যাঙুয়েজ মডেল (LLMs) প্রতিরোধ করে বাংলা নভিসপেপার আর্টিকেলগুলিকে ক্লাসিফিকেট করার দক্ষতা। এই গবেষণায় ব্যবহৃত ডেটাসেট, Kaggle থেকে আসা হল, যা প্রথম অলো, একটি মুখ্য বাংলাদেশি নভিল থেকে উদ্ভূত। LLaMA 3.1 8B Instruct, LLaMA 3.2 3B Instruct এবং Qwen 2.5 7B Instruct মডেলগুলি বিশেষ সমস্যার জন্য পরীক্ষা করা হয়েছে, এবং আইনসূচক লেবেলগুলির বিশ্লেষণ ফ্রেমওয়ার্কটির ভিত্তিতে। মডেলগুলির মধ্যে, Qwen 2.5 দৃঢভাবে "খেলনা" শ্রেণিতে সম্পর্কিত লেবেলগুলিতে সবচেয়ে উত্তম ফলাফল দেখিয়েছে, 72% সঠিক বিশ্লেষণ ধরন প্রদর্শিত করে। একইভাবে, LLaMA 3.1 এবং LLaMA 3.2 যথাক্রমে 53% এবং 56% সঠিক ফলাফল প্রদর্শন করেছে। এই গবেষণার মূল্যায়ণ উচ্চকনিষ্ঠ ল্যাঙুয়েজ মডেলগুলির দক্ষতা, বাংলা NLP-এর প্রাসঙ্গিক এবং অপ্রাসঙ্গিক ডেটাসেট থাকার মুখ্য অভাব ছাড়িয়েও। ভবিষ্যতের গবেষণা আরও মডেলগুলির পরীক্ষা, শ্রেণি অসমতাকে দখল করার জন্য, এবং বিশ্লেষণ সহজবোধ্য উপায়গুলির পরিষ্কার ফরমাট করা দিগন্তে আকৃষ্ট হয়।
URL
https://arxiv.org/abs/2601.12132
