Evaluasi Teknik Prompt Engineering pada LLM Berukuran Kecil untuk Klasifikasi Sentimen Bahasa Indonesia

Klasifikasi sentimen merupakan salah satu tugas pemrosesan bahasa alami yang banyak digunakan untuk menganalisis opini publik dari teks berbahasa Indonesia, baik dari media sosial maupun ulasan produk. Kemunculan Large Language Model (LLM) membuka peluang baru untuk melakukan klasifikasi sentimen tanpa memerlukan pelatihan model dari awal, cukup melalui perancangan prompt yang tepat. Namun, performa LLM sangat dipengaruhi oleh teknik prompt yang digunakan, dan penelitian yang berfokus pada perbandingan teknik prompt untuk teks berbahasa Indonesia masih terbatas. Penelitian ini bertujuan untuk mengevaluasi dan membandingkan efektivitas teknik prompt engineering, yaitu zero-shot, few-shot, dan chain-of-thought, dalam tugas klasifikasi sentimen teks berbahasa Indonesia. Eksperimen dilakukan pada 200 sampel data uji dari dataset SmSA (IndoNLU) menggunakan dua model open-source berukuran kecil, yaitu Qwen3-4B-Instruct-2507 dan Llama-3.2-3B-Instruct, dengan evaluasi berdasarkan akurasi, precision, recall, dan F1-score macro, dilengkapi selang kepercayaan Wilson, uji McNemar berpasangan, dan baseline kelas mayoritas. Seluruh konfigurasi mengungguli baseline kelas mayoritas (akurasi 0,460; F1 0,210) secara meyakinkan. Audit ekstraksi label menemukan bahwa implementasi awal salah mengekstraksi 18 dari 200 keluaran pada satu kondisi secara sistematis dan searah, padahal kondisi tersebut mencatat unknown rate 0%; koreksinya menaikkan akurasi kondisi tersebut dari 0,855 menjadi 0,945. Konfigurasi terbaik adalah few-shot pada Qwen3-4B-Instruct-2507 (akurasi 0,945; F1 macro 0,918). Qwen3-4B-Instruct-2507 secara signifikan mengungguli Llama-3.2-3B-Instruct pada ketiga teknik (uji McNemar eksak dengan koreksi Holm). Satu-satunya perbedaan antar teknik yang signifikan adalah keunggulan few-shot atas chain-of-thought pada Qwen3-4B-Instruct-2507 (p Holm=0,038); chain-of-thought tidak pernah menjadi teknik terbaik pada kedua model sementara biayanya puluhan kali lipat. Seluruh perbedaan antar kondisi bersumber dari kelas netral, yang ditangani kedua model jauh kurang andal dibandingkan sentimen positif dan negatif.