Perbandingan Representasi Teks Tf-Idf Dan Bert Terhadap Akurasi Cosine Similarity Dalam Penilaian Otomatis Jawaban Berbasis Teks

Abstract

Penilaian manual terhadap jawaban uraian siswa seringkali menghadapi berbagai tantangan, seperti waktu koreksi yang lama, ketidakkonsistenan antar penilai, serta potensi bias subjektif. Untuk mengatasi permasalahan tersebut, penelitian ini mengembangkan sistem penilaian otomatis berbasis teks dengan pendekatan Natural Language Processing (NLP). Dua metode representasi teks, yaitu TF-IDF dan BERT, digunakan untuk menghitung kemiripan semantik antara jawaban siswa dan kunci jawaban menggunakan teknik Cosine Similarity. Penelitian ini menggunakan data sebanyak lima jawaban siswa terhadap tiga pertanyaan uraian. Proses penelitian melibatkan tahapan preprocessing data, ekstraksi fitur teks, perhitungan similarity, dan evaluasi terhadap skor manual. Hasil eksperimen menunjukkan bahwa BERT memiliki korelasi Pearson sebesar 0,8533, jauh lebih tinggi dibandingkan TF-IDF yang hanya mencapai 0,5497, menandakan BERT lebih konsisten dengan pola penilaian manual. Sementara itu, nilai MAE untuk TF-IDF adalah 1,9167 dan untuk BERT adalah 2,1141, menunjukkan bahwa keduanya memiliki selisih rata-rata prediksi yang relatif kecil. Meskipun TF-IDF lebih sederhana dan unggul dalam nilai MAE, BERT dinilai lebih andal secara keseluruhan karena mampu memahami makna semantik dalam teks. Dengan demikian, pendekatan berbasis BERT lebih direkomendasikan sebagai model utama dalam sistem penilaian otomatis berbasis teks yang akurat, objektif, dan efisien.