ChatGPT Kualitasnya Menurun?

RN Dahlan

Model bahasa besar (Large Language Model) besutan OpenAI telah mendapatkan pengakuan luas dan pujian dari berbagai kalangan. Kevin Roose, penulis "Futureproof: 9 Rules for Humans in the Age of Automation," dan CEO Nvidia Jensen Huang, memuji model ini sebagai "chatbot kecerdasan buatan terbaik" yang pernah dirilis ke masyarakat umum dan sebagai prestasi besar dalam komputasi.

Model ini juga telah menghadapi ujian Turing dan berhasil mendapatkan skor tinggi dalam berbagai bidang ujian prestasi. Mulai dari ujian seperti matematika, hukum, dan GRE verbal.

Selain itu, ChatGPT juga telah memberikan respons yang sangat baik dalam konteks perawatan Kesehatan. Sebuah laporan dari sekolah kedokteran NYU muncul dan menyatakan bahwa saran yang diberikan oleh ChatGPT hampir tidak dapat dibedakan dari saran yang diberikan oleh staf medis manusia.

Meskipun demikian, peneliti dari Stanford University dan University of California, Berkeley, telah menunjukkan kekhawatiran terkait konsistensi kinerja ChatGPT.

Para peneliti tersebut menemukan variasi yang signifikan dalam kinerja model ini, termasuk penurunan dalam beberapa tugas dari Maret hingga Juni.

Contohnya adalah penurunan tingkat akurasi dalam pemecahan masalah matematika dan pembuatan kode komputer. Kritik juga muncul terkait penyebab perubahan tersebut. Tingkat akurasi model ini mengalami penurunan yang mencolok dalam beberapa kasus.

Baca juga:


Para peneliti mencatat bahwa sulit untuk menentukan penyebab perubahan dalam kinerja ChatGPT. Beberapa teori konspirasi muncul, tetapi OpenAI menolak klaim tersebut dan mengatakan bahwa setiap versi baru seharusnya lebih pintar.

Selain itu, permintaan telah muncul agar OpenAI mengungkapkan sumber materi pelatihan, kode, dan elemen struktural lainnya di balik ChatGPT 4.0 untuk memungkinkan verifikasi oleh komunitas ilmiah.

Apapun itu, perdebatan dan tantangan seputar penggunaan model bahasa besar seperti ChatGPT dalam berbagai konteks terus berlangsung. Para peneliti menyatakan pentingnya OpenAI melakukan transparansi dalam proses pembuatan LLM dan penggunaannya.