Pengumuman 'Strawberry" oleh OpenAI telah mengalihkan sorotan pada keterbatasan mendasar model bahasa: ketidakmampuan mereka untuk menganalisis huruf individual dalam kata-kata. Kelemahan ini mengungkapkan aspek-aspek yang mendalam tentang bagaimana mereka bekerja.

Masalah penghitungan

Ketika ChatGPT diminta untuk menghitung huruf 'r' pada kata 'strawberry', model ini sering kali salah. Kesalahan ini bukan berasal dari kurangnya kecerdasan, tetapi dari cara model bahasa menganalisis teks. Untuk memahami mengapa, kita perlu mengetahui konsep tokenisasi.

Dunia dilihat melalui token

Model bahasa tidak melihat kata sebagai rangkaian huruf, tetapi sebagai 'token' - unit makna yang diubah menjadi angka. Ini seperti membaca buku di mana setiap kata digantikan oleh kode numerik. Kata 'buku sekolah', misalnya, dipecah menjadi dua token terpisah: 'sekolah' dan 'buku'. Hal ini menjelaskan mengapa model kesulitan untuk menghitung huruf 'o' pada kata ini dengan benar - model tidak melihatnya sebagai sebuah kata.

Contoh yang mencerahkan

Bayangkan jika kita belajar bahasa di mana kata 'sekolah' selalu diwakili oleh angka '412'. Jika seseorang bertanya kepada Anda berapa banyak huruf 'o' yang terdapat dalam kata '412', kita tidak akan bisa menjawab dengan benar tanpa pernah melihat kata tersebut dituliskan secara lengkap. Model bahasa berada dalam situasi yang sama: model bahasa memproses makna melalui angka, tanpa akses ke komposisi kata-kata secara harfiah.

Tantangan dari kata majemuk

Masalahnya menjadi lebih buruk lagi dengan kata majemuk. 'Pencatat waktu' dipecah menjadi beberapa token yang terpisah, sehingga menyulitkan model untuk menentukan posisi yang tepat dari huruf 'dan'. Fragmentasi ini tidak hanya memengaruhi penghitungan huruf tetapi juga pemahaman struktur kata internal.

Solusi untuk masalah stroberi (mungkin)

Model OpenAI masa depan, Strawberry, harus mengatasi keterbatasan ini dengan memperkenalkan pendekatan inovatif untuk pemrosesan teks. Alih-alih hanya mengandalkan tokenisasi tradisional, model ini harus dapat menganalisis kata-kata pada tingkat huruf individual, sehingga memungkinkan operasi penghitungan dan analisis yang lebih tepat.

Implikasi masa depan

Pentingnya masalah ini lebih dari sekadar penghitungan huruf. Kemampuan analisis granular ini dapat secara signifikan meningkatkan pemahaman linguistik model AI, sehingga memungkinkan mereka untuk mengatasi masalah yang membutuhkan analisis teks terperinci pada tingkat karakter.

Integrasi yang direncanakan dari teknologi ini akan menjadi kemajuan besar ke arah model bahasa yang lebih mampu 'menalar' tentang detail fundamental bahasa, bukan hanya pola statistik.

‍