Jelajahi LLM dengan mudah di laptop Anda dengan taman bermain terbuka

Gambar oleh editor

Model bahasa besar atau LLM adalah model bahasa pembelajaran mendalam yang dirancang untuk memahami, menafsirkan, dan menghasilkan bahasa manusia; itu biasanya terdiri dari jutaan hingga miliaran parameter jaringan saraf dan dilatih menggunakan pengawasan mandiri. Contoh LLM terkenal termasuk GPT-4, BERT, dan LLAMA.

Mengakses LLM terkadang rumit karena kita harus memenuhi persyaratan dan spesifikasi lingkungan, yang menjadi penjaga gerbang pembelajaran LLM. Untungnya, kami dapat bereksperimen secara efektif dengan berbagai LLM di laptop kami menggunakan paket Python yang disebut taman bermain terbuka.

Apa itu openplayground dan bagaimana memanfaatkannya? Mari kita telusuri lebih jauh.

Paket openplaygorund Python menjelaskan dirinya sebagai taman bermain LLM yang dapat berjalan di laptop Anda, dan itu benar. Ini adalah taman bermain tempat kita dapat bereksperimen dengan model, bermain dengan parameter, melakukan perbandingan model, dan melacak riwayat log dengan antarmuka pengguna yang ramah. Mereka juga menggunakan LLM terkenal dari beberapa entitas, seperti OpenAI, HuggingFace, dll.

Bagaimana kita bisa mulai menggunakan openplaygorund? Mari kita mulai dengan menginstal paketnya.

pip install openplayground

Kemudian jalankan perintah berikut di terminal Anda.

Di terminal Anda akan mendapatkan informasi berikut.

Gambar penulis

Openplayground sedang berjalan dan Anda perlu mengunjungi localhost untuk menggunakan Playground UI.

Gambar penulis

Di antarmuka pengguna, Anda akan melihat tiga bagian; Taman bermain, Bandingkan dan Pengaturan. Mari buka tab Pengaturan terlebih dahulu, karena kami tidak dapat bekerja tanpa memberikan informasi yang diperlukan.

Saat Anda membuka Pengaturan, akan ada bagian Penyedia untuk kami pilih. Untuk artikel contoh ini, kami akan menggunakan yang dari OpenAI. Klik OpenAI dan berikan kunci API untuk membuat semua model dapat diakses oleh openplayground, mirip dengan gambar di bawah.

Gambar penulis

Aktifkan model yang Anda inginkan dan kembali ke tab Playground. Ketika Anda sudah memilih template, akan ada pengaturan tambahan di sisi kanan yang bisa kita mainkan.

Gambar penulis

Parameter ada agar kita dapat dengan mudah mengeksplorasi dan bereksperimen dengan hasil model LLM. Mari kita coba prompt sederhana: “Buat saya cerita pendek tentang sang putri dan kerajaan sihir.”

Gambar penulis

Teks yang dihasilkan akan ditampilkan dalam warna hijau. Jika Anda mengaktifkan Tampilkan probabilitas, Anda bisa mendapatkan probabilitas pembuatan token jika model mengizinkannya. Misalnya, model ‘text-DaVinci-03’ dapat menunjukkan probabilitasnya. Mari kirimkan prompt sekali lagi dan lihat hasilnya.

Gambar penulis

Mengarahkan kursor ke token akan menunjukkan kemungkinan munculnya token. Selain itu, ada juga informasi tentang 5 token pertama yang dapat menjadi teks yang mungkin dibuat.

Dengan masuk ke tab Bandingkan, kita dapat membandingkan berbagai teks yang dihasilkan oleh model LLM dengan parameter yang sama. Mari kita coba dengan perintah yang sama seperti contoh kita sebelumnya.

Gambar penulis

Tab Bandingkan memberikan informasi tentang dua atau lebih model LLM berbeda yang menghasilkan teks secara bersamaan. Informasi termasuk token, seberapa cepat model menghasilkan teks, berapa lama, dan jumlah karakter.

Cobalah bereksperimen dengan model yang berbeda dari beberapa vendor untuk mendapatkan hasil maksimal dari penggunaan openplayground.

Model bahasa besar atau LLM adalah model yang mampu memahami, menafsirkan, dan menghasilkan teks manusia. Dengan openplayground, kami dapat memiliki UI sederhana untuk menjelajahi dan mengalami banyak LLM.

Cornellius Yudha Wijaya adalah Asisten Manajer Ilmu Data dan Penulis Data. Selama bekerja penuh waktu di Allianz Indonesia, dia senang berbagi tips Python dan Data melalui media sosial dan media menulis.