Cara menghentikan chatbot Anda dari halusinasi

Ketika seseorang mengobrol dengan agen di situs web atau aplikasi Anda, mereka mengharapkan jawaban yang jelas dan akurat. Namun terkadang, agen salah menjawab. Dan dalam beberapa kasus, mereka mengada-ada. Itu disebut halusinasi.

‍

Apa yang menyebabkan halusinasi pada chatbot?

‍

Lewati konteksnya dan langsung ke saran penyiapan dari "Yang penting."

‍

Semua chatbot AI, termasuk Kaily, dibangun di atas model bahasa besar (LLM). Model-model ini sangat bagus dalam memahami bahasa dan menjawab dengan cara yang terdengar alami. Namun ada satu hal penting yang perlu dipahami: mereka tidak "mengetahui" fakta seperti halnya manusia atau database.

‍

LLM bekerja dengan memprediksi kata berikutnya dalam sebuah kalimat berdasarkan pola yang mereka lihat di sejumlah besar data pelatihan. Ketika Anda mengajukan pertanyaan, model mencoba menebak seperti apa jawaban yang baik. Model ini tidak mencari jawaban dari sumber yang tetap. Model ini menghasilkannya. Ini seperti mengirim pesan kepada seseorang yang pandai menyelesaikan kalimat Anda, meskipun mereka tidak sepenuhnya memahami apa yang Anda katakan.

‍

Jika pertanyaannya tidak jelas, tidak jelas, atau di luar data yang telah dilatih oleh agen Anda, model mungkin akan tetap mencoba menjawab. Dan jawaban tersebut mungkin terdengar percaya diri, tetapi bisa saja salah. Itulah yang kami sebut sebagai halusinasi.

‍

Mengapa ini penting

‍

Bahkan jika kesalahannya tidak besar, tetap saja bisa membingungkan pengguna Anda. Mereka mungkin akan meninggalkan situs Anda, yang berarti Anda telah kehilangan prospek atau pelanggan potensial. Dalam konteks yang serius seperti keuangan, perawatan kesehatan, atau hukum, konsekuensinya bisa jauh lebih besar.

‍

Kabar baiknya, agen Anda di Kaily dapat dilatih untuk menjadi lebih baik. Dengan pengaturan yang tepat, Anda dapat memandunya untuk merespons secara akurat dan tetap berpijak pada apa yang telah Anda ajarkan.

‍

Berikut adalah cara untuk mewujudkannya.

‍

Hal-hal penting

‍

Ini adalah hal yang harus dimiliki. Siapkan dengan benar, dan agen Anda akan jauh lebih akurat sejak awal.

‍

1. Persona

‍

‍

Ketika Anda membuat agen baru di Kaily, salah satu hal pertama yang akan Anda lihat adalah bagian Persona. Di sinilah Anda mendefinisikan apa agen Anda, apa yang seharusnya dilakukan, dan nada yang harus diikuti.

‍

‍

Kami memberi Anda templat Persona yang sudah diisi untuk memulai. Ini mencakup dasar-dasarnya, seperti peran agen dan apa yang harus dihindari. Ini memberi agen Anda dasar yang kuat sejak awal.

‍

Kami juga memiliki templat Persona yang siap pakai untuk kasus penggunaan umum, seperti dukungan pelanggan. Anda bisa menemukannya di dokumen kami. Cukup salin, tempel, dan sesuaikan agar sesuai dengan kebutuhan Anda. Hal ini saja sudah bisa membuat agen Anda terdengar akurat dan membantu.

‍

‍

2. Pengaturan kreativitas

‍

‍

Pada panel Konfigurasi, Anda akan menemukan penggeser Kreativitas. Ini mengontrol seberapa banyak agen Anda diizinkan untuk berimprovisasi.

‍

• Jaga agar tetap rendah jika Anda ingin agen tetap berpegang teguh pada pelatihan dan data Anda.
  Contoh: Agen dukungan yang menjelaskan fitur produk harus tetap faktual dan membumi.
  
  

• Tingkatkan jika agen Anda perlu lebih banyak berbicara atau memberi saran.
  Contoh: Agen gaya hidup atau kesehatan yang memberikan tips atau saran mungkin akan mendapat manfaat dari sedikit lebih banyak fleksibilitas.

‍

3. Sumber data yang akurat

‍

Agen Anda hanya sepintar informasi yang Anda berikan. Jika Anda tidak mengunggah apa pun, agen akan mengandalkan pengetahuan umum, yang mungkin tidak akurat, dan tentu saja tidak spesifik untuk bisnis Anda.

‍

Agar agen Anda tetap membumi, unggahlah konten yang mencerminkan apa yang dikatakan dan dilakukan oleh perusahaan Anda. Prioritaskan:

‍

• Dokumen perusahaan: Dokumentasi internal, panduan bantuan, artikel pendukung

• Posting blog: Terutama yang menjelaskan produk atau sudut pandang Anda

• Pertanyaan yang Sering Diajukan: Dari situs web Anda, balasan email, atau tiket dukungan yang ada

• Halaman tentang: Apa pun yang menjelaskan dengan jelas siapa Anda dan apa yang Anda tawarkan

‍

Hindari memberikan materi yang umum atau tidak jelas. Semakin tepat sasaran dan spesifik sumbernya, semakin baik agen Anda dapat menjawab pertanyaan-pertanyaan nyata dari pengguna.

‍

4. Format data yang bekerja paling baik

‍

Format data Anda membuat perbedaan. Beberapa jenis file jauh lebih baik untuk pelatihan daripada yang lain.

‍

Berikut adalah urutan kasar dari apa yang paling baik:

‍

• JSON / XML - Terbaik untuk konten terstruktur seperti info produk, FAQ, atau tanggapan yang dipetakan

• File teks biasa - Mudah dibaca dan diurai, selama kontennya ditulis dengan baik

• Dokumen PDF / Word - Oke untuk manual, panduan, dan artikel, tetapi pastikan dokumen tersebut bersih dan mudah dibaca

• Lembar CSV / Excel - Berfungsi untuk hal-hal seperti tabel harga atau inventaris, tetapi perlu diberi label dan diatur dengan jelas

‍

Semakin tinggi di daftar ini, semakin baik hasil yang Anda dapatkan. Jika konten Anda berada dalam format yang kikuk, luangkan waktu beberapa menit untuk membersihkannya atau mengonversinya sebelum mengunggah. Ini akan menghemat waktu (dan sakit kepala) Anda nantinya.

‍

Di luar hal-hal mendasar

‍

Setelah Anda melakukan pengaturan, langkah-langkah tambahan ini akan membantu agen AI Anda merespons dengan lebih baik.

‍

1. Menyiapkan serah terima manusia

‍

‍

Jika agen Anda tidak yakin bagaimana cara merespons, lebih baik lepaskan percakapan daripada menebak-nebak. Jika tidak, kemungkinan besar akan terjadi kesalahan.

Tambahkan instruksi seperti: "Jika pengguna terdengar kesal, meminta bantuan lebih dari satu kali, atau mengetik 'bicara dengan manusia', alihkan obrolan ke agen."

Anda juga dapat menentukan pertanyaan mana yang harus selalu diserahkan, seperti apa pun yang berhubungan dengan penagihan, pembatalan, atau keluhan. Semakin lancar handoff-nya, semakin baik pengalaman pengguna.

‍

2. Pembaruan berkelanjutan

‍

Agen Anda bukanlah alat yang bisa diatur dan dilupakan. Lakukan pengecekan secara rutin untuk melihat bagaimana kinerjanya. Perbarui persona, unggah konten baru, dan perbaiki tanggapan yang lemah.

‍

Berikut adalah daftar periksa singkat:

• Apakah pengguna mendapatkan jawaban yang akurat untuk 5 pertanyaan teratas?

• Apakah ada yang berubah dalam produk atau kebijakan Anda?

• Apakah agen kehilangan konteks atau terlalu sering ragu-ragu?

‍

Sedikit perawatan akan sangat membantu. Dan semakin berkembangnya bisnis Anda, semakin penting untuk menjaga agar agen Anda tetap selaras.

‍

3. Menguji agen Anda seperti yang dilakukan pengguna sungguhan

‍

Sebelum melakukan siaran langsung, bicaralah dengan agen Anda. Berpura-puralah Anda adalah pelanggan yang ingin tahu (atau bingung) dan tanyakan:

‍

• Pertanyaan yang tidak jelas atau terbuka

• Hal yang sama dengan cara yang berbeda

• Pertanyaan dengan kesalahan ketik, bahasa gaul, atau frasa pendek

• Pertanyaan yang "salah" atau di luar topik, dan lihat bagaimana pemulihannya

‍

Hal ini membantu Anda mengetahui di mana ia menebak-nebak, di mana ia percaya diri, dan di mana ia membutuhkan lebih banyak latihan.

‍

4. Menambahkan instruksi mundur 

‍

Terkadang, agen Anda tidak akan tahu jawabannya, dan itu tidak masalah. Namun, bagaimana ia menangani momen itu adalah hal yang penting.

‍

Dalam pengaturan persona atau perilaku Anda, berikan panduan mundur yang jelas seperti apa:

• "Jika tidak yakin, katakan bahwa Anda tidak tahu dan tawarkan untuk menghubungi bagian dukungan."

• "Hindari menebak-nebak. Arahkan pengguna ke halaman bantuan bila diperlukan."

‍

Hal ini membuat segala sesuatunya tetap jujur dan bukannya membiarkan agen berpura-pura percaya diri.

‍

5. Manfaatkan analisis sentimen

‍

‍

Baru-baru ini kami meluncurkan Analisis Sentimen di Kotak Masuk Anda. Analisis ini membantu Anda memahami bagaimana setiap obrolan berlangsung dengan menjabarkan suasana hati dan topik. Jika Anda ingin rincian lengkapnya, lihat artikel ini. Yang satu ini lebih merupakan alat penyempurnaan. Tetapi jika Anda ingin mendalami kinerja agen Anda, ini adalah cara yang bagus untuk meningkatkannya.

‍

Lihatlah jenis obrolan apa yang mendapatkan reaksi negatif. Kemudian kembalilah ke data pelatihan atau instruksi Anda dan lihat apa yang bisa Anda tingkatkan. Seiring waktu, hal ini benar-benar dapat mempertajam bagaimana agen Anda merespons.

‍

Agen Anda bekerja paling baik ketika Anda mengajarkannya dengan baik

‍

Ya, agen AI memang pintar. Tetapi mereka tidak tahu merek Anda, nada bicara Anda, atau pengguna Anda sampai Anda mengajari mereka. Beberapa menit tambahan selama penyiapan dapat membuat perbedaan besar dalam hal bagaimana agen Anda merasa terbantu dan dipercaya. Jadi, jika Anda belum melakukannya, lakukan pengecekan singkat pada penyiapan Anda dan beri tahu kami bagaimana hasilnya.

‍

Selamat membangun!