ChatGPTに代表される大規模言語モデル(LLM)は、ヘルプデスクやコールセンターなどでの問い合わせに回答する業務に適しており、世界各国で利用されています。LLMを用いて問い合わせに回答するには、RAG(Retrieval Augmented Generation/検索拡張生成)技術を利用してFAQやマニュアルを検索して回答を生成することが一般的です。
一方で、「(即時に回答する場合)誤った回答をする」「(回答の正確性を追求すると)回答までに時間がかかる」という相反する課題があります。多くの情報を組み合わせた回答の生成や、誤情報を防ぐ生成などの高度な手法には、莫大な処理時間とコストがかかることもわかっています。
一方で、「(即時に回答する場合)誤った回答をする」「(回答の正確性を追求すると)回答までに時間がかかる」という相反する課題があります。多くの情報を組み合わせた回答の生成や、誤情報を防ぐ生成などの高度な手法には、莫大な処理時間とコストがかかることもわかっています。