問題
Universal Containers は、多くのレコードで機能する項目生成プロンプトテンプレートを作成しましたが、ユーザーからトークン制限エラーがランダムに発生するという報告があります。
このエラーのランダム性の原因は何ですか？
A プロンプト根拠付けによって生成される可変量のトークンに対応するために、テンプレートタイプを Flex に切り替える必要があります
B プロンプトテンプレートの動的な性質によって生成されるトークン数はレコードによって異なります
C LLM で処理できるトークン数は、ユーザーの総需要によって異なります
解答
B プロンプトテンプレートの動的な性質によって生成されるトークン数はレコードによって異なります (信頼度95%)
解説
この問題は、Bが正解です。
項目生成プロンプトテンプレートは、レコードの内容に基づいて動的にテキストを生成するため、生成されるトークン数はレコードによって異なります。レコードによっては、生成されるテキストが長くなり、トークン制限を超えてしまうことがあります。これが、トークン制限エラーがランダムに発生する原因です。
以下のヘルプページにあるように、「組織ごとに 1 分あたり 2,000 件の LLM 生成要求 (RPM) のレート制限があります」
https://help.salesforce.com/s/articleView?id=ai.generative_ai_llm_limits.htm&type=5
よって、Bが正解と言えます。
Aは、テンプレートタイプを Flex に切り替えることは、より柔軟なプロンプトを作成するのに役立ちますが、トークン制限エラーのランダム性を直接的に解決するものではありません。
Cは、LLM で処理できるトークン数に対して、ユーザーの数や需要に依存せず一定の制限があるため、不適と言えます。
コメント 匿名ですので、お気軽にコメントいただけると嬉しいです！！