LLM触っていてContext lengthとMax tokenの違いが一瞬わからなくなったのでメモ
Context length (コンテキスト長)
- モデルが一度に処理できるトークンの最大数。
- モデルの「記憶」や「注意の範囲」を表す。
- 入力と出力の合計トークン数の上限を決定。
- モデルごとに固定（例: GPT-3.5は4096トークン、GPT-4は8192トークン）。
Max token
- APIリクエストで生成される出力の最大トークン数を指定するパラメータ。
- ユーザーが設定可能。
- 常にcontext length - 入力トークン数よりも小さい値である必要がある。
- 出力の長さを制御するために使用。
これらの違いを理解することで、LLMの制約を適切に把握し、効果的に利用できる。context lengthはモデルの能力を示す重要な指標で、max_tokensは出力を調整するための実用的なツール。
