トークン（Token）

LLMは入力トークンと出力トークンに対して課金します。例えばGPT-4の1Kトークンは英語で約750単語に相当し、モデルにより0.003〜0.06ドルです。最大コンテキストは128K（GPT-4）から2M（Gemini 1.5）まで。スケールさせる前に必ず計測してください。