推論（Inference）

LLMの本番環境における主要コストで、リクエストごとにGPU秒を消費します。最適化手段はプロンプトキャッシング、バッチング、量子化、モデルルーティング（簡単なクエリはClaude Haiku、複雑なものはSonnet）、セルフホストのvLLMなどです。