LLMコスト削減：規制業種の企業はどう取り組むか
要約
- 企業のAIの支出は2026年に前年比108％伸び、そのうち60〜80％はたいてい、量が多く複雑さの低い業務の20〜30％——KYCの受付、保険金請求の処理、融資の一次審査、契約データの抽出——に集中しています。
- 最大の費用の要因は、戦術ではなく設計にあります。確率的なLLMのエージェントに業務を束ねさせることは、構造として高くつき、読めず、監査も難しい——どれだけ指示を調整しても直らない問題です。
- もっとも効果の大きい手当ては、決定論的でルールに基づく設計へ移り、言語の推論が本当に必要な場所にだけLLMを外科的に呼ぶことです。この転換を行った規制業種の企業は、たいていLLMの費用を15〜60分の1に減らしています。
- LLMを輪の中に残さねばならない企業には、4つのてこがあります。モデルの振り分け、意味の一致による記憶、そして入力と出力の圧縮です。これらは健全な設計の代わりではなく、その上に積み上がります。
中堅の保険会社が、保険金請求の受付の試験を回しています。書類を分類し、証券番号を抽出し、標準的な請求を適切な担当者へ振り分ける。1日50件なら月500ドル、誤差の範囲です。試験はうまくいき、本番へ移ります。半年後、その流れは1日5,000件を処理し、同じ設計を素直に拡大したその費用は、月およそ4万7,000ドルになります。AIのチームより先にCFOが気づきます。予算のレビューでの問いは、試験がうまくいったかどうかではなく、規模が出た瞬間になぜ単位あたりの採算がひっくり返ったのか、です。
この反転こそが本当のLLMの費用の問題であり、誰が書いた指示ともほとんど関係がありません。企業のAIの支出は2026年に前年比108％上がり、150億ドルの市場へ向かうと見込まれ、OpenAIやAnthropicからの請求書が、半年前には予算に入っていなかった机に届いています。
インターネットの定番の答えは、手法を並べた一覧です。指示を圧縮する、安いモデルへ振り分ける、記憶を足す。単体では有用ですが、診断にはなりません。トークンが多すぎるという症状を扱うだけで、そもそもなぜこれほどのトークンが使われているのかを問いません。
銀行、保険会社、法律事務所、医療の組織にとって、ありきたりの確認表は無意味以下です。その組織の費用の問題が、2人のスタートアップと同じ根本の原因を持つと決めつけていますが、そうではありません。すべての実行のたびに全段階を考え直す確率的なLLMのエージェントの上で業務が動いているなら、どんな指示の調整も請求書を意味あるかたちで動かしません。
本ガイドは別の道をとります。てこにひとつも触れる前に、もっとも効きめの大きい手当てを見つける3つの問いの選別を行い、そのうえで実際の効果の順にてこを辿ります——多くの手引きが最後に埋めているものから始めて。
選別——最大の費用の漏れを見つける3つの問い
企業のAIの支出は、均等に出血しません。見てきた展開では、LLMの費用の60〜80％が用途の20〜30％から生じ、量が多く複雑さの低い作業に集中しています。この選別は、最適化に1ドル使う前に、その組織がどの箱にいるかを見極めます。
問い1：一括の処理か、その場の処理か。量は集中しているか、散らばっているか？
要となる区別は、個々の記録に対して絶えず走る業務と、ほぼ同じ記録を何千件も一括で処理する業務のあいだにあります。KYCの書類の分類、夜間の保険金の査定、融資の一次審査、そして契約データの抽出は、いずれも1日に何千もの入力に同じロジックを走らせます。それが組織の量のかたちなら、設計上どうしても払いすぎています。これらは設計の変更と意味の一致による記憶のもっとも有力な候補です。対して、法域をまたぐ法務の分析や、個別の投資メモの起案のように量が少なく複雑さの高い仕事なら、上位のモデルを正当化できることも多く、採算の計算はまったく別になります。
問い2：どれだけの遅延を許せるか。そして、その向こうで待っているのは誰か？
顧客に向き合うチャットボットは借り手にその場で答えるため、速く安いモデルと、積極的な応答の記憶が要ります。しかし規制業種の企業の負荷の多くは、その場の応答を要しません。夜間の書類の処理、日次の突き合わせ、法令の点検の一巡は決まった時刻に走り、遅い実行にも耐えられます。これにより、利用者の体験を損なわずに、予定に基づく一括処理と重めの振り分けのロジックが使えるようになります。誰も待っていない仕事に、その場の速さの費用を払うのは、取り戻せる利幅です。
問い3：APIを使っているか、自分でホストしているか。そしてそれは選べることなのか？
APIを使う形（OpenAI、Anthropic、Google）では、指示の設計、モデルの振り分け、記憶が主なてこになります。自己ホストは量子化、微調整、基盤の水準の最適化を開きますが、別勘定が必要な計算資源の費用を持ち込みます。多くの規制業種の企業にとって、これは好みの問題ではありません。「第三者の基盤に指示を通すことは、プライバシーの方針に何が書かれていようと、しばしば検討の対象にならない」データ所在地と顧客のデータの要件が、多くの銀行と保険会社を、AWS Bedrock、Azure AI、あるいは完全なエアギャップの環境での私的なホスティングへ向かわせ、それが今度は、そもそもどのてこを使えるかを縛ります。
その答えが、どこから始めるかを決めます。効果の順に並べたてこを見ていきましょう。
効果の大きい順に並べた、LLMの費用最適化のてこ
てこ1：設計を直す——確率的なエージェントの罠から抜ける
多くの手引きはこれを最後に、付け足しのように挙げます。本来は最初に来るべきです。根本の原因に応えるからです。
複数エージェントの流れを作ったある実務者が、費用の爆発が実際どう見えるかを記録しています。
「費用の爆発。統括役は、実際の作業が始まる前に、何をするかを決めるためにトークンを消費する。流れに6つのエージェントがあれば、最低7回のLLMの呼び出しに支払うことになり、しかも統括役の呼び出しは全文脈を必要とするため、たいていいちばん高い」
これは指示の設計の問題ではありません。設計の問題です。LLMがほかのLLMを束ね、次にどのエージェントが動くか、どんな文脈を渡すか、やり直すかどうかを実行時に決めるとき、組織はすべての実行——実際の仕事を何もしない実行も含めて——について推論の費用を払います。（KYC、契約、融資の業務でこれがどう見えるかの詳しい分解は、用途別に見るAIワークフロー自動化の費用をご覧ください。）さらに悪いことに、同じ入力が実行ごとに違う実行の経路を生み得ます。研究者はこれを、エージェント型の仕組みにおける「再実行の危機」と名づけました。確率的な振る舞いが、業務を読めず、高くつき、事実上監査できないものにするのです。
現場自身の結論は率直です。「直し方は拍子抜けするほど単純だった。ワークフローの仕組みを、AIではなくコードにすることだ」
この一文が、企業のAIの業務をもっとも安く回す方法を捉えています。確率的な統括役をコードに置き換える。実行の経路——振り分け、制御の流れ、やり直しのロジック、変換の段階——を決定論的に定める。そして、非構造の書類から項目を抽出する、条項を解釈する、所見を要約するといった、言語の推論が本当に必要な段階にだけLLMを外科的に呼ぶ。それ以外はすべてコードとして走り、コードはトークン単位で請求しません。
たとえばJinba Flowのようなプラットフォームは、まさにこの設計を実際に動かします。業務が一貫し監査できる結果を生む必要のある規制業種の企業のために作られており、その設計は意図的に80％がルールベースで決定論的です。LLMは、それを必要とするおよそ20％の段階に差し込まれ、残りはコードで走ります。費用の計算がその要点です。本番の規模で走る決定論的なワークフローは月5〜20ドルで済み、同等の確率的なエージェントに基づくワークフローは月300ドル超かかります——15〜60倍の費用対効果であり、それは巧みな指示の残りかすではなく構造です。それぞれのてこに応えるツールのより広い比較は、企業の本番の負荷のために作られたLLMのAPIの費用削減のツールをご覧ください。
.png)
業務の責任者にとっては、法令対応への影響も費用への影響と同じくらい重要です。ある企業の開発者はこう言いました。「法令対応の話は面白くないが、『興味深いデモ』と『調達を通ること』を分けるのはそこだ」決定論的なワークフローは、完全で段階ごとの監査証跡を生みます。何が起きたかだけでなく、何が起きることを許されていたのか、誰によってか、そして実行が承認された経路と一致していたかまで示せます。それが、コンプライアンスのチームが弁護できるAIの支出と、彼らが端から止める支出との違いです。
てこ2：賢いモデルの振り分けを組み込む
設計が健全になれば、モデルの振り分けがもっとも効きめの大きい戦術のてこであり、モデルを替えずにLLMのトークンの費用をどう減らすかという問いへのもっとも直接の答えです。前提は単純です。すべての作業をいちばん高いモデルに通すのをやめること。
軽い分類器やルールに基づく採点の仕組みである振り分け役が、届いた依頼ごとに複雑さを見極め、それをうまく扱えるもっとも安いモデルへ送ります。標準的なKYCの書類の分類は、速く安価なモデルへ。法域をまたぐAMLのパターンの検知や、前例のない条項の解釈は、最上位のモデルへ。振り分けの判断そのものは1セントの何分の一かで済みます。
節約は大きい。賢いモデルの振り分けは、量の多い作業で費用を40〜70％減らせますし、同じ系列の中でも安い選択肢の最大60倍の価格帯のモデルがあるため、もっとも無駄の大きいところでトークンの消費が減ります。スタンフォードの研究は、一定の作業の分布において、最適化された振り分けで最大98％の費用の削減を記録しています。
AIの責任者のチームにとって、実装は素直です。2〜3の作業の階層（標準、複雑、例外）を定め、軽い分類の指示か採点の経験則を書き、それに沿って振り分ける。下の階層の品質を見張り、しきい値を調整し直す。注意すべきリスクは、下げた階層での静かな品質の劣化です。安く見えて、実は微妙に悪い抽出を返し、それが後になって例外と手直しとして表に出るというものです。
てこ3：意味の一致による記憶を使う
繰り返しの多い負荷でAIのAPIの支出を減らすいちばん速い道は、すでに買った答えに二度払うのをやめることです。意味の一致による記憶は、LLMの応答を保存し、言い回しが違っても意味の等しい新しい問い合わせに対してそれを返します。完全一致の記憶をはるかに越えるもので、実際の請求、申込、契約に特有の雑然として変わりやすい入力では、完全一致はほとんど役に立ちません。
実際には、繰り返しの多い負荷で40〜67％の的中率が実現でき、全体として20〜40％の費用の削減と、はっきり速い応答につながります。保険金請求の受付、KYCの書類の分類、標準的な契約の条項の照会のように、量の多い書類の業務を処理する企業では、効果は急速に積み上がります。
具体的な例を挙げます。自動車保険の請求を処理する仕組みは、標準的な追突事故の報告について、抽出した要約の構造を記憶できます。同じ事故の種類の次の200件は、新しいLLMの呼び出しなしに即座に返ります。言い回しは違っても、意味の近さのしきい値がその等しさを認め、記憶から返します。もっともよくある届出のパターンについて、トークンの使用はゼロになります。
実装は、GPTCacheのようなオープンソースのライブラリから、モデルの提供者による管理された解までさまざまです。量が多く変化の少ない業務では、もっとも早く得られる成果のひとつですが、記憶した抽出が変わる方針の文言からずれないよう、破棄と鮮度の戦略が要ります。
てこ4：入力と出力を圧縮する
最後の戦術のてこであり、労力と効果の幅がもっとも広いものです。何ができて何ができないかを正確に捉えることが重要です。圧縮は、すでに健全な設計の上で請求を削るものであって、確率的なエージェントの問題を救うものではありません。
入力の圧縮とは、指示の質を落とさずに、システムの指示と文脈の窓のトークンの数を減らすことです。冗長な説明の言い回しを取り除く。散文の指示を、JSONの設計、箇条書き、番号つきの手順といった構造化された形式に置き換える。モデルが明らかに使っていない文脈を削ぎ落とす。丁寧にやれば、指示の圧縮は2〜20倍のトークンの削減を、2％未満の品質の低下で達成します。月に10万回走る法令対応の業務なら、それは本物のお金です。
出力の圧縮は、見落とされがちなもう半分です。説明ではなく判断や抽出を必要とする作業では、簡潔さを強制してください。項目を定めた構造化された出力の形式が、応答のトークンを膨らませる語りの水増しをなくします。CROP（文脈に沿った応答のみの指示）のような手法の研究は、構造化された作業において、答えの質を意味あるかたちで損なわずに出力のトークンを80.6％削減できることを示しています。
この但し書きは、規制業種の企業にもっとも強く当てはまります。指示の最適化は反復的で、静かな品質の劣化を捕まえるための適切な評価の枠組みを要し、指示が成熟するにつれて得られるものは減っていきます。すでに直した設計の上での保守として扱ってください。それ自体が直し方ではありません。
戦術の手当てから、戦略の土台へ
モデルの振り分け、意味の一致による記憶、指示の圧縮は、本物の最適化です。健全な設計の上で組み合わせれば、現実の企業の場面でLLMの費用を50〜70％減らせます。これは実質的な効果です。
しかしそれらは土台の上の改善です。もしその土台が、すべての業務のすべての段階を束ねる確率的なAIのエージェントなら、組織は不要なトークンの消費、読めない実行の経路、そしてどれだけ指示を締めても調達を通らない法令対応の姿勢を抱え込みます。
規制業種の企業にとってもっとも弁護できるAIの費用の戦略は、決定論的であることです。置き換えのきかない価値をAIが足す場所でLLMを使い、それ以外はすべてコードに置き換え、完全な監査証跡と読める月々の支出をもたらす基盤に展開する。AIの予算の問題に見えるものは、たいていの場合、別の名札をつけた業務の設計の問題です。多くの予算が完全に見落としている隠れた費用を含む、総所有コストのより深い分析は、企業のエージェンティックAIのコストをご覧ください。
.png)
よくある質問
企業のAIで、LLMの費用が高くなる主な要因は何ですか？
主な要因は設計にあります。具体的には、業務全体を束ねるのに確率的なLLMのエージェントを使うことです。モデルの選択と指示の長さも効きますが、支配的な費用は、あらゆる段階で何をするかをLLMに決めさせることから生じます。エージェントに束ねさせるやり方は、実際の作業が始まる前に推論でトークンを燃やし、読めない実行の経路と膨らんだ費用を生みます。支出の60〜80％が集中する、量が多く複雑さの低い作業ではとくにそうです。
決定論的なAIのワークフローとは何で、どう費用を減らすのですか？
決定論的なワークフローとは、実行の経路が実行時のモデルの判断ではなく、コードとルールであらかじめ定められているもののことです。言語の推論を要する段階にだけLLMを外科的に呼ぶことで、費用を減らします。振り分け、ロジック、制御の流れはコードが担い、抽出と解釈はモデルが担う。これにより、エージェントの推論のトークンの間接費がなくなり、構造として低い費用（しばしば15〜60分の1）、読める性能、そして完全に監査できる実行の経路が得られます。
確率的でエージェントに基づく業務が、これほど高くつき読めないのはなぜですか？
実行のたびに、ほかのLLMや道具を束ねるための親のLLMの呼び出しが必要になり、実際の作業が始まる前にトークンを消費するからです。読めないのは、統括役が同じ入力に対して違う経路や道具の順序を選び得るからで、これは研究者が記録した「再実行の危機」です。その読めなさが、監査、不具合の切り分け、予算の見積もりを難しくし、費用に運用のリスクを上乗せします。
賢いモデルの振り分けとは何で、どれだけ節約できますか？
賢いモデルの振り分けは、分類器やルールに基づく仕組みを使い、すべてをいちばん高い選択肢に通すのではなく、各作業を扱える範囲でもっとも費用対効果の高いモデルへ送ることです。量の多い作業で費用を40〜70％減らせます。単純な依頼は速く安いモデルへ、複雑な分析は上位のモデルへ振り分け、最上位の推論を必要としなかった作業への使いすぎを防ぎます。
意味の一致による記憶は、AIの支出の抑制にどう役立ちますか？
意味の一致による記憶は、過去の問い合わせへの答えを保存し、言い回しが違っても意味の近い新しい問い合わせに再利用して、重複したLLMの呼び出しをなくします。保険金請求の処理やKYCの書類の分類のように量が多く繰り返しの多い業務では、40〜67％の的中率がそのまま20〜40％の費用の削減と、より速い応答につながります。
企業のAIで監査可能性が決定的なのはなぜで、それは費用とどう関わりますか？
規制業種では、監査可能性が、適合を示し、リスクを管理し、誤りを切り分けるための前提です。費用と結びつくのは、監査できない確率的な仕組みが調達とコンプライアンスのチームにしばしば退けられ、最初の展開が埋没費用に変わるからです。決定論的なワークフローは、法令対応を満たす段階ごとの監査証跡を提供し、その生涯を通じてより信頼でき、保守も安い仕組みをもたらします。
自らの設計が決定論的と確率的のどのあたりにあるのか分からないなら、次にやるべきもっとも有用なことは指示の調整ではありません。必要のないエージェントを走らせている業務はどれかを洗い出し、これから向かう本番の量でそれぞれが実際にいくらかかるのかを確かめることです。
Jinbaの規制業種の専門家のチームは、無料のAI戦略アセスメントを提供しています。MUFGを含むおよそ70件のエンタープライズの事例に裏づけられた、CIOがそのまま取締役会に持っていける構造化された評価です。トークンの流出がどこで起きているのか、何が監査でき何ができないのか、そして決定論的な代替ならいくらかかるのかを、はっきり示します。この評価は、そのまま展開のロードマップに翻訳できるように作られています。