AI新聞

既存のLLMは文章生成が得意だが遅く高価で、ツール呼び出しも文字出力に依存するのが課題。著者はJevを試し、自然言語を介さずに構造化出力し、256並列でスコアリングできる点が本質だと述べる。レスポンスは約500ms、出力は無料で安価、confidenceで誤り検知もしやすい。

ただし深い推論は苦手で、用意した選択肢の中でしか動けない。だから既存LLMの代替ではなく、危険コマンドの抑止や多数ツールからの適切選択など「高速な判定役」として補完するのが筋。要するにCPU的なLLMに対し、精度は落ちるが並列で速いGPU的存在だという見立て。

Jevは文章を出さず、判断と確率を返すモデルだが、筆者はLLMでも「最初の1トークンのスコア（logit＝出力直前の得点）だけ読む」「バッチ化やKVキャッシュで共通部分を再利用」などで近いことができると主張する。実験ではGemma3 270MでJSON生成をやめ、logit直読みの並列化により77倍の高速化を確認。DOOM/マリオでも低レイテンシが鍵だが、環境差で性能がぶれる点も示した。

一方、開発元は「LLMは選択肢の並び順の偏りや過信があり、確率が現実の不確かさに合わない。Jevは正しく校正された確率を返す」と説明。筆者は、この校正が本当に効くかは今後の検証（ECEなどの誤差指標）が必要で、LLM側が同様のAPIを出せば優位は不透明だと結論づけている。

Claude Codeの「Auto Mode」風など、Jevを使った判定自動化の実例と導入手順をまとめた記事。

• Jevは状態と質問から型付きの回答と確率を返すモデル。用途を絞れば速く安い。超高速・低コストの判定APIとして使える（雑に言うと高性能なif文）。
• 使い方: Typesafe AIの待機リストが王道。すぐ試すならVercel AI Gateway（AI Credit課金、SDKはJS中心）やCloudflare AIでも可。
• 事例1: コマンド実行やファイル変更の許可判断をJevに任せ、危険操作だけブロック。Bun+Vercel SDKで実装し体感は爆速（レイテンシ設計がカギ）。
• 事例2: grill-jevで一問一答の一次評価を自動化。8問を約677ms・$0.00013356で処理し、要件案と未決一覧のADRを自動生成。
• 注意: 確率は「正しさ」ではなくモデルの自信度。閾値や未決の扱いを設計に明記する。
• 応用: Tool Call結果の自動判定・圧縮、雑でも速いLinter代替など、開発ハーネスの部品として拡張しやすい。

VoiceAgent向けにAI時代のセルフサービス分析基盤を1人月で作った事例のまとめ。

• 中心設計は、セマンティック定義をdbtのschema.ymlに一元化し、Lightdashでそのまま使うこと。定義の二重管理を断ち、正しい指標と結合だけで集計できる
• Lightdash APIを包む自前MCPサーバで自然言語から同じ指標を取得。結果に根拠URLとSQLを必ず添え、PIIはLLMへ返さない
• 権限境界はBI層に集約。*_piiテーブル隔離＋user_attributes＋行絞り込み＋期限付き付与＋クエリ監査で、機微情報を最小限開示
• プロダクト横断のプラガブル構成。config.yamlを足すだけで受け入れ、dbt/Lightdashは製品ごとに独立
• データ連携はBigQuery中心。CDC/スナップショット/Glueを鮮度・整合・コストで使い分け。CDCの高額化はmax_staleness緩和と太い列除外で抑制
• インフラはGKE AutopilotでOSSセルフホスト。月約1,200ドル、DWH/BIライセンス費ゼロ
• LLMが大半のコードを作成。命名lintやテストで破ったら落ちる仕組みにして品質担保。チャート選択のコツや設定スキーマをツールに埋め、LLMの出力を安定化
• 成果：非エンジニアが自走してダッシュボード作成、重いクエリ問題は解消。社内利用拡大と意思決定の高速化につながった