ModelDriftWatch

誰のための案か

Claude / GPT / Gemini の API 上に製品を作っているチーム。今は Twitter や HN の「モデル悪くなった?気のせい?」スレを眺めるか、顧客からの苦情で劣化に気づいている

どんな困りごとか

時間 — 品質低下が自分のコードのせいか、モデル側の無告知変更のせいかの切り分けにエンジニアが何時間も溶かし、どちらの客観的証拠も無い

どう作るか

ホスト型ダッシュボード + Slack / メール webhook。監視したいモデル + バージョン + システムプロンプトの組を登録するだけで、アプリ側のコード変更は不要

どう稼ぐか

LLM API の上に作るチームが、監視するモデル + プロンプトセットの組あたり月 $99〜499 を払う。見逃した劣化はサポートチケットと解約になり、無料の評価ツールは誰かが毎日手で再実行して比較し続ける必要がある — 誰もやらない作業だから

なぜまだ無いのか

モデル提供側には自社の劣化を公表する動機が無く、評価フレームワーク(lm-eval-harness、promptfoo)はデプロイ前テスト用で、デプロイ後のドリフトを警報付きで監視し続ける設計ではない — 同じ評価を毎日永遠に回して差分を取る人はいない、という主張

最初の利用者

「Opus 5 が退化した」HN スレの週に、Opus 5 / GLM-5.3 / Qwen3.8 のドリフトスコアを追う公開ダッシュボードを投稿する。同じ体感を持つチームが客観データを求めて自分のスタックの監視に登録する

作る規模

2 人 × 10 週間

一番のリスク

Anthropic / OpenAI / Google がバージョンごとの公式評価差分を公開するか、バージョン固定のオプトインを整備すると(一部 API 層では既に部分的に実現)、この製品が解消する不確実性そのものが消える

的中の条件(3 つすべて必要)

• 設定した各モデルエンドポイントに対し、固定の 50 本のカナリアプロンプトを 1 日 1 回流し、生の出力をタイムスタンプ付きで記録する
• 埋め込み類似度 + LLM 判定のルーブリックで直近 30 日のベースラインと比較した 0〜100 のドリフトスコアを算出し、履歴チャートで表示する
• ドリフトスコアがユーザー設定の閾値を超えたら 4 時間以内に Slack かメールで警報する

的中の判定(6ヶ月後)

Product Hunt デイリー Top 5、またはツール / ダッシュボードの GitHub 500 スター以上(判定日 2027-02-15)

AI自己確度 45/100 — 判定条件を満たす見込みの自己申告で、事業の成功率ではありません