使い方ガイド

主要な機能の使い方を、ユースケース別にまとめました。個別の API シグネチャは REST API リファレンスや MCP サーバーを参照してください。

このページの章:

アラートと webhook
プロンプト管理
評価基準と評価ラン
アノテーション
LLM 予算の管理
自律 AI ops
フレームワーク経由の計測

1. アラートと webhook

設定の流れ

dashboard.argosvix.com/alerts を開きます。
「+ 新規アラート」をクリックします。テンプレートギャラリーから 11 種類のプリセット（月次コスト、エラー率、異常検知など）を選ぶか、手動で 1 から作成します。
通知先（webhook / Slack / Discord / Teams / PagerDuty / Email）を 1 つ以上指定します。

webhook の試験送信

webhook URL を本番アラートに登録する前に、受信できるかを試送できます（Pro+ 限定）。

curl -X POST \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/alerts/test-webhook \
  -d '{"url":"https://example.com/hook","alertName":"setup test"}'

Claude Desktop / Cursor から MCP 経由で呼ぶ場合は、test_webhook ツールが同じ機能を提供します。

⚠️ webhook の URL は HTTPS のみ受理します。private / loopback / クラウドメタデータ IP は SSRF 対策で拒否されます。レート制限はアカウント単位で 5 件 / 分です。

受信側で署名を検証する

secret を設定したアラートでは、webhook 送信時に HMAC-SHA256 署名がヘッダに付与されます。

X-Argosvix-Signature: sha256=<hex>
X-Argosvix-Timestamp: 2026-06-03T11:22:33.456Z

受信側では ${timestamp}.${rawBody} を秘密鍵で HMAC-SHA256 し、ヘッダの値と一致するか確認してください。リプレイ対策として、timestamp とサーバー時刻の差が 5 分を超えるものは拒否することを推奨します。

アラートの一時ミュートと個別確認

silence_alert / unsilence_alert: アラート全体を一定時間ミュートします（既定 24 時間）。
acknowledge_alert: 個別の発火イベントを「対応済」とマークします。ミュートとは独立した操作です。

2. プロンプト管理

名前 + バージョンでプロンプトを管理できます（Pro+）。同じ名前でも複数のバージョンを共存させられます。

新規登録

curl -X POST \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/prompts \
  -d '{
    "name": "customer_support",
    "version": "v1",
    "template": "あなたは丁寧な顧客サポートです。質問: {{question}}",
    "variables": { "question": "サンプル質問" },
    "labels": ["production"],
    "description": "顧客サポート用、 v1"
  }'

name + version はアカウント内で一意である必要があり、重複は 409 を返します。

部分更新と改名

PATCH /v1/prompts/:id — template / variables / labels / description を部分更新します。name と version は変更できません。
POST /v1/prompts/:id/rename — name と version を変更します。誤字の修正などに使います。

論理的な廃止（sunset）

旧バージョンを削除すると、そのプロンプトが過去の評価ランから切り離され、それらのランは「どのプロンプトで実行したか」の来歴を失います。削除する代わりに labels に sunset を追加する ことを推奨します。

curl -X PATCH \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/prompts/7 \
  -d '{"labels":["sunset"]}'

Claude から会話で操作

MCP 経由で create_prompt / update_prompt / rename_prompt / delete_prompt を呼べます。

あなた: カスタマーサポートのプロンプト、「丁寧な口調で」って追記しといて
Claude: （update_prompt で template を更新）
Claude: 入れました。本番ラベルはそのままです。

3. 評価基準と評価ラン

LLM の応答を別の LLM が採点する仕組み（LLM-as-judge）を提供しています。

標準基準とカスタム基準

GET /v1/eval-criteria を呼ぶと、グローバル標準の基準（helpfulness / safety / conciseness など）と、自アカウントが作成したカスタム基準が返ります。カスタム基準は Pro+ 限定です。

カスタム基準の作成:

curl -X POST \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/eval-criteria \
  -d '{
    "name": "domain_specificity",
    "rubric": "Score 1-5 based on how well the answer uses domain-specific terminology correctly.",
    "scaleMin": 1,
    "scaleMax": 5
  }'

⚠️ カスタム基準を削除すると、その基準で記録された過去のスコアもすべて削除され、過去との比較ができなくなります。改名したいだけなら PATCH（全置換）を使う方が安全です。

評価ランの実行

curl -X POST \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/eval-runs \
  -d '{
    "name": "weekly review",
    "recentCount": 50,
    "label": "production",
    "promptRegistryId": 7,
    "idempotencyKey": "weekly-2026-w23"
  }'

idempotencyKey を指定すると、60 分以内の同キーでの再実行は既存のランを返します（ダブルクリックや再試行による重複を防ぎます）。

結果の取得

GET /v1/eval-runs で一覧、GET /v1/eval-runs/:id で詳細を取得できます。呼び出しごとのスコアと根拠は scores に、軌跡ごとのスコア（後述）は trajectoryScores に含まれます。

軌跡（マルチターン）評価

基準を "scope": "trajectory" で作成すると、呼び出しごとではなく複数ターンのエージェント実行全体を 1 単位として採点します。実行時には、同一 traceId（withTrace が自動付与、または明示指定）を持つ呼び出しを時系列順にまとめ、tool / retrieval / sub-agent の観測結果も併せて 1 つのトランスクリプトに統合し、一度だけ採点します。「目標を達成したか」「ツール使用は効率的だったか」「ターンをまたいで話題から逸れなかったか」といった評価に向きます。軌跡基準は llm_judge 専用で、結果は trajectoryScores（各エントリに traceId / score / turnCount / reasoning）に返ります。

Claude から会話で運用

あなた: 先週うちのチャットボット、品質下がってない？
Claude: （list_eval_runs で直近 7 日のスコアを確認）
Claude: 5 回の評価のうち、火曜の回だけ helpfulness が平均 2.4 と低めです。
        ほかの回は 4 前後で安定しています。

4. アノテーション

呼び出し記録（call）にラベル、品質スコア、自由記述コメントを付与できます。

用途

「badly-summarized」のような問題を手動でフラグ付けする
評価用の golden dataset を構築する
カスタマーサポートの応答品質を人手でレビューする

単一 call にアノテーションを付ける

curl -X POST \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/annotations \
  -d '{
    "callId": "call-xyz-123",
    "annotationText": "答えが質問の半分しかカバーしていない",
    "label": "incomplete",
    "qualityScore": 2
  }'

annotationText / label / qualityScore のうち少なくとも 1 つが必要です。

ラベルで横断検索

GET /v1/annotations?label=incomplete で、そのラベルが付いた全 call を取得できます。ダッシュボードのアノテーションビューでもフィルタできます。

Claude から会話で運用

あなた: 直近 10 件の応答で、質問の半分しか答えてないやつにマーク付けといて
Claude: （query_calls で直近を読み、該当する応答に
       create_annotation で「incomplete」ラベルを付与）
Claude: 3 件にマークしました（A 社の問い合わせ 2 件と、B 社の 1 件）。

5. LLM 予算の管理

safety classifier、PII 二次監査、評価ランは、内部で OpenAI などの LLM を呼び出します。これらの月次の LLM コストにはアカウント単位で上限が設定されており、API から管理できます。

現在の予算状況を取得

curl -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  https://ingest.argosvix.com/v1/account/llm-feature-budget

応答:

{
  "budgetUsd": 5,
  "spentUsd": 0.42,
  "remainingUsd": 4.58,
  "periodStart": "2026-06",
  "defaultBudgetUsd": 5,
  "minBudgetUsd": 5,
  "maxBudgetUsd": 500
}

periodStart は YYYY-MM 形式で、暦月をまたぐと自動でリセットされます。

予算の引き上げ・引き下げ（Pro+）

curl -X PATCH \
  -H "Authorization: Bearer $ARGOSVIX_API_KEY" \
  -H "Content-Type: application/json" \
  https://ingest.argosvix.com/v1/account/llm-feature-budget \
  -d '{"budgetUsd":30}'

範囲は $5 から $500、$0.01 単位です。現在の spentUsd より小さい値も受け付けますが、その場合 remainingUsd は 0 になります（翌月に 0 から再計上されます）。

Claude から予算を監視

あなた: 今月の LLM 予算、残額は？
Claude: （get_llm_budget で取得）
Claude: $4.58 残っています（予算 $5、使用 $0.42、残 91.6%）。

あなた: 今月もう少しチェック回したいから $30 に上げて
Claude: （raise_llm_budget で 30 に更新）
Claude: 月予算を $30 に変更しました。

6. 自律 AI ops

「観測」にとどまらず「行動」へ。Claude / Cursor / Codex CLI から、1 つの会話の中でインフラ状態の把握 → 異常検知 → アラート設計 → 一括分類 → 評価基準の提案までを完結できます（Pro+ 限定）。

以下の Claude の応答は 説明用の例 であり、実際の本番出力ではありません。実際の数値は環境やトラフィックに依存します。

インフラ状態を 1 つの質問で把握

あなた: 今うちの LLM infra どう？
Claude: （get_account_health で直近 24 時間を取得）
Claude: 直近 24 時間で 1,247 呼び出し、コスト $4.12、エラー率 2.1%、p95 レイテンシ 1,820 ms、予算消化 18%。判定は "ok"。

内部では aggregate / percentiles / llm-budget / audit-log の 4 つのエンドポイントを並列で呼び出します。個別のエンドポイントが失敗した場合は partialFailures に記録されます。

異常を 1 つのプロンプトで検出

あなた: 何か変なことが起きてないか教えて
Claude: （detect_anomaly で直近 24 時間 + normal しきい値で評価）
Claude: 2 件の異常を検出: (1) コストがベースラインの 2.4× で major、(2) エラー率が 8% でベースラインの 4× で critical。

しきい値は sensitive（1.5×）/ normal（2×、既定）/ conservative（3×）から選べます。error_rate はパーセント（0-100）で評価されます。

アラートルールを AI に設計させる

あなた: うちの呼び出しパターンから、ちょうどいいアラートを設計して
Claude: （propose_alert_rules で 14 日分をさかのぼって分析）
Claude: 4 件のアラートを提案します:
  - cost_daily 上限 $0.50（ベースライン平均 $0.28 の 1.8 倍）
  - latency_p95 上限 3000ms（直近 p95 = 1,820ms の 1.6 倍）
  - error_rate 上限 5%（ベースライン 2.1% の 2.4 倍）
  - anomaly_cost 検知を有効化
適用しますか？

提案のみで副作用はありません。採用する場合は、別途 create_alert を使います。

未分類の呼び出しを今すぐ一括分類

あなた: 先週分の全 call をまとめて分類して
Claude: （classify_calls_batch で maxRecords=100 を実行）
Claude: 87 件を走査、85 件を判定、3 件をフラグ、失敗 0 件、スキップ 2 件。

15 分ごとに自動実行されるバックグラウンドスキャンを、「今すぐ走査する」トリガーで補完します。この経路の結果はオンデマンド実行として記録され、定期スキャン由来と区別できます。レート制限は 30 req / 60 秒の固定窓です（アカウント単位で適用）。

評価基準を AI に提案させる

あなた: うちの prompt の品質を測る基準を提案して。用途はカスタマーサポート bot
Claude: （propose_eval_criteria で useCaseHint とサンプル 3 件を渡して 5 件取得）
Claude: 5 件の基準を提案します:
  1. tone_appropriateness — トーンが丁寧でプロフェッショナルか
  2. resolution_clarity — 解決方法を明確に伝えられているか
  ... など
採用しますか？

提案のみで、自動では登録されません（採用する場合は別途 create_eval_criterion を使います）。sampleCallIds を渡すと、Argosvix 側がそれらの呼び出しを復号し、抜粋を OpenAI gpt-4o-mini に送信して提案を生成します。このデータの流れに留意してください。レート制限は 30 req / 60 秒です。

⚠️ この章のエンドポイントはすべて Pro+ 限定です。予算上限のチェック・監査ログの記録・レート制限が適用されます。詳細仕様は MCP Server と REST API Reference を参照してください。

7. フレームワーク経由の計測

wrap() は あなたが生成したクライアントインスタンスを計測します。フレームワークが内部でプロバイダのクライアントを生成する場合、wrap() は届きません。ケース別の入れ方:

直接 SDK を使う場合（最も確実）

クライアントを自分で new OpenAI() 等で作っているなら、その箇所を wrap() で包むだけです（Quickstart 参照）。クライアント生成を 1 モジュールに集約して wrap 済みを export すれば、実質 1 箇所で済みます。

Vercel AI SDK（TypeScript）

Vercel AI SDK は OpenTelemetry を内蔵しています。生成呼び出しに experimental_telemetry: { isEnabled: true } を付け、OTel の OTLP/HTTP JSON exporter を Argosvix に向けます。

exporter: @opentelemetry/exporter-trace-otlp-http（JSON over HTTP）
エンドポイント: https://ingest.argosvix.com/v1/traces
ヘッダ: Authorization: Bearer argk_...（任意で X-Project-Id: <project>）

import { OTLPTraceExporter } from "@opentelemetry/exporter-trace-otlp-http";

const exporter = new OTLPTraceExporter({
  url: "https://ingest.argosvix.com/v1/traces",
  headers: { Authorization: `Bearer ${process.env.ARGOSVIX_API_KEY}` },
});
// このexporterを OTel SDK / @vercel/otel に登録し、
// generateText/streamText に experimental_telemetry: { isEnabled: true } を渡す。

Argosvix の /v1/traces は OTLP/HTTP の JSON / protobuf 両エンコーディングに対応しています。exporter は既定設定のまま向けられます。

LangChain / LlamaIndex（Python）

2 つの選択肢:

内部クライアントに wrap: フレームワークに渡すプロバイダクライアントを自分で生成しているなら、それを wrap() してから渡すのが最も確実です。
OpenTelemetry 自動計測（OpenLLMetry 等）: OTLP exporter を https://ingest.argosvix.com/v1/traces + Bearer に向けます。Python の標準 OTLP HTTP exporter（protobuf 既定）もそのまま使えます。

Argosvix の OTLP 受け口（共通仕様）

POST https://ingest.argosvix.com/v1/traces
OTLP/HTTP は JSON / protobuf 両対応（Content-Type: application/json または application/x-protobuf）
認証: Authorization: Bearer argk_...、記録先指定は任意で X-Project-Id
取り込んだ span は呼び出し記録に正規化されます（source=otlp タグ）

AI に任せる場合

Claude / Cursor に次のように頼めば、構成を見て適切に適用します:

「このプロジェクトの LLM 計測を Argosvix に入れて。直接 SDK を使っているなら @argosvix/sdk の wrap()、Vercel AI SDK なら experimental_telemetry を有効化して OTLP/HTTP JSON exporter を https://ingest.argosvix.com/v1/traces に向けて。」

サポート

hello@argosvix.com まで連絡ください。

最終更新: 2026-07-09

使い方ガイド

1. アラートと webhook

設定の流れ

webhook の試験送信

受信側で署名を検証する

アラートの一時ミュートと個別確認

2. プロンプト管理

新規登録

部分更新と改名

論理的な廃止（sunset）

Claude から会話で操作

3. 評価基準と評価ラン

標準基準とカスタム基準

評価ランの実行

結果の取得

軌跡（マルチターン）評価

Claude から会話で運用

4. アノテーション

用途

単一 call にアノテーションを付ける

ラベルで横断検索

Claude から会話で運用

5. LLM 予算の管理

現在の予算状況を取得

予算の引き上げ・引き下げ（Pro+）

Claude から予算を監視

6. 自律 AI ops

インフラ状態を 1 つの質問で把握

異常を 1 つのプロンプトで検出

アラートルールを AI に設計させる

未分類の呼び出しを今すぐ一括分類

評価基準を AI に提案させる

7. フレームワーク経由の計測

直接 SDK を使う場合（最も確実）

Vercel AI SDK（TypeScript）

LangChain / LlamaIndex（Python）

Argosvix の OTLP 受け口（共通仕様）

AI に任せる場合

関連ドキュメント

サポート