Promptic：LLMアプリ評価とプロンプト最適化

Prompticは、LLMを使った機能を自社のテストケースで評価し、プロンプトやAIエージェントを改善するためのプラットフォームです。品質だけでなくコストと応答時間も並べて確認でき、OpenTelemetryベースのトレースから失敗の原因を追えます。

Prompticは何をするサイト？やさしく説明

AIに同じ問題集を何度も解かせ、変更前後の答えを比べる場所だと考えると分かりやすいでしょう。実際の入力と期待する出力を用意し、複数のプロンプト、モデル、エージェント構成を同じ条件で試します。点数だけでなく、どのケースが失敗し、どのステップで時間や費用が増えたかを調べられます。一般的なモデルランキングでは、自社の業務に合うかまでは分かりません。

最初の評価を進める手順

組織、AI Application、コンポーネントを作り、代表的な入力と期待結果を登録します。タスクに合う評価基準を設定して実験を実行し、個別の失敗例を確認してください。同じデータセットで候補を比べ、品質、コスト、レイテンシの優先順位に合わせて選びます。ダッシュボード入門とプロンプト最適化ガイドに手順があります。テストケースが偏っていれば、高い評価点でも本番の成功は保証されません。

エージェントとトレースをどう使うか

複数ステップのエージェントでは、最終回答に加えてツール呼び出しや途中の処理が重要です。Prompticはモデルとツールの呼び出し、token、費用、各spanの所要時間を記録します。候補となるエージェント構成を同じケースで比較し、失敗トレースを読んで修正した後、再評価できます。エージェント最適化の説明も参照してください。サイト上の例示スコアを実際の改善保証と見なさないでください。

無料枠と料金の条件

2026年9月27日に確認した公式料金表では、Freeは€0で1ユーザー、1 AI Application、月20万Promptic Credits、トレース保持14日です。Teamは月€149、Businessは月€599と表示されています。モデルキーの持ち込みが可能で、管理対象モデルの利用料金は別に発生する場合があります。追加アプリやCreditsも含めて見積もってください。利用規約は無料枠を含め、事業・職業上の利用に限定しています。

データを送る前に

評価データやトレースには入力、出力、ツール引数などが含まれ得ます。利用規約によると顧客は内容の所有権を保持し、別途書面で合意しない限り基盤モデルの学習には使われません。ただし、高度に機密性の高いデータの送信には書面合意が必要です。プラットフォームのEUデータ地域と、選択したモデル経路の推論地域・保持条件を同一視せず、設定ごとに確認しましょう。

よくある質問

プロンプトだけでなくエージェントも評価できますか？

はい。同じケースと指標でエージェント構成を比較し、トレースから失敗箇所を調べられます。

Freeなら個人的な学習にも使えますか？

いいえ。公式の利用規約は、Freeを含め事業または職業上の利用に限定しています。

モデル利用料も月額に含まれますか？

必ずしも含まれません。自分のモデルキーを使える一方、管理対象モデルは別途請求される場合があります。

公式資料

• 製品ドキュメント：設定とAPI。
• 最新の料金：枠と追加費用。
• 問い合わせ窓口：企業利用の相談。