【Notion】Notionカスタムエージェントのインサイトでチャット利用状況の分析をやってみた

はじめに

こんにちは、ネクストモードの鮎澤です。

Notionのカスタムエージェントに、インサイト機能が登場しました。インサイトを使うと、チャットごとに使用したクレジットポイントや、自動モデル選択時に実際に使われたAIモデルなど、エージェントの利用状況を細かく確認できます。

「想像以上にクレジットポイントを消費していた……」といったときの調査や、エージェントの運用改善にきっと役立つはずです。本ブログでは、実際の画面を交えながらインサイトへのアクセス方法と確認できる項目をご紹介します。

カスタムエージェントについては以下ブログをご覧ください。

また、具体的なユースケースは以下ブログをご参考をご覧ください。

インサイトへのアクセス方法

カスタムエージェントのインサイトは、フィルターアイコンの横からアクセスできます。

アクセスにはフルアクセス権限が必要です。ワークスペースオーナーであっても、編集権限以下の場合は確認できない点に注意しましょう。

確認できる項目

インサイトの「すべてのチャット」タブでは、以下の項目を確認できます。項目はドラッグで自由に並び替えが可能です。

上図を見ると、「アクション無し」の場合でも、アクションをしないという判断のためにクレジットポイントが消費されていることがわかります。地味ですが、消費状況を把握するうえで見逃せないポイントです。なお、チャット後のインサイトへの表示は、ほぼリアルタイムで反映されていました。

チャートで傾向を可視化

インサイトでは数値の一覧だけでなく、チャートでも利用状況の傾向を確認できます。クレジットポイントの推移などを視覚的に把握したいときに便利ですね。

まとめ

今回は短い紹介となりましたが、カスタムエージェントのインサイト機能は個人的に熱い機能なので、見ていてかなり興奮しました。

カスタムエージェントのインサイトを使えば、チャットごとのクレジットポイントや利用モデル、使用したツール、エラーの有無まで、エージェントの利用状況をリアルタイムに近い形で詳細に把握できます。

また、モデルによってクレジット使用量にどれくらい違いがあるか確認することもできるので、AIの精度とクレジットポイントを天秤にかけて、どちらを優先するかの判断もできそうですね。

見てるだけでも面白いので、ぜひ作成したカスタムエージェントをインサイトで見てみて下さい。

Notionについてのお問い合わせ

ネクストモード社は、日本で3社しかないNotion販売代理店です。(2025/12現在)
Notion導入を検討の際は是非下記からお問い合わせ頂けますと幸いです。