AIの代理店の保証:モデル排出およびAPIのキー漏出を停止して下さい

AIエージェントがセキュリティ境界AIエージェントを拡張する理由は、テキストを生成する以上です。 ツール、クエリデータベース、ドキュメントの取得、コードの実行、外部サービスとの通信。 あらゆる接続は、モデルのろ過やクレデンシャル漏れの潜在的なパスを紹介します。 モデルは、モデル重量、独自の行動の系統的抽出、および繰り返しクエリを介して、機密トレーニングデータの再構成の直接盗難を含みます。 攻撃者は、システムプロンプト、内部ファイル、アクセストークン、または機密コンテキストを明らかにするためにエージェントを説得する指示を注入することもできます。 API キーは、エージェントが頻繁に実行時に資格情報を必要とするため、特に脆弱です。 これらの秘密がプロンプト、ログ、トレース、例外メッセージ、またはツールの出力に現れた場合、悪意のあるユーザーはそれらを回復することができます。 慣習的なアプリケーション制御は必要とされていますが、エージェントシステムには、確率的決定と動的ツールチェーンのアカウントの追加保護が必要です。 秘密の秘密から受け取る別のエージェントは、エージェントのプロンプトまたは長期記憶に直接含まれているべきではありません。 代わりに、専用のシークレットマネージャーに資格情報を配置し、狭い範囲のツールインターフェイスを公開します。 エージェントは承認されたアクションを要求する必要がありますが、信頼できる実行レイヤーは必須のクレデンシャルを受け取り、コールを実行します。 可能な限り短命のトークン、ワークロードのアイデンティティ、および少なくとも優先権の権限を使用してください。 各ツールには、許可されたエンドポイント、操作、データタイプ、およびリクエスト制限を定義する明示的なポリシーが必要です。 顧客記録を読むことができるエージェントは、それらをエクスポートしたり、任意のドメインに送信する権限を必要としません。 プロンプトの入力と取得された文書は、信頼できないデータとして扱われるべきです。 外部ツールに到達する前に、コンテンツの分離、スキーマ検証、および出力フィルタを適用します。 テレメトリからRedactの認証情報と、ログを構成して、認証ヘッダーではなく、識別子を記録します。 これらのコンソーシアム