ジェネレーティブ AI の両刃の剣: リスクを軽減しながら潜在能力を引き出す

AIがセキュリティの状況を劇的に変えたのは1年も経たないうちにのことでした。ジェネレーティブAIは2024年2月に主流になり始めました。最初の数か月は驚きの連続でした。AIが実現できることや、AIがもたらす効率性は前代未聞でした。ある調査会社によると、 2024 Stack Overflow 開発者アンケート開発者の約 75% が現在 AI コーディング ツールを使用しているか、使用を計画しています。

これらのツールの中で、OpenAIのChatGPTは特に人気があり、 開発者の82%が定期的に使用していると報告GitHub Copilot がそれに続き、開発者の 44% が使用しています。コードの作成に関しては、開発者の 82% が AI を使用しており、68% が答えを探す際に AI を活用しています。コードを適切に記述する方法を理解している開発者と生成 AI を組み合わせると、効率が 50% 以上になることは珍しくありません。

導入は広まっていますが、AI 生成コードの正確性とセキュリティについては懸念があります。経験豊富な開発者やアプリケーション セキュリティ担当者であれば、Generative AI で作成されたコードに問題があることにすぐに気付くでしょう。数回の簡単なプロンプトで、バグや問題がすぐに現れます。

しかし、AI に熱心な開発者がコードに持ち込んでいるのは、昔ながらのセキュリティ バグだけではありません。開発中の製品に AI モデルを取り入れることも増えています。多くの場合、セキュリティ担当者の許可はおろか、認識も得られず、さまざまな問題が浮上します。幸いなことに、AI は正しい方向に向けられれば、こうした問題と戦うのにも優れています。

この記事では、次の方法について説明します。

• AI は、セキュリティ チームが認識していないシャドー AI も含め、組織が所有および使用しているすべての AI テクノロジーを発見するのに役立ちます。
• AI により、コードからセマンティック データ ポイントを抽出できるようになり、アプリケーション セキュリティにおける革命的な進歩が実現します。
• AIを活用したレッドチーム演習でLLMやアプリケーションの脆弱性を発見
• AI は、AI 関連の脆弱性から保護するためのガードレールと緩和戦略の作成に役立ちます。
• AI は、開発者がアプリケーションで使用する API を理解し、保護するのに役立ちます。

シャドー AI: コードベースに潜む目に見えない脅威

開発者が、同僚に遅れを取らないようにする必要性に駆られたり、AI が提供するものに単に興味を持ったりして、セキュリティ チームの知らないうちに AI モデルやツールをアプリケーションに統合しているシナリオを想像してみてください。これがシャドー AI が発生する仕組みです。

Mend.io での私たちの観察により、驚くべき傾向が明らかになりました。AI に関して、セキュリティ チームが認識しているものと開発者が実際に使用しているものの比率は 10 倍です。つまり、セキュリティの管轄下にある AI プロジェクトごとに、さらに 10 のプロジェクトが影で運用されており、組織のセキュリティに重大なリスクを生み出しているということです。

シャドウ AI がなぜそれほど懸念されるのでしょうか?

• 制御されていない脆弱性: 監視されていない AI モデルには既知の脆弱性が潜んでいる可能性があり、アプリケーションが攻撃に対して脆弱になったり、影響を受けやすくなったりします。

• データ漏洩: 不適切に構成された AI により、機密データが誤って公開され、プライバシー侵害や規制違反の罰金につながる可能性があります。

• コンプライアンス違反: 承認されていない AI モデルを使用すると、業界の規制やデータ セキュリティ標準に違反する可能性があります。

幸いなことに、AI 自体がこの課題に対する解決策を提供しています。高度な AI 駆動型セキュリティ ツールは、コードベース全体をスキャンして、目に見えないものも含め、使用されているすべての AI テクノロジーを特定できます。包括的なインベントリにより、セキュリティ チームはシャドー AI を可視化し、リスクを評価し、必要な軽減戦略を実装できるようになります。

セマンティック セキュリティ: コード分析の新時代

従来のアプリケーション セキュリティ ツールは、基本的なデータと制御フローの分析に依存しており、コード機能の理解は限られています。しかし、AI にはセマンティック理解を組み込む機能があり、その結果、より優れた結果をもたらします。

AI 対応のセキュリティ ツールでは、コードからセマンティック データ ポイントを抽出できるようになり、AI モデルの真の意図と動作に関するより深い洞察が得られます。これにより、セキュリティ チームは次のことが可能になります。

• 複雑な脆弱性を特定: 従来のセキュリティツールでは気付かなかった脆弱性を発見
• AI モデルの動作を理解する: AI モデルがデータや他のシステムとどのように相互作用するか、特にエージェント AI または RAG モデルとどのように相互作用するかを明確に理解します。
• セキュリティ テストの自動化: セマンティック理解に基づいて、より高度でターゲットを絞ったセキュリティ テストを開発し、QA 自動化スクリプトや内部ユニット テストを迅速に作成および更新できるようになります。

敵対的 AI: AI レッドチームの台頭

他のシステムと同様に、AI モデルも攻撃に対して脆弱です。AI レッド チームは、AI の力を活用して敵対的攻撃をシミュレートし、AI システムとその実装の弱点を明らかにします。このアプローチでは、敵対的プロンプト、つまり脆弱性を悪用して AI の動作を操作するように特別に作成された入力を使用します。これが達成される速度を考えると、近い将来 AI が頻繁に使用されることはほぼ間違いありません。

AI レッド チームの活動はそれだけではありません。AIレッド チームのツールを使用すると、アプリケーションは、弱点を特定してシステムを停止するように設計された残忍な攻撃に対抗できます。これらのツールの一部は DAST の動作に似ていますが、はるかに厳しいレベルです。

重要なポイント:

● プロアクティブな脅威モデリング: AI モデルがどのように操作され、環境や他の AI モデルを攻撃するように調整されるかを理解することで、潜在的な攻撃を予測します。

● 堅牢なセキュリティ テスト: AI レッド チーム手法を実装して、脆弱性を積極的に特定し、軽減します。

● AI 開発者とのコラボレーション: 開発チームと緊密に連携して、安全な AI 開発と安全なコーディング プラクティスの両方を確保します。

ガードレール: 安全な AI 動作の形成

AI は無視できないほど多くの価値を提供します。その生成能力は、AI を扱う人々を驚かせ続けています。AI に好きなことを尋ねると、常に正確とは限りませんが、多くの場合非常に正確な答えが返ってきます。このため、責任を持って安全に AI を使用するためのガードレールを開発することが重要です。

これらのガードレールは、次のようなさまざまな形式をとることができます。

• 強化されたコード: プロンプトインジェクションなどの脆弱性を防ぐために、コードにセキュリティのベストプラクティスを実装します。
• システム プロンプトの変更: AI モデルの機能を制限し、意図しないアクションを防ぐために、システム プロンプトを慎重に作成します。
• サニタイザーとガード: 入力を検証し、出力をフィルタリングし、不正アクセスを防止するセキュリティ メカニズムを統合します。

ガードレールを実装する際の重要な考慮事項は、セキュリティと開発者の柔軟性のトレードオフです。集中型のファイアウォールのようなアプローチは導入が容易ですが、開発者がカスタマイズしたアプリケーション固有のガードレールは、よりきめ細かく効果的な保護を提供できます。

AI 時代の API セキュリティの必須事項

AI アプリケーションは、外部のサービスやデータ ソースとやり取りするために API に大きく依存しています。この相互接続性により、組織が積極的に対処しなければならない潜在的なセキュリティ リスクが生じます。

AI アプリケーションにおける API セキュリティに関する主な懸念事項:

• API 経由のデータ漏洩: 悪意のある攻撃者は、API の脆弱性を悪用して、AI モデルによって処理された機密データを盗む可能性があります。
• 侵害された API キー: 保護されていない API キーにより、AI システムやデータへの不正アクセスが発生する可能性があります。
• サードパーティ API のリスク: サードパーティ API に依存すると、組織がそれらのサービスの脆弱性にさらされる可能性があります。

AI アプリケーションで API を保護するためのベスト プラクティス:

• 徹底的な API インベントリ: AI アプリケーションで使用されるすべての API を特定し、そのセキュリティ体制を評価します。
• 安全な API 認証と承認: API アクセスを制限するために強力な認証と承認のメカニズムを実装します。「最小共通権限」モデルを実装していることを確認します。
• 定期的な API セキュリティ テスト: 定期的なセキュリティ評価を実施して、API の脆弱性を特定し、軽減します。

結論

AI革命は将来の可能性ではなく、すでにここにあります。この記事で説明したAIセキュリティの洞察を確認することで、組織はこの変革の時代を乗り切り、リスクを最小限に抑えながらAIの力を活用することができます。AIが主流になってまだ少ししか経っていませんが、1年後にはどうなっているか想像してみてください。AIの未来は明るいので、それを活用する準備をして、安全を確保してください。** AIとAppSecの詳細については、当社のビデオをご覧ください。 ウェビナー**そして、AI 主導の AppSec を取り巻く重要な質問を検討し、この新しい時代にコードを保護する方法を見つけてください。AIはソフトウェア開発に革命をもたらしていますが、あなたのセキュリティ戦略はそれに追いついていますか?

-Mend.ioのプロダクトマーケティング担当副社長、ジェフリー・マーティンによる執筆