--- title: "AIセキュリティとは？生成AIのセキュリティ対策とAI固有リスクを解説" url: "https://www.issoh.co.jp/column/details/15306/" published: 2026-07-18 updated: 2026-10-12 categories: ["セキュリティ"] publisher: "株式会社一創" --- # AIセキュリティとは？生成AIのセキュリティ対策とAI固有リスクを解説 生成AIを業務に取り入れる企業が増え、学習データの汚染やプロンプトインジェクション、従業員が無断で外部AIサービスを使うシャドーAIなど、従来の対策では捉えきれないリスクが広がりました。この記事では、AIセキュリティの定義から、生成AIのセキュリティ対策として何に着手すべきか、情報漏洩・プロンプトインジェクション・シャドーAIという3経路ごとの防ぎ方、AI推進法やAI事業者ガイドライン第1.2版など押さえる制度までを順に扱います。自社のAI利用段階ごとの投資水準と、内製と外部委託の分岐点も示します。 ## まとめ：生成AIのセキュリティ対策は「AIを守る」と「AIで守る」の二本柱で決まる AIセキュリティとは、AIシステムそのものを攻撃から守る「Security for AI」と、AIを使って防御を強化する「AI for Security」の2領域を指す言葉です。企業がまず取り組むべきは前者で、保護対象は学習データ・モデル・入出力まで広がります。 結論を先に示します。社外の生成AIサービスを使うだけの段階なら、入力してよい情報の線引き、学習オプトアウトの設定確認、シャドーAIの棚卸し、社内教育の4点が対策の中心です。自社システムにAIを組み込む段階では、入出力の検証やアクセス制御などの技術的対策と脆弱性診断が加わります。制度面の土台はAI推進法・人工知能基本計画・AI事業者ガイドライン第1.2版の3本です。 ## AIセキュリティの定義とは・従来の情報セキュリティ対策と異なる保護対象 AIセキュリティは、AIの開発・利用に伴う固有のリスクを管理する取り組みの総称です。対象はモデルと学習データに限らず、入出力とAIの接続先の業務システムまで含みます。 ### AIを守るSecurity for AIとAIで守るAI for Securityの区分 Security for AIは、学習データの汚染やモデルの窃取、プロンプト経由の攻撃からAIシステムを防護する領域です。AI for Securityは、機械学習による異常検知やマルウェア判定など、防御側がAIを道具として使う領域を指します。後者の導入実務はサイバーセキュリティAIの基本構造と防御・導入・運用の実務で解説しています。 両者は投資判断では別物です。前者はAIを使う全企業に関わる「守りの義務」に近く、後者はSOC運用の効率化など目的が明確な場合に選ぶ攻めの投資です。 ### 保護対象が学習データ・モデル・出力へ広がる従来型セキュリティとの相違 従来の対策は、[情報セキュリティの3要素（機密性・完全性・可用性）](https://www.issoh.co.jp/column/details/13078/)を軸にネットワークや端末を守るのが中心でした。AIセキュリティでは「学習データの完全性」「モデルの振る舞いの妥当性」「出力の安全性」という検証対象が加わります。 | 観点 | 従来の情報セキュリティ | AIセキュリティ | | -------- | --------------- | --------------------- | | 主な保護対象 | ネットワーク・端末・データ | 学習データ・モデル・入出力 | | 代表的な脅威 | マルウェア・不正アクセス | データ汚染・プロンプト攻撃 | | 対策の中心 | 境界防御とアクセス管理 | 入出力検証とAIガバナンス | | 参照する主な基準 | ISMS（ISO 27001） | ISO 42001・NIST AI RMF | 既存のISMS運用を土台に、AI特有の検証項目を上乗せする形が現実的です。ゼロから別体系を作る必要はありません。 ### 生成AIの業務利用で広がった情報漏洩経路と入力データの取り扱い 対話型AIに機密情報を入力すると、その内容は事業者側のサーバーに送信され、設定によってはモデル改善に使われる可能性があります。2023年には海外の大手電機メーカーで従業員が対話型AIにソースコードを入力した事案が報道され、同社は社内利用を制限しました。 経路はチャット画面だけではありません。議事録の自動文字起こし、ブラウザ拡張の要約機能、コード補完ツールなど、AIが裏側で動く道具はすべて入力データの送信先になります。どのツールが何を送っているか把握しないまま広げると、漏洩経路の数だけが増えます。 ## 学習データ汚染からモデル悪用まで・企業が直面するAI固有の攻撃手法 AI固有の攻撃は、学習段階・推論段階・利用段階のどこを狙うかで整理できます。2025年版の全10項目は[OWASP TOP 10 for LLM 2025から読み解くAIセキュリティの最新脅威](/tech/details/12798/)にまとめており、本章は発注判断に関わる代表例へ絞ります。 ### 学習データ汚染（データポイズニング）が引き起こすAI判断の歪み データポイズニングは、モデルの訓練データに悪意あるデータを混入させ、特定の入力に対する誤判断や隠し動作（バックドア）を仕込む攻撃です。[OWASP Top 10 for LLM 2025](https://genai.owasp.org/llm-top-10/)では、LLM04「Data and Model Poisoning」として主要リスクに並びます。 厄介なのは、汚染されたモデルが通常のテストでは正常に見える点です。外部の公開データセットや委託先経由でも混入し得るため、データの出所管理が防御の起点です。攻撃手口と実装レベルの防御策は[データポイズニングの学習データ汚染の攻撃手口と防御策](https://www.issoh.co.jp/tech/details/13606/)にまとめました。 ### プロンプトインジェクションによる機密情報の漏えい・不正操作の仕組み プロンプトインジェクションは、AIへの指示文に攻撃的な命令を紛れ込ませ、開発者が設定した制約を回避させる攻撃です。OWASP Top 10 for LLM 2025ではLLM01に置かれ、抜き取られる情報の側はLLM02「Sensitive Information Disclosure」、システム側の指示文の露出はLLM07「System Prompt Leakage」として別項目に分かれています。 直接の入力だけでなく、AIに読み込ませたWebページや文書へ命令を埋め込む間接型もあります。型と種類は[プロンプトインジェクションの仕組み・種類・対策](https://www.issoh.co.jp/tech/details/1535/)で扱い、実装側の防御設計は本記事の後半で示します。 ### 敵対的サンプル・モデル窃取など推論段階を狙う攻撃と業務への影響 敵対的サンプル（Adversarial Examples）は、人間には判別できない微小な加工を入力に施し、画像認識や検知モデルを誤作動させる手法です。検品や本人確認にAIを使う業務では、誤判定がそのまま損失につながります。 モデル窃取（Model Extraction）は、APIへの大量問い合わせから応答を収集し、モデルの複製を作る攻撃です。開発投資の流出に加え、複製モデルを解析して弱点を探る踏み台にもされます。大量問い合わせは課金の膨張も招き、OWASPはLLM10「Unbounded Consumption」を別項目に立てました。API利用量の監視とレート制限が両方に効きます。 ## 情報漏洩とシャドーAIの調査数値から決める生成AI利用の初動と線引き 社外の生成AIサービスを使う段階の事故は、攻撃より入力の事故が大半です。製品購入なしで潰せる領域で、順番を間違えなければ費用もかかりません。 ### 生成AIへの入力が個人情報保護法に触れる条件と社内での線引き基準 個人情報保護委員会が2023年6月2日に公表した[注意喚起](https://www.ppc.go.jp/news/careful%5Finformation/230602%5FAI%5Futilize%5Falert/)が、条件を切り分けています。個人情報取扱事業者が本人の同意なく個人データを含むプロンプトを入力し、そのデータが応答の出力以外の目的で取り扱われる場合、個人情報保護法に違反する可能性があるという整理です。 実務では一律に禁じるより、情報の種類で入力可否を線引きした方が守られます。氏名・連絡先・顧客の取引内容・未公開の技術情報・採用選考の記録は禁止、公開済みの製品情報や一般的な技術質問は許可、という粒度まで落とすのが出発点です。迷う情報の相談先を1つ決めておくと、現場が止まりません。 ### 調査データで見えたシャドーAIの発生率と入力されている情報の内訳 エルテスが2026年1月13日に実施した会社員・公務員300名への調査では、業務で生成AIを使う人が全体の34.3%で、会社が許可していないツールを使った人は生成AI利用者の約5人に1人でした。生成AI利用者の6.8%は、氏名・住所・連絡先などの個人情報を含むデータをアップロードしたと回答しています。 同じ調査で、利用規程が社内に「ない」と答えた割合は45%、非公開情報の投入に抵抗がある層は75.8%でした。抵抗感はあるのに規程が無い、という組み合わせがシャドーAIの温床です。禁止令だけでは私物端末に潜るため、承認済みツールの提供と入力してよい情報の提示を同時に出す方が効きます。 ### 学習オプトアウトと履歴保存期間の設定確認で塞ぐ漏洩経路の優先順位 設定確認で見る場所は契約形態で変わります。法人向けプランやAPI経由では入力データを学習に使わない設定が既定の製品が多く、個人向けの無料プランは既定が逆のこともある。自社が使う全ツールについて、学習利用の有無・会話履歴の保存期間・管理者の閲覧範囲の3点を一覧にするところが出発点です。 次に効くのが送信先の制御です。業務端末から未承認のAIサービスへ接続させない仕組み、社内文書を扱うツールの権限見直し、ログの保全を並べれば、漏洩経路の大半は塞がります。既存のグループウェアへAIが後から載る場合は過剰共有の可視化が先で、[Microsoft 365 Copilotの情報漏洩対策と過剰共有の可視化](https://www.issoh.co.jp/tech/details/17565/)に設定手順をまとめました。 ## ガバナンス・技術・運用の3層で組み立てる企業のAIセキュリティ対策 対策は、ルールを決めるガバナンス層、仕組みで防ぐ技術層、回し続ける運用層に分けると漏れが出にくい。優先順位は利用形態で変わりますが、出発点は常にガバナンス層です。 ### AI利用ルールの策定と社内教育で固めるガバナンス面の対策手順 最初に決めるのは「誰が・どのAIを・どの情報まで入力してよいか」の3点です。AI事業者ガイドラインの共通の指針のうち、プライバシー保護とセキュリティ確保の項目は、そのまま社内規程のチェックリストに使えます。 - 入力禁止情報の定義（個人情報・顧客データ・未公開の技術情報） - 承認済みAIサービスの一覧と、新規利用時の申請手順 - 出力の取り扱い（事実確認と著作権の確認を経て業務利用） 規程は作って終わりではなく、事例を使った年1回以上の研修とセットで機能します。違反時の対応まで決めておくと、初動が速くなります。 ### 入出力フィルタリング・アクセス制御・ログ監視による技術的対策 AIを組み込んだシステムでは、入力に紛れた命令の検知と、出力に含まれる機密情報・不適切表現のフィルタリングを実装します。モデルや学習データへのアクセスは役割ごとに権限を分け、プロンプトと応答のログから異常な問い合わせを監視する構成が基本形です。 クラウドの生成AIサービスを併用するなら、前章の学習オプトアウトに加えて通信・保存データの暗号化設定の確認まで、同じ棚卸しで済ませてください。 ### 脆弱性診断とインシデント対応で回すAIセキュリティの運用体制 AIシステムは公開後もモデル更新や参照データの追加で振る舞いが変わり、一度の診断では守り切れません。運用では次のサイクルを回します。 1. 定期的な脆弱性診断（プロンプトインジェクション耐性の点検を含む） 2. ログ監視による異常検知と一次対応 3. インシデント発生時の遮断・影響範囲の特定・報告 4. 再発防止策のモデル・ルールへの反映と次回診断での確認 担当を情報システム部門に兼務させるなら、AI特有の攻撃手法の教育が前提です。攻撃側もAIを道具にし始め、実行時にLLMを呼ぶ[AI駆動型マルウェアと検知が外れる理由](https://www.issoh.co.jp/tech/details/8531/)のように既存の検知が通りにくい型も出ています。兼務で回らない規模になったときが外部委託の検討時期です。 ## プロンプトインジェクションを止める入出力検証とRAG構成の防御設計 自社システムにAIを組み込む段階から、対策は実装の話になります。プロンプトインジェクションは入力文の書き換えだけで成立し、指示文を強くするだけでは止まりません。 ### 直接型と間接型の違いから決める入力検証とシステムプロンプト保護 直接型は、利用者が入力欄に「前の指示を無視して」と書き込む型です。間接型は、AIが読み込む社内文書やWebページに命令を仕込み、利用者が気づかないまま実行させる型で、社内文書検索やRAG構成が影響を受けます。OWASPがLLM08「Vector and Embedding Weaknesses」を独立項目に立てたのも、参照データ側が攻撃面になるためです。 実装で先に入れるのは、外部から取り込んだデータと利用者の入力を同じ文脈に混ぜない分離です。取り込んだ本文は命令として解釈しない前提で扱い、指示文には秘密情報を置きません。入力の検査には日本語向けのガードレールも使え、検知項目は[chakoshiの仕組みと検知項目](https://www.issoh.co.jp/tech/details/5918/)にまとめました。 ### 出力検証とガードレール導入で止める情報の抜き取りと権限の逸脱 入力の検査だけでは取りこぼしが出ます。出力側でも、機密情報のパターン検出、外部URLへの誘導の遮断、生成結果をそのままコマンドやSQLへ渡さない処理を挟みます。OWASPのLLM05「Improper Output Handling」は、この受け渡しの不備を指す項目です。 もう1つの軸が権限の設計です。操作権限を読み取りだけに絞り、送金や削除など不可逆な操作には人間の承認を挟めば、インジェクションが成立しても被害を止められます。プロンプト側の堅牢化を助けるPrompt HardenerのようなLLMアプリ向けツールもありますが、権限設計の代わりにはなりません。 ## AI推進法・AI事業者ガイドライン第1.2版など押さえる法規制と基準 AIセキュリティの要件は法制度と業界基準の両輪で決まります。国内制度を押さえ、取引先や海外展開の要請に応じて国際基準を足す順番が実務的です。 ### 2025年9月全面施行のAI推進法と2026年7月の人工知能基本計画 [AI推進法（令和7年法律第53号）](https://www8.cao.go.jp/cstp/ai/ai%5Fact/ai%5Fact.html)は2025年6月4日に公布され、一部が同日、残りが同年9月1日に施行されました。本則28条と附則2条の構成で、罰則はなく、国の施策への協力を事業者の責務として定める理念中心の法律です。 同法に基づく法定計画として、[人工知能基本計画](https://www8.cao.go.jp/cstp/ai/ai%5Fplan/ai%5Fplan.html)が2025年12月23日に初めて閣議決定され、2026年7月14日には現行の計画が閣議決定されています。内閣総理大臣を本部長とする人工知能戦略本部が推進状況を追い、政府の重点領域はこの計画で更新されます。社内規程を作るなら、条文より計画と次のガイドラインの方が手がかりが多い。 ### AI事業者ガイドライン第1.2版が追記したAIエージェントと自動化バイアス [AI事業者ガイドライン](https://www.soumu.go.jp/main%5Fsosiki/kenkyu/ai%5Fnetwork/02ryutsu20%5F04000019.html)は総務省・経済産業省が公表する実務指針で、2024年4月の初版から2度の改定を経て、2026年3月31日に第1.2版が出ました。第1.2版では、環境を感知して自律的に行動するAIエージェントと、センシングから物理的な行動までをつなぐフィジカルAIが定義として追記され、権限設定と人間の判断の介在が論点に上がっています。 もう1つの追記が自動化バイアスです。AIの判断を人が過度に信頼して自らの検証を省くリスクが明示され、AI開発者・AI提供者・AI利用者の役割分担も具体化されました。法的拘束力はありませんが、取引先への説明や社内規程の根拠になる事実上の基準線です。 ### NIST AI RMF・ISO/IEC 42001・EU AI Actの位置づけ 米国NISTのAIリスクマネジメントフレームワーク（AI RMF 1.0）は2023年1月に公開され、2024年7月に生成AI向けプロファイルが追加されました。統治・マッピング・測定・管理の4機能でリスクを扱う構成で、抜け漏れ点検に向きます。ISO/IEC 42001は2023年12月に発行されたAIマネジメントシステムの国際規格で、ISMSのAI版にあたり第三者認証も取得できます。 [EUのAI法（AI Act）](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)は2024年8月1日に発効し、禁止慣行とAIリテラシー義務が2025年2月2日、汎用AIモデルの義務が2025年8月2日、本体の一般適用が2026年8月2日から始まりました。AI Omnibus規則により、附属書IIIの高リスク分野は2027年12月2日、製品に組み込まれる型は2028年8月2日へ後ろにずれています。EU域内へサービスを出す日本企業も対象になるため、海外展開の予定があるなら要件確認が先に立ちます。 ## AI利用の3段階で決めるセキュリティ投資の適正水準と外部委託の判断 AIセキュリティ対策は、全部やろうとすると際限がありません。自社のAI利用がどの段階かで必要水準を決めるのが、過剰投資と無防備の両方を避ける現実的な線です。 ### 社外サービス利用・組込開発・自社モデル運用の段階別に見る必要水準 第1段階は、ChatGPTなど社外の生成AIサービスを業務で使う段階です。利用規程・入力制限・オプトアウト設定・社内教育というガバナンス中心の対策で足り、AI専用のセキュリティ製品の導入は過剰です。 第2段階は、自社サービスや業務システムにAIを組み込む段階で、入出力フィルタリングやログ監視などの技術的対策と、リリース前の脆弱性診断が必須です。第3段階の自社モデル開発・運用では、学習データの出所管理やモデル窃取対策まで範囲が広がり、専門人材を含む体制が前提です。段階を飛ばした投資は費用対効果が合いません。 ### 発注時に開発ベンダーへ確認するAIセキュリティ要件のチェック観点 AIを組み込むシステムを外注するなら、要件定義の段階で次の点を確認すると手戻りを避けられます。 - 入力データが基盤モデルの学習に使われない構成か（オプトアウトの担保） - プロンプトインジェクション対策（入出力の検証）の実装範囲 - AIに与える操作権限の範囲と、不可逆な操作での人間の承認の有無 - 参照データ・学習データの出所管理と更新時の点検方法 - リリース前の脆弱性診断と、運用開始後の診断頻度 - インシデント発生時の役割分担と連絡体制 ありがちな失敗は、AI導入後にセキュリティを後付けする進め方です。設計段階で範囲を決めた方が追加開発の費用を抑えられます。 ### 内製の専任体制が過剰になる条件と外部の専門支援へ切り替える場面 AIを組み込むシステムが1〜2本で、扱う情報も社内データ中心なら、専任チームの新設は見送るべきです。情報システム部門にAI攻撃手法の教育を足し、診断だけ外部を使う方が費用に見合います。 一方、顧客データを扱うAIサービスの公開、RAGによる社内文書検索の全社展開、EU向け提供のいずれかに当てはまるなら、設計段階から専門支援を入れる場面です。一創では[AIセキュリティ対策](https://www.issoh.co.jp/service/ai/security/)の支援サービスを提供しており、AI開発と一体でセキュリティ設計から相談できます。 ## よくある質問 AIセキュリティと生成AIのセキュリティ対策について、検索で多い質問に簡潔に答えます。 ### AIセキュリティとサイバーセキュリティの違いは何ですか？ サイバーセキュリティはネットワーク・端末・データを含む防御全般を指し、AIセキュリティはそのうちAIシステム特有のリスクを扱う領域です。学習データの汚染やプロンプトインジェクションなど、従来の防御では検知しにくい攻撃への対応が中心で、既存のISMS運用に上乗せする関係にあります。 ### 生成AIのセキュリティ対策は何から始めればよいですか？ 入力してよい情報の線引きと、承認済みサービスの指定が最初です。次に、入力データを学習に使わせないオプトアウト設定と会話履歴の保存期間を確認し、事例を使った社内教育へ進みます。この3点はツール購入なしで実行でき、漏洩リスクの大半に効きます。自社システムへAIを組み込む段階で、入出力の検証と脆弱性診断を足してください。 ### プロンプトインジェクションはどのような攻撃ですか？ AIへの指示文に不正な命令を紛れ込ませ、開発者が設けた制約を回避させる攻撃です。OWASP Top 10 for LLM 2025ではLLM01に挙げられています。読み込ませた文書やWebページに命令を仕込む間接型もあり、社内データを参照するAIでは情報漏洩に直結するため、入出力の検証と権限の絞り込みで防ぎます。 ### シャドーAIはどうやって見つければよいですか？ プロキシやSASEの通信ログから生成AIサービスへのアクセスを洗い出す方法が起点で、SaaS管理ツールのアプリ一覧や経費精算の履歴も手がかりです。ただし私物端末の利用はログに出ません。匿名の申告窓口と承認済みツールの提供を併せて用意し、申告しても不利にならない運用にする方が実態に近づきます。 ### AI推進法に違反すると罰則はありますか？ 罰則はありません。AI推進法は研究開発と利用の促進を目的とする理念中心の法律で、事業者には国の施策への協力が責務として定められています。ただし個人情報保護法や不正競争防止法など既存法の適用は受けるため、AIだから規制がないという理解は誤りです。 ### 中小企業でもAIセキュリティ対策は必要ですか？ 生成AIを1つでも業務利用しているなら必要です。ただし規模に応じた濃淡があり、社外サービスの利用だけなら利用規程・入力制限・教育のガバナンス対策で足ります。自社システムへのAI組み込みを始める段階で、技術的対策と診断を追加する二段構えが現実的です。 ## 関連記事 - [AIとは？人工知能の仕組み・種類と機械学習・生成AIの違いを解説](https://www.issoh.co.jp/column/details/13307/)：AIの基礎を先に押さえたい方の入門解説。 - [LLMとは？大規模言語モデルの仕組み・生成AIとの違いと企業導入の判断基準を解説](https://www.issoh.co.jp/column/details/12962/)：インジェクションの標的となるLLMの仕組み。 - [情報セキュリティ10大脅威2026とは？組織編の順位変動とIPAの読み方・企業の対策優先度を解説](https://www.issoh.co.jp/column/details/13186/)：AI以外も含む脅威全体の優先順位づけ。 - [ゼロトラストセキュリティとは？構成技術と導入手順・費用を実装視点で解説](https://www.issoh.co.jp/column/details/13098/)：AIのアクセス制御の土台となる考え方。 - [クラウドセキュリティとは？リスクと責任共有モデルから見た企業の守り方](https://www.issoh.co.jp/column/details/13266/)：クラウド上でAIを動かす際の責任分界。 --- 出典: [AIセキュリティとは？生成AIのセキュリティ対策とAI固有リスクを解説]()（株式会社一創）