AIセキュリティとは?AI固有のリスクと企業に必要な対策・体制を解説

生成AIを業務に取り入れる企業が増える一方で、学習データの汚染やプロンプトインジェクションといったAI固有の攻撃、従業員が無断で外部AIサービスを使うシャドーAIなど、従来の対策では捉えきれないリスクが広がっています。この記事では、AIセキュリティとは何かを定義から整理し、企業が直面する代表的な脅威、ガバナンス・技術・運用の3層で組み立てる対策、AI推進法やAI事業者ガイドライン第1.2版など押さえるべき制度までを一気に確認できる構成です。自社のAI利用段階に応じてどこまで投資すべきか、内製と外部委託の分岐点も示します。

目次

まとめ:AIセキュリティは「AIを守る」と「AIで守る」の二本柱で考える

AIセキュリティとは、AIシステムそのものを攻撃から守る「Security for AI」と、AIを使って防御を強化する「AI for Security」の2つの領域を指す言葉です。企業がまず取り組むべきは前者で、保護対象は学習データ・モデル・入出力にまで広がります。

結論を先に示します。社外の生成AIサービスを使うだけの段階なら、利用ルールの策定と入力情報の制限、社内教育の3点が対策の中心です。自社システムにAIを組み込む段階では、入出力フィルタリングやアクセス制御などの技術的対策と脆弱性診断が加わり、専門人材を含む体制が必要になります。

法制度の面では、2025年9月に全面施行されたAI推進法と、2026年3月31日に改定されたAI事業者ガイドライン第1.2版が国内の基準線です。本文では各リスクの仕組み、対策の優先順位、内製と外部委託の分岐点を順に解説します。

AIセキュリティの定義とは・従来の情報セキュリティ対策と異なる保護対象

AIセキュリティは、AIの開発・利用に伴う固有のリスクを管理する取り組みの総称です。対象はモデルや学習データだけでなく、AIへの入力と出力、AIが接続する業務システムまで含みます。

AIを守るSecurity for AIとAIで守るAI for Securityの区分

Security for AIは、学習データの汚染やモデルの窃取、プロンプト経由の攻撃からAIシステム自体を防護する領域です。一方のAI for Securityは、機械学習による異常検知やマルウェア判定など、防御側がAIを道具として使う領域を指します。本記事は前者を中心に扱い、後者の仕組みと導入実務はサイバーセキュリティAIの基本構造と防御・導入・運用の実務で詳しく解説しています。

両者は混同されがちですが、投資判断の観点では別物です。前者はAIを使う全企業に関係する「守りの義務」に近い性格を持ちます。後者はSOC運用の効率化など、目的がはっきりしている場合に選ぶ攻めの投資です。

保護対象が学習データ・モデル・出力へ広がる従来型セキュリティとの相違

従来の対策は、情報セキュリティの3要素(機密性・完全性・可用性)を軸に、ネットワークや端末を守ることが中心でした。AIセキュリティでは、これに「学習データの完全性」「モデルの振る舞いの妥当性」「出力の安全性」という検証対象が加わります。

観点 従来の情報セキュリティ AIセキュリティ
主な保護対象 ネットワーク・端末・データ 学習データ・モデル・入出力
代表的な脅威 マルウェア・不正アクセス データ汚染・プロンプト攻撃
対策の中心 境界防御とアクセス管理 入出力検証とAIガバナンス
参照する主な基準 ISMS(ISO 27001) ISO 42001・NIST AI RMF

表の通り、既存のISMS運用を土台にして、AI特有の検証項目を上乗せする形が現実的です。ゼロから別体系を作る必要はありません。

生成AIの業務利用が広げた情報漏えい経路とシャドーAIの実態

対話型AIに機密情報を入力すると、その内容は事業者側のサーバーに送信され、設定によってはモデル改善に使われる可能性があります。2023年には海外の大手電機メーカーで、従業員が対話型AIにソースコードを入力した事案が報道され、同社は社内利用の制限に踏み切りました。

会社が把握していないAI利用、いわゆるシャドーAIはさらに厄介です。禁止するだけでは私物端末での利用に潜るため、承認済みツールの提供と入力してよい情報の線引きをセットで示す方が実効性が高くなります。

学習データ汚染からモデル悪用まで・企業が直面するAI固有の攻撃手法

AI固有の攻撃は、学習段階・推論段階・利用段階のどこを狙うかで整理できます。網羅的な脅威一覧としてはOWASPのLLM版TOP10が定番で、各項目の詳細はOWASP TOP 10 for LLM 2025から読み解くAIセキュリティの最新脅威で解説済みです。本章では企業の発注判断に関わる代表例に絞ります。

学習データ汚染(データポイズニング)が引き起こすAI判断の歪み

データポイズニングは、モデルの訓練データに悪意あるデータを混入させ、特定の入力に対する誤判断や隠し動作(バックドア)を仕込む攻撃です。OWASPのLLM版TOP10 2025でも「データおよびモデルの汚染」として主要リスクに挙げられています。

厄介なのは、汚染されたモデルが通常のテストでは正常に見える点です。外部の公開データセットや委託先経由でも混入し得るため、データの出所管理が防御の起点になります。攻撃手口と実装レベルの防御策はデータポイズニングの学習データ汚染の攻撃手口と防御策にまとめています。

プロンプトインジェクションによる機密情報の漏えい・不正操作の仕組み

プロンプトインジェクションは、AIへの指示文に攻撃的な命令を紛れ込ませ、開発者が設定した制約を回避させる攻撃です。OWASPのLLM版TOP10 2025では第1位(LLM01)に位置づけられています。

直接の入力だけでなく、AIに読み込ませたWebページや文書へ命令を埋め込む間接型もあります。社内文書検索やRAG構成のシステムでは、参照データ経由で機密情報の抜き取りや外部送信を誘導される恐れがあるため、外部データを扱うAIほど入出力の検証が必須になります。

敵対的サンプル・モデル窃取など推論段階を狙う攻撃と業務への影響

敵対的サンプル(Adversarial Examples)は、人間には判別できない微小な加工を入力に施し、画像認識や検知モデルを誤作動させる手法です。検品や本人確認にAIを使う業務では、誤判定がそのまま損失につながります。

モデル窃取(Model Extraction)は、APIへの大量問い合わせから応答を収集し、モデルの複製を作る攻撃です。開発投資の流出に加え、複製モデルを解析して弱点を探る踏み台にもされます。API利用量の監視とレート制限が基本的な防御手段です。

ガバナンス・技術・運用の3層で組み立てる企業のAIセキュリティ対策

対策は、ルールを決めるガバナンス層、仕組みで防ぐ技術層、回し続ける運用層の3層で考えると漏れが出にくくなります。優先順位は利用形態によって変わりますが、どの企業もガバナンス層が出発点です。

AI利用ルールの策定と社内教育で固めるガバナンス面の対策手順

最初に決めるのは「誰が・どのAIを・どの情報まで入力してよいか」の3点です。AI事業者ガイドラインが示す共通の指針10項目のうち、プライバシー保護とセキュリティ確保の項目は、そのまま社内規程のチェックリストとして使えます。

  • 入力禁止情報の定義(個人情報・顧客データ・未公開の技術情報)
  • 承認済みAIサービスの一覧と、新規利用時の申請手順
  • 出力の取り扱い(事実確認と著作権の確認を経て業務利用)

規程は作って終わりではなく、事例を使った年1回以上の研修とセットで機能します。違反時の対応まで決めておくと、インシデント発生時の初動が速くなります。

入出力フィルタリング・アクセス制御・ログ監視による技術的対策

AIを組み込んだシステムでは、入力に紛れた攻撃的な命令の検知と、出力に含まれる機密情報・不適切表現のフィルタリングを実装します。モデルや学習データへのアクセスは役割ごとに権限を分け、プロンプトと応答のログを残して異常な問い合わせパターンを監視する構成が基本形です。

クラウドの生成AIサービスを使う場合は、入力データを学習に使わせない設定(オプトアウト)と、通信・保存データの暗号化設定の確認が先決です。この2つの設定確認だけで、漏えい経路の大半を塞げます。

脆弱性診断とインシデント対応で回すAIセキュリティの運用体制

AIシステムは公開後もモデル更新や参照データの追加で振る舞いが変わるため、一度の診断では守り切れません。運用フェーズでは次のサイクルを回します。

  1. 定期的な脆弱性診断(プロンプトインジェクション耐性の点検を含む)
  2. ログ監視による異常検知と一次対応
  3. インシデント発生時の遮断・影響範囲の特定・報告
  4. 再発防止策のモデル・ルールへの反映と次回診断での確認

担当を情報システム部門に兼務させる場合は、AI特有の攻撃手法の教育が前提になります。兼務で回らない規模になったときが、後述する外部委託の検討タイミングです。

AI推進法・AI事業者ガイドライン第1.2版など押さえる法規制と基準

AIセキュリティの要件は、法制度と業界基準の両輪で形作られています。国内制度を押さえたうえで、取引先や海外展開の要請に応じて国際基準を追加する順番が実務的です。

2025年9月全面施行のAI推進法とAI事業者ガイドライン第1.2版

AI推進法は2025年6月4日に公布され、同年9月1日に全面施行されました。罰則を設けず、国の施策への協力を事業者の責務として定める理念中心の法律です。

AI事業者ガイドラインは総務省・経済産業省が公表する実務指針で、2026年3月31日に第1.2版へ改定されました。第1.2版ではAIエージェントやフィジカルAIのリスク整理が追加され、自律的に外部システムへ働きかけるAIには人間の関与(Human-in-the-Loop)を組み込む考え方が明示されています。法的拘束力はないものの国内企業の事実上の基準線であり、取引先への説明や社内規程の根拠として参照されます。

NIST AI RMF・ISO/IEC 42001・EU AI Actの位置づけ

米国NISTのAIリスクマネジメントフレームワーク(AI RMF 1.0)は2023年1月に公開され、2024年7月には生成AI向けプロファイルが追加されました。統治・マッピング・測定・管理の4機能でリスクを扱う構成で、対策の抜け漏れ点検に向いています。

ISO/IEC 42001は2023年12月に発行されたAIマネジメントシステムの国際規格で、ISMSのAI版にあたり第三者認証の取得も可能です。EUのAI法(AI Act)は2024年8月に発効し、リスク区分に応じた義務が2025年以降段階的に適用されています。EU域内へサービスを提供する場合は域外の日本企業も対象になるため、海外展開の予定があるなら要件確認が先に立ちます。

AI利用の3段階で決めるセキュリティ投資の適正水準と外部委託の判断

AIセキュリティ対策は、全部やろうとすると際限がありません。自社のAI利用がどの段階かで必要水準を決めるのが、過剰投資と無防備の両方を避ける現実的な線です。

社外サービス利用・組込開発・自社モデル運用の段階別に見る必要水準

第1段階は、ChatGPTなど社外の生成AIサービスを業務で使う段階です。ここでは利用規程・入力制限・オプトアウト設定・社内教育というガバナンス中心の対策で足り、この段階でAI専用のセキュリティ製品を導入するのは過剰です。

第2段階は、自社サービスや業務システムにAIを組み込む段階で、入出力フィルタリングやログ監視などの技術的対策と、リリース前の脆弱性診断が必須になります。第3段階の自社モデル開発・運用では、学習データの出所管理やモデル窃取対策まで範囲が広がり、専門人材を含む体制が前提です。段階を飛ばした投資は費用対効果が合いません。

発注時に開発ベンダーへ確認するAIセキュリティ要件のチェック観点

AIを組み込むシステムを外注する場合、要件定義の段階で次の点を確認しておくと、後付け対応の手戻りを避けられます。

  • 入力データが基盤モデルの学習に使われない構成か(オプトアウトの担保)
  • プロンプトインジェクション対策(入出力の検証)の実装範囲
  • 参照データ・学習データの出所管理と更新時の点検方法
  • リリース前の脆弱性診断と、運用開始後の診断頻度
  • インシデント発生時の役割分担と連絡体制

ありがちな失敗は、AI導入後にセキュリティを後付けする進め方です。設計段階で対策範囲を決めた方が、追加開発の費用を抑えられます。

内製の専任体制が過剰になる条件と外部の専門支援へ切り替える場面

AIを組み込むシステムが1〜2本で、扱う情報も社内データ中心なら、専任チームの新設は見送るべきです。既存の情報システム部門にAI攻撃手法の教育を足し、診断だけ外部を使う方が費用に見合います。

一方、顧客データを扱うAIサービスの公開、RAGによる社内文書検索の全社展開、EU向け提供のいずれかに当てはまるなら、設計段階から専門支援を入れる場面です。一創ではAIセキュリティ対策の支援サービスを提供しており、AI開発と一体でセキュリティ設計から相談できます。

よくある質問

AIセキュリティについて、検索で多い質問に簡潔に答えます。

AIセキュリティとサイバーセキュリティの違いは何ですか?

サイバーセキュリティはネットワーク・端末・データを含む防御全般を指し、AIセキュリティはそのうちAIシステム特有のリスクを扱う領域です。学習データの汚染やプロンプトインジェクションなど、従来の防御では検知しにくい攻撃への対応が中心で、既存のISMS運用に上乗せする関係にあります。

プロンプトインジェクションはどのような攻撃ですか?

AIへの指示文に不正な命令を紛れ込ませ、開発者が設けた制約を回避させる攻撃です。OWASPのLLM版TOP10 2025で第1位に挙げられています。読み込ませた文書やWebページに命令を仕込む間接型もあり、社内データを参照するAIでは情報漏えいに直結するため、入出力の検証で防ぎます。

生成AIを業務で使う場合、まず何から対策すべきですか?

入力してよい情報の線引きと、承認済みサービスの指定が最初です。次に、入力データを学習に使わせないオプトアウト設定を確認し、事例を使った社内教育を実施します。この3点はツール購入なしで実行でき、漏えいリスクの大半に効きます。

AI推進法に違反すると罰則はありますか?

罰則はありません。AI推進法は研究開発と利用の促進を目的とする理念中心の法律で、事業者には国の施策への協力が責務として定められています。ただし個人情報保護法や不正競争防止法など既存法の適用は受けるため、AIだから規制がないという理解は誤りです。

中小企業でもAIセキュリティ対策は必要ですか?

生成AIを1つでも業務利用しているなら必要です。ただし規模に応じた濃淡があり、社外サービスの利用だけなら利用規程・入力制限・教育のガバナンス対策で足ります。自社システムへのAI組み込みを始める段階で、技術的対策と診断を追加する二段構えが現実的です。

関連記事

資料請求

RELATED POSTS 関連記事