AIは業務の効率化に役立つ一方で、誤情報の生成や情報漏えい、著作権侵害、差別的な判断などのリスクもあります。企業がAIを活用する際は、どのような危険性があり、業務や取引先、顧客にどのような影響を及ぼす可能性があるのかを理解しておくことが重要です。
本記事では、AIの主なリスク7つと実際に起きた事例、将来懸念される危険性を解説します。企業がAIを安全に活用するために取り組むべき対策も紹介します。
目次
- AIの利用によって生じる主な危険性7つ
- 1.誤った情報を事実のように生成する
- 2.機密情報や個人情報が漏えいする
- 3.著作権や肖像権などを侵害する
- 4.偏ったデータによって差別的な判断をする
- 5.ディープフェイクや偽情報の作成に悪用される
- 6.サイバー攻撃や詐欺の手口が高度化する
- 7.AIへの依存によって人の判断力が低下する
- AIの危険性が表れた3つの事例
- 1.従業員が生成AIに機密情報を入力し情報漏えいした事例
- 2.ディープフェイクによるなりすましで約38億円を詐取された事例
- 3.ChatGPTが作った架空の判例を確認せず提出して制裁を受けた事例
- AIの発展によって将来懸念される危険性
- 多くの仕事がAIに奪われる
- 一部の企業や国にデータと権力が集中する
- 人間が高度なAIを制御できなくなる
- 企業がAIの危険性を抑えるための対策
- AIを利用できる業務と入力できる情報を定める
- 法人向けAIツールを選びデータの取り扱いを確認する
- AIの回答を人が確認してから使用する
- 必要最小限のアクセス権限だけを与える
- 操作履歴を記録して定期的に確認する
- 従業員にAIのリスクと安全な使い方を教育する
- まとめ
- よくある質問
AIの利用によって生じる主な危険性7つ
AIのリスクは、誤った回答を生成するだけにとどまりません。入力した情報の漏えいや、生成物による権利侵害、AIを悪用した詐欺・なりすましなど、企業の信用や事業活動に影響する問題につながる可能性があります。
1.誤った情報を事実のように生成する
生成AIは、存在しない制度・統計・参考文献などを、事実のように回答する場合があります。このように、AIがもっともらしい誤情報を生成する現象は「ハルシネーション」と呼ばれます。
生成AIが作る文章は自然に見えるため、利用者が誤りに気づかないまま使用してしまうおそれがあります。企業の担当者が誤った数値や説明を提案書、顧客向けの案内などに用いると、判断ミスや誤案内につながり、信用を損なう可能性があります。
2.機密情報や個人情報が漏えいする
AIサービスに入力した情報は、契約内容や設定によって、サービス提供元に保存されたり、モデルの学習に使われたりする場合があります。そのため、社内資料や顧客情報を入力すると、本人にそのつもりがなくても、機密情報を外部サービスへ送信してしまうおそれがあります。
また、入力情報が学習に使われない設定であっても、情報漏えいのリスクがなくなるわけではありません。アカウントの不正利用や共有設定の誤り、閲覧権限の管理不足などによって、第三者に情報を見られる可能性もあります。
3.著作権や肖像権などを侵害する
AIで作成した文章や画像であっても、自由に公開・販売できるとは限りません。既存の著作物と表現が似ている場合や、既存の著作物に依拠して作られたと判断される場合は、著作権侵害にあたる可能性があります。
また、実在する人物に似せた画像や動画を使うと、肖像権やパブリシティ権などが問題になる場合もあります。AIサービス上で商用利用が認められていても、生成物が第三者の権利を侵害してる可能性があるため、広告や商品に使う際は慎重な確認が必要です。
4.偏ったデータによって差別的な判断をする
AIの学習データに偏りがあると、過去の判断や社会的な偏見が評価・回答に反映されるおそれがあります。AIは大量のデータから傾向を学習するため、元のデータに含まれる不均衡や差別的な傾向まで引き継いでしまう可能性があります。
たとえば、過去の採用データに性別や年齢、学歴などによる偏りが含まれていると、AIがその傾向を「評価すべき基準」として学習してしまう場合があります。その結果、職務能力とは直接関係のない要素によって応募者を評価し、特定の属性の人が不利に扱われるおそれがあります。
5.ディープフェイクや偽情報の作成に悪用される
ディープフェイクとは、AIを使って人物の顔や声などを本物らしく合成する技術です。本人が話していない内容を発言したように見せるなど、映像や音声への信頼を利用したなりすましにつながります。
たとえば、企業の代表者や役員を装った動画・音声が拡散されると、虚偽の発言や指示が本人のものとして受け取られるおそれがあります。その結果、株価や取引先との関係、顧客からの信頼に影響が及ぶ可能性があります。
6.サイバー攻撃や詐欺の手口が高度化する
AIの悪用により、サイバー攻撃や詐欺の手口が高度化するリスクがあります。攻撃者はAIを使って、自然な文章の偽メールや、相手の業務内容・役職・取引状況にあわせた誘導文を作成しやすくなります。
また、攻撃用プログラムの作成や修正、脆弱性の調査などにもAIが使われるおそれがあります。攻撃の準備にかかる時間や専門的な知識のハードルが下がると、企業は不正送金、認証情報の流出、システムへの不正アクセスなどの被害を受ける可能性があります。
7.AIへの依存によって人の判断力が低下する
AIの回答を十分に確認しないまま使い続けると、利用者が自分で情報を比較したり、判断の根拠を考えたりする機会が減るおそれがあります。AIの回答をそのまま受け入れる場面が増えると、誤った結論を見落としたり、自分の判断理由を説明しにくくなったりする可能性もあります。
生成AIと批判的思考に関する調査では、AIの能力を高く信頼している利用者ほど、批判的思考を働かせる度合いが低くなる傾向が報告されています。一方で、この調査は利用者の自己申告に基づくものであり、AIの利用が長期的な判断力の低下を直接証明したものではありません。
AIの危険性が表れた3つの事例
AIに関するリスクは、すでに企業の情報管理や金銭取引、専門業務の場面で問題になっています。機密情報の入力、ディープフェイクによるなりすまし、生成AIが作成した誤情報の利用などは、確認や管理の不足によって被害につながるおそれがあります。
ここでは、AIの危険性が実際に表れた3つの事例を紹介します。
1.従業員が生成AIに機密情報を入力し情報漏えいした事例
2023年、サムスン電子の従業員が、生成AIに社内機密のソースコードを入力した事例がありました。同社はこの問題を受け、生成AIの社内利用を一時的に制限したとされています。
業務目的の利用であっても、機密情報を外部サービスに入力すると、情報管理上の問題につながります。入力情報が外部に公開・流出したかどうかにかかわらず、社外サービスへ送信する情報の範囲や、利用を認めるサービスをあらかじめ定めておく必要性が分かる事例です。
2.ディープフェイクによるなりすましで約38億円を詐取された事例
2024年、香港の企業で、従業員が約2,500万米ドルを送金してしまう事件がありました。日本円で約38億円に相当する被害です。
この事件では、CFO(最高財務責任者)などを装ったディープフェイクの映像や音声が使われ、ビデオ会議で送金を指示されたとされています。映像や音声が本物のように見えたことで、従業員が送金指示を信頼した可能性があります。
高額送金や重要な承認を行う際は、会議中の指示だけで手続きを進めず、登録済みの連絡先への確認や複数人による承認を組み合わせることが重要です。
3.ChatGPTが作った架空の判例を確認せず提出して制裁を受けた事例
2023年、米国の訴訟で、弁護士側がChatGPTの生成した実在しない判例を含む書面を提出しました。ニューヨーク南部地区連邦地裁は同年6月22日、弁護士2名と法律事務所に対し、共同で5,000米ドルの制裁金を支払うよう命じています。
裁判所が問題視したのは、AIを使ったこと自体ではなく、判例を適切に確認しなかったことや、実在性を疑う事情があっても確認を避けたことなどです。AIに「本当に存在するか」と聞き直すだけでなく、裁判所の公開情報や判例データベースなどで、人が原典を確かめる必要性を示しています。
AIの発展によって将来懸念される危険性
AIの発展は、業務効率化や新しいサービスの創出につながる一方で、雇用や産業構造、情報の流通、社会の意思決定にも影響を及ぼす可能性があります。AIを利用する企業や分野が広がるほど、個々の業務上のリスクだけでなく、社会全体で検討すべき課題も大きくなります。
多くの仕事がAIに奪われる
AIが担える作業が増えると、これまで人が行っていた業務の一部が自動化され、必要な人数や役割が変わる可能性があります。ただし、作業の一部をAIが処理できることと、職業そのものがなくなることは同じではありません。
ILO(国際労働機関)は2025年の分析で、多くの仕事では全面的な置き換えよりも、業務内容の変化が起こる可能性が高いとしています。企業は、人員削減だけを前提にするのではなく、人が担う確認・調整・意思決定の役割と、必要な学び直しを検討することが重要です。
一部の企業や国にデータと権力が集中する
高度なAIの開発には、計算設備・データ・専門人材などが必要です。こうした資源をもつ企業や国が優位になりやすく、AIの供給や利用条件を左右する力が集中する懸念があります。OECDも、AI市場における主要な資源の集中を競争上のリスクとして挙げています。
特定の提供元への依存が強まると、利用企業は料金の引き上げやサービスの変更に対応しにくくなるでしょう。AIの普及による利益が広く行き渡るかどうかは、競争環境や、ほかのサービスへ移行できる仕組みにも関わる問題です。
人間が高度なAIを制御できなくなる
将来、AIが長期的な計画や複雑な操作を自律的に進めるようになると、人間の意図に反する動作を止めたり、修正したりすることが難しくなる可能性が議論されています。誤回答とは異なり、人が制御を取り戻せなくなる事態を想定した懸念です。
確実に起きる未来とはいえませんが、AIに与える権限の制限や、人が停止できる仕組みを研究・整備する理由のひとつです。
企業がAIの危険性を抑えるための対策
AIのリスクを抑えるには、従業員個人の注意だけに頼らず、利用ルールとシステム上の制限を組み合わせることが重要です。利用開始前の準備から、運用中の確認や教育まで、企業として継続できる仕組みを整える必要があります。
AIを利用できる業務と入力できる情報を定める
AIを安全に利用するには、利用できる業務範囲と入力してよい情報をあらかじめ定める必要があります。たとえば「機密情報を入力しない」とだけ示しても、どの情報が機密情報にあたるのか、どの業務ならAIを使ってよいのかを従業員が判断しきれない場合があります。
そのため、公開情報を使った文章の下書きは認める一方、顧客情報を含む分析には承認を必要とするなど、業務内容や情報の種類ごとにルールを分けておくことが重要です。判断に迷った際の相談先も決めておくと、従業員の自己判断による不適切な入力を防ぎやすくなります。
法人向けAIツールを選びデータの取り扱いを確認する
法人向けAIツールを選ぶ際は、名称や料金プランだけで判断せず、データの取り扱いと管理機能を確認する必要があります。「有料」や「法人向け」と表示されていても、入力データの保存方法や閲覧権限、学習への利用条件はサービスによって異なるためです。
とくに確認すべきなのは、入力したデータがモデルの学習に使われるか、どのくらいの期間保存されるか、誰が閲覧できるかという点です。たとえばOpenAIのAPIでは、明示的に同意しない限り、入力・出力データはモデルの学習に使われません。一方で、不正利用の監視などを目的として、APIの入力・出力データが一定期間保存される場合があります。
導入時は、保存先・保存期間・削除方法・閲覧権限を確認し、自社のルールにあう契約や設定を選ぶことが重要です。
AIの回答を人が確認してから使用する
AIの回答を業務で使用する際は、確認する項目や確認者をあらかじめ決めておく必要があります。確認方法が曖昧なままだと、文章として自然に見えるだけで内容まで正しいと判断され、誤った情報が業務に使われるおそれがあります。
確認時は、AIの回答に含まれる数値や固有名詞、制度・法律に関する説明などを、一次情報や公的機関の情報と照合することが重要です。契約・採用・支払いなどの重要な判断に関わる場合は、担当者が根拠を確認したうえで、最終判断を行う体制を整える必要があります。
必要最小限のアクセス権限だけを与える
AIに社内システムを連携させる場合は、業務に必要な範囲に限ってデータや操作権限を与えることが重要です。閲覧・編集・削除・外部送信などの権限を広く与えすぎると、AIの誤動作や不正な指示によって、機密情報の流出やデータの改ざんにつながるおそれがあります。
たとえば、文書検索に使うAIであれば、必要なフォルダの読み取り権限に限定し、削除や外部送信の権限は与えない設計が考えられます。情報の更新や送信をAIに任せる場合も、重要な操作には人による承認を挟む仕組みが必要です。
操作履歴を記録して定期的に確認する
AIの不適切な利用や想定外の操作を防ぐには、利用状況を記録し、定期的に確認する仕組みが必要です。利用者・日時・実行した操作・承認の有無などを記録しておくと、ルールに反した使い方や、権限の過剰な利用に気づきやすくなります。
運用担当者は履歴を定期的に確認し、機密情報の入力や不要な権限の使用、不自然な操作がないかを点検します。履歴自体にも機密情報が含まれる場合があるため、記録する項目を必要最小限に絞り、保存期間と閲覧権限を定めておくことも重要です。
従業員にAIのリスクと安全な使い方を教育する
AIの利用ルールを定めても、従業員が日々の業務で適切に判断できるとは限りません。誤った回答を見分ける方法や、入力してよい情報の範囲を理解していなければ、意図せず機密情報を入力したり、AIの回答を確認せずに使用したりするおそれがあります。
そのため、従業員教育では、ルールの共有だけでなく、実際の業務で判断に迷いやすい場面を想定した学習が必要です。たとえば、AIの回答を元資料と照合する、顧客情報を含む文書を入力してよいか判断するなど、具体的な演習を取り入れると、実務での判断につなげやすくなります。あわせて、サービスの仕様変更や社内で発生した問題を踏まえて教育内容を更新し、従業員が迷ったときに相談・報告できる体制を整える必要があります。
まとめ
AIは業務効率化に役立つ一方で、誤情報の生成・情報漏えい・権利侵害・差別的な判断・ディープフェイクやサイバー攻撃への悪用など、さまざまなリスクを伴います。実際に、機密情報の入力やなりすましによる送金被害、AIが作成した誤情報の利用によって問題が生じた事例もあります。
今後は、雇用への影響やデータ・権力の集中、高度なAIを人間が制御できなくなる可能性など、社会全体で検討すべき課題も大きくなると考えられます。
企業がAIを活用する際は、利用ルールの整備・データの取り扱いの確認・人による検証・権限管理・履歴の点検・従業員教育を組み合わせ、リスクを抑える体制を継続的に見直すことが重要です。
よくある質問
AIに入力してはいけない情報はどのようなものですか?
会社が入力を認めていない機密情報や個人情報は、AIサービスへ入力しないことが重要です。社外秘のソースコード・未公表の経営情報・顧客や従業員の個人情報などが該当します。
パスワードやAPIキーなどの認証情報も、AIへの指示文に含めないことが基本です。利用者は、サービスの契約条件と社内ルールの両方を確認する必要があります。
詳しくは、記事内「AIを利用できる業務と入力できる情報を定める」をご覧ください。
AIが作った情報をそのまま使用しても問題ありませんか?
AIが生成した情報は、内容の正確性を確認したうえで使用する必要があります。文章として自然に見えても、誤った数値や実在しない出典、事実と異なる説明が含まれている場合があるためです。
業務で利用する際は、元資料や公式情報と照合し、根拠を確認することが重要です。画像や動画などの生成物を公開する場合は、著作権や肖像権など第三者の権利を侵害していないかも確認する必要があります。
詳しくは、記事内「AIの回答を人が確認してから使用する」をご覧ください。
AIを業務で安全に使うにはどうすればよいですか?
企業がAIを安全に使うには、導入前と運用後の両方で対策を整える必要があります。
導入前には、AIを利用できる業務範囲や入力してよい情報を定め、サービスのデータ管理方法を確認することが重要です。
運用後は、AIの回答や操作を人が確認する体制を設けたうえで、アクセス権限や操作履歴を定期的に点検します。さらに、従業員への教育を継続し、ルール・システム・人による確認を組み合わせてリスクを抑えることが大切です。
詳しくは、記事内「企業がAIの危険性を抑えるための対策」をご覧ください。
