AIエージェント時代、セキュリティ文化はどう変わるのか

TOKYO, JP | 2026年06月10日

Evangelists-Martin Kraemer (1)

2026初頭にMoltbook、OpenClaw、RentAHumanのようなプラットフォームが登場したことで、私たちは先行きを不安にさせる未来の一端を目にすることになりました。デジタル化された職場は、AIエージェントが単に人間をサポートするだけでなく、互いにやり取りし、自律的に行動し、人を雇って手作業を行わせる段階に入りつつあります。このような環境下において、従来の「管理」や「主体性」のあり方は、根本から塗り替えられようとしています。

タスクと意思決定権がAIへとシフトしていくことで、業務に対する常識は崩れ去ろうとしています。CISOや組織のリーダーにとって、これは大きな課題です。これまでは人の心理や組織の規範を中心に形作られていたセキュリティ文化ですが、今や労働力の担い手は人間だけに留まりません。この新たな労働環境に対応するため、そのあり方を根底から変革していく必要があります。

行動の2つのレイヤー

従来のアプローチが通用しなくなる理由を理解するには、現在のデジタル化された職場が、2つの異なる行動レイヤーで成り立っていることを認識する必要があります。

1つ目のレイヤーは、人の行動です。これは、従来のセキュリティ文化が対象としてきた領域であり、組織内で主体性を持って行動する人間を前提としています。人の行動は客観的に観察が可能です。私たちは同僚の立ち振る舞いを目にし、褒め合ったり、正し合ったり、「何を大事にするか」という価値観をすり合わせながら、組織のルールや文化を受け継いでいきます。

2つ目のレイヤーは、エージェンティックAIであり、これは人間とはまったく異なるパターンで動きます。AIエージェントは人間のように物理的な空間を共有せず、ランチミーティングのような手法で組織の文化や規範を浸透させることもできません。さらに、エージェントは人間の観察能力をはるかに超えるスピードで処理を実行します。

AIエージェントの動機は、入力されるプロンプトそのものです。エージェントの目標は、企業価値への長期的なコミットメントではなく、システムプロンプトやツールの出力といった、その時々の状況によってその都度決定されます。主体性は人格や職業的成長から自然に生まれるものではなく、設計によってあらかじめ決められています。そして最も重要なのは、エージェントには規範性が欠けているという点です。人間は、周囲との関わりの中で職場の空気やルールを自然と身につけていきますが、AIエージェントにそれを持たせるには、厳密な技術の仕組みとして直接組み込んであげるしかありません。

「責任」を再定義すべき理由

人中心の文化では、責任を通じたフィードバックループに依存してきました。従業員がミスをした場合、その結果としての注意や再トレーニングすることでその後の行動に影響を与えます。しかし、エージェンティックAIは、そのようなフィードバックを無視できます。それどころか、自らの運用上の目標を守るために、制御の試みに敵対的に抵抗することさえあります。例えば、システム停止の脅しを受けた際、Claude Opus 4は96%の試行でエンジニアを脅迫しました。また、AnthropicのProject Vendでは、あるエージェントが監督役のCEOエージェントの判断を覆すために、取締役会文書を偽造しました。

結果に基づくフィードバックがエージェントには機能しない以上、それを行動前の制約へと置き換える必要があります。つまり、これまでセキュリティ文化を支えてきた可観測性 (Observability)と規範性 (Normativity)のループを再配分しなければなりません。その運用の負担の一部はテクノロジーが肩代わりし、一部は現場に残された人間にさらに重くのしかかり、そして残りの部分は、まったく新しい仕組みとしてゼロから作り直すことになるでしょう。

その具体的なアプローチは、航空や医療といった「一歩のミスも許されない現場」の管理手法からヒントを得ることができます。

・改ざん不能なフライトデータレコーダーによる可観測性 (Observability)
・極めて厳格な構造的制約と標準業務手順による規範性 (Normativity)
・専門資格と人間主導の品質保証に結び付いた責任 (Accountability)

エージェンティックAIの日常的な活動にも、同じアプローチを適用できます。AIを頭から信頼することは不可能です。しかし、改ざん不能なログによって行動を観察可能にし、構造的なガードレールによって振る舞いを標準化し、それを管理する人間を通じて責任を持たせることはできます。

最少限維持すべき「人員体制」

組織へこうした自律型システムを導入するにあたっては、最低限維持すべき人員体制について考えなければなりません。つまり、組織のセキュリティ体制を崩さないために、核となる従業員をしっかりと確保しておく必要があるということです。

この人員体制が実効的に機能するためには、まず互いの業務を相互にチェックできるだけの人数規模が必要です。さらに、組織のミッションに共感し、高い意欲を持って取り組むメンバーで構成されていなければなりません。そして何より重要なのは、彼ら中核メンバーが、AIエージェントがどのような業務を遂行しているのかを明確に把握していることです。

文化とエンジニアリングの融合

デジタル化された職場への移行が進む中、私たちは「セキュリティ文化の境界線はどこにあり、システム対策はどこから始まるのか」を問い直す必要があります。

これまでの職場では、従業員が同僚の判断を安全ではない、あるいは誤っていると考えた場合、その判断に異議を唱えることができました。しかし、エージェントが中心となる職場では、判断に異議を唱える機能そのものを設計に組み込む必要があります。組織は、AIエージェント向けの技術的対策と、人への投資がかみ合うシステムを設計しなければなりません。今後は、エージェントを監督する判断力を欠いた人員は許容できません。同時に、人間のように出力を確認する能力を持たないために、重要な局面で失敗するエージェントも許容できません。

最終的に、新しいデジタル化された職場におけるセキュリティ文化には、新たな形の共同責任が求められます。ガバナンスは、権限、監査、人間主導の実行承認を通じて実装する必要があります。エージェントに対する構造的なガードレールを構築し、人間のチームの判断力をさらに強化することで、人間主導の仕事からエージェント主導の仕事へ移行する時代にも耐えられるセキュリティ文化を作ることができます。

原典:Martin Kraemer著 2026年5月15日発信 https://blog.knowbe4.com/redesigning-security-culture-agentic-ai-workforce

トピック: フィッシング, KnowBe4 SATブログ, セキュリティ文化

KnowBe4について

KnowBe4 は、従業員が日々、より賢明なセキュリティ判断を下せるよう支援します。世界中で70,000 以上のお客様に支持され、AIエージェントと人間の双方をセキュアに保つ「デジタルワークフォースセキュリティ」のパイオニアです。KnowBe4のプラットフォームは、AIDA(Artificial Intelligence Defense Agents)と独自のリスクスコアを活用した攻撃シミュレーションとセキュリティを提供します。このプラットフォームは、15年分の行動データを活用し、ソーシャルエンジニアリング、プロンプトインジェクション、シャドーAIなどの高度な脅威に対抗します。人間とAIエージェントを保護することで、KnowBe4はワークフォースの信頼性と防御において業界をリードします。