完整指南 · 面向非技术背景的高管

有判断力的人工智能

面向高管的价值、风险、安全与治理指南
没有技术背景的高管或董事,需要了解哪些内容,才能就企业使用 AI 做出决策、开展评估、实施治理并回答相关问题
Diego Macor · 版本 5.22 · 2026年10月20日 · diegomacor.com · linkedin.com/in/diegomacor

执行摘要

人工智能(AI)已经进入您的组织,而且渠道之多,超出管理层正式讨论过的范围。因此,真正有用的问题已不再是要不要采用,而是在哪里使用、使用什么数据、赋予多大的自主权,以及在何种治理之下运行。优势不在于使用 AI 本身,而在于把它用在正确的流程上,并选对技术;当 AI 从提出建议走向采取行动时,被委托出去的就不再只是技术,而是权限,其风险随自主程度和所作所为的影响而增长。要治理这些风险,首先必须把信息安全理顺,因为 AI 框架建立在这一基础之上;同时,对于客户、员工和监管机构已经提出的安全、保密与隐私问题,要用证据而不是承诺来回答。在智利,适用范围最广的义务是关于个人数据的第 21.719 号法律,自 2026 年 12 月 1 日起生效,不过政府提出的一项法案拟将其推迟一年;AI 法案仍在审议之中。对于尚未起步的组织,本指南提出一个 90 天计划:第一个月,摸清哪里在用 AI,把敏感工作转移到企业账户,明确哪些数据绝不能输入,并指定负责人;接下来两个月,批准使用政策,采用治理框架,落实各项控制措施,并对相关人员开展培训。本指南由浅入深,沿着这条路径展开,示例从最早的语音听写程序一直到 ChatGPT 和 DeepSeek,最后附有四个供查阅的附录:安全、保密与隐私问题(附录 A)、采购或自建检查清单(附录 B)、从零散项目走向体系化项目(附录 C)以及术语表(附录 D)。

正确的问题不是 “我们可以把生成式 AI 用在哪里?”,而是 “我们想解决什么问题,哪种技术最适合解决它?”

某件事可以用 AI 来做,并不意味着就应该用 AI 来做。

随着 AI 的自主性不断提高,讨论就不再只是技术问题,而同时成为一场关于权限、风险、治理与责任的讨论。

这三个观点建立在四个维度之上,它们贯穿整份文件反复出现,不是先后顺序,而是在每个阶段都值得重新追问的横向问题:价值 · 技术 · 自主性 · 治理。

价值
我们为什么要做,想要什么结果?
1. 正在发生的事 3. 它擅长什么,不擅长什么 6. 经济性与价值
自主性
我们把多大的决策或行动能力委托出去?
7. 从副驾驶到智能体 9. 六大风险 10. AI 安全 11. 攻击者手中的 AI

本文件的阅读路线则不同,下文将加以说明。

如何阅读本指南

本指南并不打算把高管或董事培养成人工智能专家,而是希望给予他们足够的判断力:能够分辨真正的机会与一时的风潮,理解正在委托出去的是何种权限,识别相关风险,并在批准某项举措之前提出正确的问题。为此,文件分为六个阶段推进,每个阶段都建立在前一阶段之上。每个概念都先用简单的方式呈现,配以日常示例或真实案例,然后再给出高管做决策所需的细节。

I. 理解
→
II. 选择
→
III. 行动
→
IV. 保护
→
V. 治理
→
VI. 决策与扩展

按模块,依次阅读

六个模块构成本指南的阅读路线:从理解 AI 是什么,到决定如何扩展 AI,每个模块都建立在前一个模块之上。每个模块都有自己的颜色,并在该模块的扉页、标题以及其各节的表格中重复出现。

按维度,依问题查阅

每一节标题上方都有一个标签,标明该节所回答的维度:价值、技术、自主性或治理。它们是在一项举措的每个阶段都值得重新追问的四个问题,同时也可用作主题索引:执行摘要中的地图按维度对各节进行了归类,方便读者有选择地阅读,例如只读与向 AI 委托自主权有关的内容。

速查工具,汇总于文末的附录部分:附录 A. 安全、保密与隐私问题及其回答方式 · 附录 B. 采购或自建检查清单 · 附录 C. 从单个项目到体系化项目 · 附录 D. 核心术语表

阅读路线

如果您需要请阅读
一次性掌握要点执行摘要;第 1、3、7、9、12 和 18 节;结语
回答隐私或保密方面的问题第 8 和 15 节;第 9 节的风险 2 和 6;附录 A,级别 1 和 3
回答安全方面的问题第 9、10 和 11 节;附录 A,级别 2
评估一项举措是否值得做第 4、5 和 6 节
批准、采购或自建某项解决方案第 7、16 和 17 节;附录 B
搭建 AI 治理体系第 10 节(使用政策与事件处置)、第 12、13 和 14 节;附录 C
开始梳理组织内的 AI第 18 节;第 12 节(向董事会报告什么)
安全地采用 AI:规范、教育并证明第 8、10 和 18 节;附录 A,级别 4 和 5
治理 AI 智能体第 7 节;第 9 节,风险 3 和 4;第 12 节;附录 A,问题 14 和 15;附录 B
价值

1您的组织里正在发生的事

AI 正通过多条渠道同时进入企业:企业级工具、副驾驶(嵌入在已有软件中的 AI 助手,例如邮件或电子表格)、通过互联网订阅的应用(SaaS,软件即服务)在无人明确要求的情况下加入 AI、内部开发、供应商把它加入自家产品、智能体(除了回答之外,还能自行执行操作的系统,详见第 2 节)、系统之间的直接连接(API,应用程序编程接口)、员工个人自行采用的工具、手机和办公室里的语音助手,以及录制并总结会议的工具。因此,董事会层面的讨论已经改变了形态:

两年前的问题

我们要不要采用 AI?

今天的问题

我们在哪里使用它、用来做什么、使用哪些数据、自主程度如何、存在哪些风险,又处于何种治理之下?
影子 AI(shadow AI)。早在技术、安全、法务部门或董事会就此做出正式决定之前,组织可能就已经在使用 AI 了:有人把公司信息粘贴到面向消费者的工具里,有团队启用了公司因其他原因采购的软件中自带的 AI 功能,或者供应商在原合同并未涉及的情况下为产品加入了 AI。这未必出于恶意,而是缺乏治理的采用。这很像当年员工开始用个人云账户或 WhatsApp 分享工作文件:没有人授权,但因为更方便,大家照做不误。仅此一点,就是董事会在下次会议上应当提出的第一个问题:我们知道今天哪里在使用 AI 吗?
技术

2AI 是什么,不是什么

简单地说,人工智能是指任何能够完成我们通常认为属于人类智能的事情的系统:识别人脸、推荐电影、发现欺诈、翻译或撰写文本。它有不同的类型,不妨把它们理解为一组同心圆。

这四个层级之间并非相互竞争,而是相互包含:每一个内圈都是外圈的子集,没有哪一个取代前一个。

1人工智能2机器学习3深度学习4生成式 AI含 LLM
1
人工智能任何模仿我们认为属于人类能力的系统:决策、分类、预测、生成。从手工编写的规则到最新的技术都包含在内。
2
机器学习(machine learning)AI 中不遵循固定规则、而是从数据中学习规律的部分:对案例分类、预测未来数值(forecasting)、发现异常行为。
3
深度学习(deep learning)使用多层神经网络的机器学习(神经网络是一种数学模型,以极为简化的方式借鉴了大脑的工作机制)。它需要更多数据和算力,但能发现传统模型看不到的规律。
4
生成式 AI,包括大语言模型(LLM)生成式 AI 是一个宽泛的类别:能够生成新内容的系统。LLM 是专门处理语言的一类生成模型。此外还有用于图像、音频和视频的生成模型:它们与 LLM 并不是同义词,而是同一家族中侧重点不同的成员。
一点重要的说明:并非“人工智能”圈内的一切都经过机器学习。业务规则、专家系统和数学优化从广义上说都是 AI,但它们不从数据中学习,只存在于最外圈。

AI 并非始于 ChatGPT

生成式 AI 自 2022 年底 ChatGPT 公开发布以来风靡一时,Claude、Gemini 等其他助手随后又进一步推广了它,但这并不意味着人工智能是从那时才开始的。如今被称为“AI”的许多东西,其实已经在企业内部运行了数十年,只是通常并不叫这个名字。

自 20 世纪 70 至 80 年代起
规则与专家系统

保险和银行业的规则引擎,以及基于专家编写的规则构建的诊断系统。

自 20 世纪 90 至 2000 年代起广泛应用
传统机器学习

信用卡欺诈检测、垃圾邮件过滤、预测性维护、电商推荐、信用风险评分(scoring)、光学字符识别(OCR)。

约自 2012 年起
深度学习

大规模图像与语音识别、现代机器翻译、视频和音乐推荐系统。

自 2022 年 ChatGPT 公开发布起
生成式 AI 与 LLM

根据自然语言指令生成文本、图像、音频、视频和代码。

您的组织很可能多年来一直在使用前三类中的某几类,只是内部并不称之为“人工智能”。2022 年出现的新东西并不是 AI 本身,而是第一次有生成式 AI 以向公众开放的对话界面呈现出来。

人人都记得的六个时刻,以及各自给我们的启示

按时间顺序看六个公开的里程碑,更容易理解 AI 的历史。每一个都对应前面示意图中的一个圆环,也都为高管留下了一条有用的教训。

1990机器学习:语音

DragonDictate:对着电脑口述,一个词一个词地输入

1990 年 3 月,Dragon Systems 推出 DragonDictate,被称为第一台“语音打字机”。它售价约 9,000 美元(USD),含一块专用电脑板卡,可识别 30,000 个词汇,但有一个条件:每个……词……之间……必须停顿至少四分之一秒。

启示:今天看起来笨拙而昂贵的东西,有可能变得稀松平常。三十年后,对手机口述、与语音助手对话、自动获得会议转录,都已免费,几乎让人察觉不到。评估一项 AI 技术时,应当看趋势,而不只是当天的快照。

1997外圈:规则与计算

深蓝在国际象棋中战胜卡斯帕罗夫

IBM 的超级计算机深蓝(Deep Blue)以 3.5 比 2.5 击败世界冠军加里·卡斯帕罗夫。它并不像今天的 AI 那样“学习”:它的实力来自每秒计算约 2 亿个局面,而评估标准由其专家团队手工调校。

启示:机器可以在一项范围很窄的任务上超越世界上最优秀的人,却对任务之外的一切毫无“理解”。深蓝只会下国际象棋。

2011机器学习与语言

沃森赢得《危险边缘!》

IBM 的沃森(Watson)系统在电视竞答节目《危险边缘!》(Jeopardy!)中战胜了两位最成功的冠军选手。它必须理解充满文字游戏的自然语言问题,并在几秒内作答。它最令人难忘的失误也最有教益:在“美国城市”类别中,它回答了“多伦多”,而多伦多在加拿大。不过它是带着问号作答的,因为它的置信度很低(约 30%),只押注了 947 美元(USD)。

启示:AI 可以流畅地出错。沃森至少会显示自己有多大把握;如今的许多助手无论答对还是编造,口吻都一样。它后来转向医疗领域,留下了另一个教训,详见第 6 节。

2016深度学习

AlphaGo 在围棋中战胜李世石

DeepMind(谷歌)的 AlphaGo 以 4 比 1 战胜韩国围棋冠军李世石。围棋的可能变化多到无法仅靠计算取胜。AlphaGo 从数百万步人类棋局以及与自己的对弈中学习。在第二局中,它走出了“第 37 手”,专家们认为这是任何人类棋手都不会下出的一步。

启示:从数据中学习的 AI 可以找到无人想到过的解法,但它也有盲点:李世石在第四局中下出一手 AlphaGo 认为极不可能的棋,赢下了那一局。

2022生成式 AI(LLM)

ChatGPT 走向大众

2022 年 11 月 30 日,OpenAI 向公众开放 ChatGPT。据路透社引用的瑞银(UBS)估算,约两个月内用户就达到近 1 亿,是当时有记录以来增长最快的消费类应用。人们第一次可以与一个能撰写、总结、翻译并编程的 AI 对话。

启示:与前面的案例不同,这种 AI 不是企业采购的,而是随着每一位员工自己进来的。第 1 节讲到的影子 AI 由此而来,附录 A 中大多数保密问题也由此而来。

2025开放权重的生成式 AI

DeepSeek 自中国震动市场

2025 年 1 月,中国公司 DeepSeek 发布了 R1,这是一个开放权重的“推理”模型(其开发商公开训练好的模型,任何人都可以安装和运行),可与 OpenAI 的 o1 相媲美。R1 构建于该公司的基础模型 V3 之上,DeepSeek 估计 V3 最后一轮训练的算力成本约为 560 万美元(USD),只是通常成本的一小部分;据该公司称,R1 的额外训练阶段又花费了约 294,000 美元(USD)。这两个数字都不包括此前的研究和试验,也都未经独立核实。它的应用超过 ChatGPT,成为苹果 App Store 中下载量最高的 AI 应用,1 月 27 日英伟达(Nvidia)市值蒸发约 5,890 亿美元(USD),创下美国公司单日最大跌幅。三天后,意大利数据保护机构以其个人数据处理方式的信息披露不足为由,封禁了该应用。

启示:AI 的前沿已不再属于某一个国家或少数几家公司,其成本也在快速下降。但一个出色而廉价的工具,并不因此就是一个获批准的工具:在用它处理公司数据之前,必须弄清数据在哪里处理、适用哪国法律(第 8 和 15 节;附录 A,问题 6)。

变化所在深蓝只会下国际象棋。沃森只会回答竞答题。垃圾邮件过滤器只过滤邮件。生成式 AI 是第一个人人都能用上的通用型 AI:同一个工具可以起草合同、总结会议、分析电子表格或编写代码。这种多面性使它非常有用,同时也是它风险更高的原因,因为它几乎可以触及公司的任何数据和任何流程。

您每天都在使用的 AI

在谈风险之前,值得先留意到,AI 早已成为日常生活的一部分,只是几乎从不以这个名字出现:

日常情境AI 做了什么类型(圆环)
邮箱把垃圾邮件分拣出去它学会了识别不良邮件的特征模式机器学习
银行提醒您有一笔可疑消费它发现一笔与您的惯常行为不符的消费机器学习
Waze 或谷歌地图估算需要多长时间它根据历史和实时数据预测交通状况机器学习
Netflix 或 Spotify 推荐观看或收听的内容它把您的喜好与数百万相似用户的喜好做比较机器学习与深度学习
手机通过人脸解锁它从图像中识别人脸深度学习
在相册里搜索“海滩”,所有相关照片都会出现它识别每张图像的内容深度学习
对手机口述一条消息,或对 Siri、Alexa 说话它把语音转成文字,并理解所提的要求深度学习
让 ChatGPT、Claude 或 Gemini 起草一封邮件它根据一条指令生成全新的文本生成式 AI(LLM)

各行之间的实际差别:前七行中,AI 只在由他人设计和掌控的产品里完成一项范围明确的任务。最后一行则是人把信息和一条开放式指令交给 AI。保密、准确和责任方面的问题,就从这里开始,这也是本指南的主题。

生成式 AI 不只是文本

在前面示意图的生成式 AI 圆环之内,语言模型(LLM)是最广为人知的一类,但不是唯一的一类。同一生成式家族中,还有专门处理其他类型内容的模型:

文本与语言(LLM)

例如 ChatGPT、Claude 或 Gemini 背后的模型:撰写、总结、翻译和对话。示例:除这三者外,还有 Microsoft Copilot、Meta AI、DeepSeek 和 Mistral 的 Le Chat。

图像(扩散模型)

根据自然语言描述生成或编辑图像。它与 LLM 属于不同的技术家族,尽管有时会结合使用。示例:Midjourney、Adobe Firefly,以及 ChatGPT 和 Gemini 的图像生成功能。

音频与语音

文字转语音、语音转文字和声音克隆:旁白、转录、配音、语音助手。示例:ElevenLabs、Whisper、Teams 或 Zoom 的自动转录,以及手机的语音听写。

视频

根据文本或图像生成或编辑视频:是最晚成熟的生成模态。示例:Veo(谷歌)、Runway、Kling。
关于“代码”的一点说明。生成或审查代码并不是一个独立的生成式家族,而是语言模型在一类特殊文本(代码而非散文)上的应用,例如 GitHub Copilot、Cursor、Claude Code 或 Codex。多模态系统日益普遍,它们在同一个模型中结合多种模态,例如同时处理文本和图像。

智能体处于什么位置

智能体不是生成式 AI 内部更小的第五个圆环,而是使用模型(通常是 LLM)的一种方式:把它连接到工具、记忆,并赋予它自行执行步骤的能力。因此,它被表示为从圆环向外延伸的分支,而不是圆环之内更具体的一层。

语言模型理解上下文并生成语言
+
工具与记忆可以查询系统并保留上下文
=
智能体在既定规则内选择并执行步骤

简单来说:语言模型就像一位只能交谈的专家。智能体则是这位专家拥有了您的邮箱、日历和公司系统的访问权限,并获准在其中办事。

值得采用的一种措辞谨慎。人们常说模型“推理”或“理解”。严格而言,模型是在解读上下文、处理信息、生成回答、做统计推断,并在已学到的规律范围内提出备选方案。谈到智能体时,确实可以说它“决定执行哪项操作”,但始终是在别人交给它的工具、权限和目标范围之内。智能体的自主性永远是被委托的自主性,绝不是系统自己赋予自己的权限。

系统能够回答,并不意味着它应该自行行动。第 7 节将展开说明不同的自主级别,以及这一区别为何对董事会至关重要。

价值

3AI 擅长什么,目前仍不擅长什么

在探讨哪种技术适合哪类问题之前,有必要先对当前能力形成一个诚实的起点判断。

AI 通常擅长AI 目前仍可能薄弱的方面
总结大量信息保证绝对的事实准确
在数据中发现规律证明因果关系,而不仅是相关性
生成备选方案和草稿为一项决策承担责任
用自然语言交互始终区分真实信息与看似合理的信息
自动化重复性任务正确处理所有例外情况
分析海量数据全面理解企业的业务背景
执行已定义的工作流决定组织应当接受何种经营风险
简单来说不妨把生成式 AI 想象成一位聪明绝顶、速度极快的实习生:他几乎读遍了所有已发表的内容,却不了解您的公司,很少说“我不知道”,也不为自己的错误负责。可以把草稿、摘要和初稿交给他,但不应在缺少审核的情况下把决策交给他。
从这张表中可以记住两点。第一:AI 可以生成令人信服却并不正确的回答,语言的流畅并不能证明答案确定无疑(这就是第 2 节中沃森的教训)。第二:系统在技术上能够做某件事,并不会自动赋予它决定该事的权限。技术能力与决策权限是两回事,后者始终属于组织,而不属于工具。

弄清什么是 AI,还不足以决定该在哪里使用它。下一个问题是:究竟哪种技术真正适合这个问题,以及它所创造的价值是否值得去做。

技术

4什么技术对应什么问题

本节运用本指南的核心思想:先有问题,再选技术。

类别是什么用途示例工具
规则与业务逻辑明确的指令:发生这种情况,就做那件事。具有确定性(相同输入总是得到相同结果),且可审计校验,以及逻辑已知的数据转换Excel 公式与宏、Power Automate、Zapier,以及 IBM ODM 等规则引擎
传统监督学习模型从已标注的样例中学习,用于分类或预测某个数值分类、优先级排序、风险评分(scoring)Amazon SageMaker、Azure Machine Learning、Google Vertex AI、DataRobot、scikit-learn
无监督学习在没有事先标注样例的情况下,发现数据中的规律、分组或偏离欺诈或异常检测、客户细分、聚类scikit-learn;Splunk、Datadog 或 Microsoft Sentinel 中的异常检测
时间序列根据历史数据预测未来数值需求、销售和各类指标的预测(forecasting)Excel 预测工作表、Power BI 预测、Prophet、SAP IBP
数学优化在约束条件下找到变量的最佳组合排程规划、资源分配Excel 规划求解、Gurobi、IBM CPLEX、Google OR-Tools
语言模型(LLM)理解并生成自然语言。不具确定性:同一个问题可能得到不同的回答理解开放式问题、撰写、总结ChatGPT、Claude、Gemini、Microsoft Copilot、Llama、DeepSeek
智能体(LLM 加工具)一个 LLM,还能自行执行操作并串联多个步骤自动化多步骤任务,风险高于前几类ChatGPT 的智能体模式、Claude Code、Microsoft Copilot Studio、Salesforce Agentforce、Gemini Enterprise
这张表按技术类别排列各行。欺诈或需求预测等业务问题出现在“用途”一栏:它们是某种技术所要解决的问题,本身并不是技术。所列工具是便于定位的知名示例,而不是推荐:许多工具融合了多个类别,不少自动化工具也已内置语言模型。本指南中的工具示例反映的是 2026 年 10 月的市场状况:名称和产品变化很快。

选择之前应当关注的变量

问题可能意味着什么
我是否需要确定性的答案?规则或优化
我是否有足够的历史数据?传统机器学习
我是否需要理解自然语言?语言模型
我是否需要在其他系统中执行操作?智能体
出错的影响是否很大?无论采用何种技术,都需要更强的监督
我是否需要能够解释结果?可解释的模型,不一定是最新的模型
查询量是否非常大?成本与架构开始变得与技术同样重要
数据是否可以离开组织?直接影响架构和供应商的选择
该操作是否可以撤销?影响应当允许多大程度的自主性
使用语言模型之前的 7 个问题。
  1. 这个问题真的需要自然语言吗?
  2. 是否存在更简单的确定性方案?
  3. 如果回答不正确,会发生什么?
  4. 我们是否需要回答可以复现?
  5. 它的查询量会有多大?
  6. 它将使用哪些数据?
  7. 它只提出建议,还是也会执行操作?
假设性示例 一家处理大量数据的中型企业希望借助 AI 提升盈利能力,起初的冲动是把一切都交给生成式 AI。用上述筛选方法来审视其典型流程:数据清洗、分类和异常检测更适合传统技术,成本更低,也更易于审计。需求或销售预测属于时间序列的范畴,而不是语言模型的范畴。语言模型真正站得住脚的位置在交互层:让业务用户用自然语言提问,并对已由传统技术计算好的数据提出进一步的分析要求,而不是把它当作计算引擎。
技术

5当正确的技术不是语言模型时:CENIA 案例

在 ELIAC 2026(由 iSecurity 主办的拉丁美洲 AI 应用于网络安全大会)上,智利国家人工智能中心(CENIA)介绍了自己的三个项目。其演讲的论点是:AI 并不等同于语言模型;技术应当根据问题来选择,而不是跟随潮流。

案例问题所用技术
智利建筑商会在提交市政当局之前,预先审查建筑许可申请并发现不合规之处智能体式工作流(此处确实适合使用生成式 AI 和智能体)
检察院按紧急程度和处理方式对案件分类传统分类器,不使用语言模型
CMPC通过多个串联的模型优化生产优化模型链(pipeline),同样不是语言模型
在所介绍的这三个例子中,有两个说明这个问题完全可以不依赖语言模型而得到更好的解决。这不应被解读为 AI 市场总体表现的统计证据:这是一个公开且可核实的案例,仅含三个项目,并非有代表性的样本。真正适用于任何组织的启示,与第 4 节的筛选方法相同:技术应当根据问题来选择,而不是根据技术潮流。
价值

6经济性与价值:AI 项目何时值得做

正确的标准不是“AI 管用吗?”,而是“它创造的价值是否足以抵偿其成本与风险?”。董事会不应首先追问某个方案是采购还是自建,而应先问这项举措为什么应该存在、应当创造什么价值;第 16 节讨论的是在“为什么”解决之后如何获得方案。

五类价值来源

生产力、缩短时间、任务自动化、增加收入,以及提升决策质量。

成本构成

许可证、模型调用消耗、基础设施、集成、数据、安全、人工监督、运营、维护、治理和培训。
一种简单的思考方式:
AI 的价值 =(流程的影响 × 业务量 × 所获改进)− 总运营成本 − 剩余成本或风险。

关键绩效指标(KPI,英文缩写)示例,应根据具体情况选择:节省的时间、单笔交易成本、自动化率、所需人工干预率、准确率、错误率、用户的实际采用度、满意度、收入增长、记录在案的事件、单次查询成本以及投资回报率。

模型的 KPI 不一定就是业务的 KPI。模型在技术上有所提升,并不自动意味着对业务有影响:分类器的准确率可以提高,却没有产生显著的经济影响;副驾驶可以带来良好的个人成果,但如果员工必须系统性地返工,就并未真正节省时间。每项举措都应把技术指标与一个具体的业务指标挂钩,而不是止步于第一个指标。

AI 项目为什么会失败

常见原因:问题选错;在自动化之前流程就设计不当;因追随潮流而不是因契合问题而选择技术;数据不足或质量差;与现有系统集成不佳;流程缺乏明确的负责人;用户不采用该工具;缺少控制措施;对 AI 能做什么抱有不切实际的期望;低估运营成本;以及从未正式衡量过回报。

真实案例 · IBM Watson 医疗,2011 至 2022 年在赢得 Jeopardy! 之后,沃森被宣传为一项能够变革医学的技术。据《纽约时报》(2021 年)报道,肿瘤学领域的项目遇到了杂乱且不完整的临床数据,目标也过于宏大;多个项目被关闭,2022 年 1 月,IBM 出售了沃森健康(Watson Health)的数据和分析资产。沃森继续作为自动化客户服务等任务的产品存在。教训不在于技术本身不好:一次惊艳的演示并不等于商业论证,决定结果的是数据、流程和有限的范围。

在确认一个有价值的案例之后,下一个问题是:我们愿意把多大的决策和执行权力委托出去。

自主性

7从副驾驶到智能体:AI 采取行动时发生了什么变化

当模型只是回应一次查询时,风险在于回答的质量。而智能体会发起工作流、调用其他系统、串联多个步骤,并在无人逐步介入的情况下决定下一步做什么。“智能体式 AI”(agentic AI)正是用来指称这种朝着目标自主行动、而不只是作答的能力的术语。

自主级别做什么示例示例工具
助手回答或提出建议。一切由人来决定和执行起草一封邮件草稿,交给他人审阅Outlook 中的 Microsoft 365 Copilot、Gmail 中的 Gemini
受监督的智能体提出一项具体操作,并在执行前等待批准对一份招标进行分类并提出一项任务,由人批准ChatGPT 的智能体模式,在敏感操作前会请求确认;带有审批环节的 Copilot Studio 智能体
自主智能体在既定范围内,无需事先批准即可执行操作对小额客户投诉,不经事先审核,自行答复并结案Salesforce Agentforce 或 Intercom 的 Fin 等客户服务智能体

自主级别并不取决于产品的名称(“助手”“副驾驶”或“智能体”),而取决于系统实际能做什么:它的能力、权限,以及它要求的批准。同一个工具根据配置的不同,可能运行在不止一个级别上。而且并非所有自动操作都是 AI:一条在出现特定模式时冻结账户的固定规则,属于传统自动化。

简单来说把自主权委托给 AI,就像委托一位值得信赖的助理。助理可以起草一封邮件让您发送(助手),准备一笔付款等您批准(受监督的智能体),或者自行支付低于某一金额的发票(自主智能体)。这三种情况下,都有人界定了他能做什么、金额上限是多少、何时必须请示,就像一份授权委托书。AI 智能体也一样,只有一点不同:它可能在被人察觉之前,就又快又多次地重复同一个错误。
智能体不只是一个更先进的语言模型。它是一个不同的系统:语言模型,加上工具、加上上下文或记忆、加上权限、加上执行操作的能力。这种组合就是所谓的智能体系统(第 2 节),需要治理的是这个组合,而不只是底层的模型。

第二个维度:操作的影响

仅按自主程度分类是不完整的。低影响的操作自主执行,与高影响的操作以同样方式执行,是两回事。

低影响
高影响
提出建议
风险低
风险中等
经批准后执行
风险低至中等
风险中等
自主执行
风险中等
风险高
我们正在把何种权限委托给一台机器?对高管而言,这个问题比了解系统具体使用哪个模型更重要。
有效的人工监督。引入人工批准本身并不能保证控制有效。如果一个人需要在没有足够时间、信息、背景、技术能力、权限或培训的情况下,批准成百上千条由 AI 生成的建议,那么“人在回路”(human in the loop)可能沦为一种形式,而不是真正的控制。
风险随智能体的数量增长,而不只取决于其质量。在 ELIAC 2026(第 5 节)上,Varonis 的 Ron Bennatan 用简单的算术说明了这一点:如果每个智能体出错的概率为 0.1%,而组织运行着 10,000 个智能体,那么出错就不再是一种可能,而是必然。Netskope 的 Steve Riley 在同一场大会上预测,每人将配有 10 到 100 个智能体。因此,对智能体应当按群体来治理,赋予身份、权限并留存记录,而不是一个一个地管:第 12 节会说明具体做法。
技术

8数据如何存续

简单来说设想您聘请了一位经验丰富的外部顾问(模型)。您在会议上对他讲的内容,不会改变他在大学里学到的东西(模型的训练)。但他的办公室可以对会议做记录(日志),保存您提供的文件副本(文件和搜索索引),而他下次也可以记起谈过的内容(记忆)。因此,保密问题不只是“它会从我说的话中学习吗?”,还包括:谁保管这些记录、保存在哪里、保存多久,以及还有谁能读到。本节依次梳理每一个这样的环节。

要弄清信息可能留存在哪里,需要把涉及的各个组成部分区分开来:模型、推理服务(每次回答时运行模型的服务)、应用、存储、供应商和日志。在一次正常查询中,模型的权重(训练中所学内容保存其中的参数)通常不会因提示词(prompt,即输入的指令或问题)而改变。但“模型并不保留这些数据”并不是事情的全貌:环绕模型的平台或服务,视产品、架构、配置和合同的不同,可能保留提示词、结果、文件、日志、元数据、推理轨迹(模型记录的中间步骤)、缓存(为加快响应而保存的临时副本),以及用于滥用检测的信息。

源系统
输入的文档、数据或请求
默认为不可信渠道
▼应用或智能体接收并解读它
应用层 / 智能体决定保存什么、提出什么操作
▼内容最多可经过五个不同的环节
1

源系统

文档或数据在到达时的原样,尚未经过任何 AI 处理。

不属于 AI 环节
2

查询的临时上下文

模型为回应这次具体查询而处理的内容。通常不会改变模型的权重。

不留存,除非另有配置
3

持久化知识(RAG,检索增强生成)

文档被转换为向量(可按含义检索的数值表示),建立索引,每次回答时都可查询。企业数据通常就保存在这里。

会留存,可隔离和删除
4

智能体记忆

智能体在多次交互之间记住的内容:此前的对话、偏好、进行中的任务。

会留存,需要单独管理
5

使用记录(遥测与日志)和审计

对每次查询、每个推理步骤和每项生成任务的记录。几乎没有人明确申报的环节。

不加管理就会留存
不留存,或取决于配置 会留存,若架构设计得当则处于可控状态 不明确加以管理就会留存

账户类型比品牌更重要

同一个 AI 工具,会因账户或合同类型的不同,以截然不同的方式处理数据。要回答 AI 是否会“留下”信息,这是最有帮助的区分。

账户类型合同通常对数据意味着什么
个人账户,免费或付费格式条款,不可协商是否用对话来改进模型,取决于用户自己控制的一项设置,而该设置可能默认开启。企业与之没有数据处理协议,也没有任何人向客户负责。
企业或团队账户附商业条件的格式条款通常默认不用于训练,具有集中管理和明确的保留期限。团队版的条件可能与企业版不同:需要逐一核对。
通过 API 集成或企业合同部分可协商可以书面约定保留期限、数据所在地,以及在某些情况下的零留存(供应商不保存内容)。这是最有余地向自己的客户作出具体承诺的层级。

条件因供应商而异,也会随时间变化:起作用的是现行有效的合同,而不是宣传材料。

组织中已经在使用的 AI 工具

上述规则不仅适用于对话助手,也适用于搜索引擎、浏览器、手机语音助手和会议录制工具:同一个品牌,用个人账户还是公司账户,处理数据的方式并不相同。

工具使用个人账户使用公司账户
对话助手
ChatGPT(OpenAI)在 Free、Plus 和 Pro 计划中,对话默认可用于训练。每位用户可在“设置”的“数据控制”中关闭“为所有人改进模型”选项。在 ChatGPT Business、Enterprise、Edu 以及 API 中,默认不会将输入和回答用于训练。
Claude(Anthropic)在 Free、Pro 和 Max 计划中,自 2025 年 10 月起,由每位用户选择是否允许将其对话用于训练。若允许,数据最多保留五年;若不允许,则保留 30 天。在 Team 和 Enterprise 计划、Claude 教育版和政府版、API,以及通过 Amazon Bedrock 或 Google Cloud Vertex AI 的访问中,适用商业条款,其中不包括这种用于训练的用途。
Gemini(Google)在开启 Gemini 应用活动记录的情况下,对话会用于改进 Google 的服务,包括其 AI 模型,其中一部分由人工审核。这些经审核的对话最多保留三年。即使关闭活动记录,Google 仍会保存 72 小时。使用符合条件的 Google Workspace 版本时,内容不会由人工审核,未经企业许可也不会在企业域之外用于训练模型。
Copilot(Microsoft)使用个人 Microsoft 账户时,对话活动可用于训练。可在“隐私”中的文本对话和语音对话训练选项里关闭。使用 Microsoft 365 的工作或学校账户时,提示、回答和企业数据不会用于训练基础模型,Microsoft 依据合同作为数据处理者。Copilot 进行的网络搜索不在此范围内:此时 Microsoft 作为独立的数据控制者。
搜索引擎和浏览器中的 AI
带 AI 的 Google 搜索(AI 摘要和 AI 模式)使用与 Gemini 相同的模型,但它是另一款产品,规则也不同:在搜索框中输入的内容适用 Google 的通用隐私政策,并在该选项开启时记录在账户活动中,而不是适用 Gemini 应用的设置。自 2026 年 7 月起,除非用户关闭保存这些内容的选项,Google 默认将 Search、Lens 和 Gemini Live 中的图像、文件和音频用于改进其模型。无论有没有 AI,搜索引擎都不是存放机密信息的地方。
带 AI 的浏览器(带 Gemini 的 Chrome、带 Copilot 的 Edge、ChatGPT Atlas、Perplexity 的 Comet)它们会读取已打开页面的内容,包括内部应用或邮件,以便在用户会话中对其进行总结或采取行动。使用个人账户时,这些内容适用各供应商的消费者规则。此外,它们尤其容易受到隐藏在网页中的指令的影响(第 9 节,风险 3)。有些可以集中管理或加以屏蔽。建议由技术部门确定公司设备上允许使用哪些,以及可访问哪些网站。
语音助手
Siri、Alexa 和 Google 助手它们在设备本地监听唤醒词。一旦被激活,无论是有意还是误触,所说的话都会发送到供应商的服务器。曾有误激活最终闹上法庭的情况(附录 A,问题 3)。在公司配发的手机上,技术部门可以限制或停用该助手。在讨论机密事项的会议室里,简单的规则是不要放置智能音箱。
会议录制与摘要
会议助手(Teams 中的 Copilot、Zoom AI Companion、Meet 中的 Gemini、Otter、Fireflies 及类似工具)以普通参会者身份加入会议的外部助手,通常使用连接它的那个人的个人账户运行:录音、转录和摘要都掌握在该供应商手中,有时其他参会者并不知情。公司所采购的会议平台内置的功能,适用该合同的条款。无论哪种情况:都应事先告知所有参会者,并在传阅摘要之前对其进行审核(附录 A,问题 9)。

条件由各供应商在其官方页面上公布,于 2026 年 10 月核对。这些条件经常变化:做决定之前,请以现行合同为准加以确认。

实用规则。使用个人账户时,这些工具都不应接收公司、客户或员工的信息。使用公司账户时,起决定作用的是已签署的合同,而不是工具的名称。

一句话讲清 RAG

RAG(检索增强生成)让模型在作答时查询外部的企业信息,而这些信息不一定已被纳入模型的训练。这就是模型“出厂时就知道”的内容与它在回答时“查阅”的内容之间的区别。沿用顾问的比喻:RAG 是交给他一个装有公司文件的文件夹,让他在会议中查阅;微调(fine-tuning)则是送他去参加一门用这些文件开设的专项课程,他在那里学到的东西就很难再被轻易拿走了。

您的组织很可能已经在使用 RAG,只是没这么称呼它:NotebookLM、ChatGPT 和 Claude 的项目(Projects)、Microsoft 365 Copilot 依据 SharePoint 文档作答时,或者 Gemini 在 Google Drive 中检索时。在所有这些情况下,工具都是查阅文档来回答,而决定风险的是谁能看到那个文件夹,以及使用的是哪种类型的账户。

需求RAG微调(fine-tuning)
查阅最新文档非常适合不一定
信息经常变化适合不太适合
改变模型的风格或行为有限更适合
撤出某个信息来源相对容易管理更复杂
能够标明回答的出处通常更好不一定
关于删除与训练。简单地说“数据一旦用于训练就无法删除”并不准确,但认为可以删除同样不对。一旦某项数据被用于训练或调整模型,要彻底消除它的影响,比从数据库中删除一条记录复杂得多,因为神经网络把所学内容分散在参数之中,而不是作为一条孤立、可定位的记录保存:这就像想把已经烤好的蛋糕里的糖取出来。因此,首选的控制措施不是承诺事后删除,而是在合同和技术上杜绝敏感数据在不必要的情况下进入训练过程。还要注意不要混淆以下六件事,它们的删除方式和难度各不相同:删除原始文件、删除 RAG 索引、删除日志、删除智能体记忆、已经用于训练的部分,以及合同约定或备份中的保留。

自主性和数据访问会改变风险面。下一个问题是:什么可能出错,又该如何控制。

自主性

9高管必须了解的六大风险

每项风险都按以下方式呈现:它是什么、一个日常示例或真实案例,以及相应的控制措施。

1

错误回答或“幻觉”

AI 可以生成非常令人信服、同时又是错误的内容。实际后果是:不要把流畅当作确定。常见的控制措施:人工核实、要求提供来源、明示使用边界,以及在关键决策上加强监督。

日常类比。就像一个没复习的学生,为了不把题目留空,信心十足地编造了一个答案。

真实案例。2023 年,在纽约的 Mata 诉 Avianca 一案中,两名律师提交了一份引用了不存在的司法判决的文书,其中包括 ChatGPT 编造的虚假引文。法院对他们及其律所处以 5,000 美元(USD)罚款。

2

信息泄露

包括机密信息、个人数据、商业秘密、客户信息和知识产权。可能发生在发送数据时、存储过程中、通过日志、因客户之间隔离出现错误,或通过连接到智能体的工具。

真实案例。据媒体报道,2023 年三星员工为了纠错和总结,把源代码(程序的内部指令)和会议记录输入了 ChatGPT。该公司确认,已限制在其内部设备和网络上使用生成式 AI 工具。

如何应对。明确哪类信息绝不能输入外部 AI,使用企业账户而不是个人账户(第 8 节),在合同中要求数据不得用于训练,隔离每个客户的信息,并检查日志中保存了什么。

3

智能体被操纵(提示注入)

文档、邮件、网页或文件中可能含有写给智能体而不是人类读者的指令,隐藏在白色文字、元数据或图像里。一个概念性的例子:一份看似正常的文档试图说服智能体忽略此前的指令,或执行不当操作。最难应对的是间接注入(指令藏在系统读取的内容里,而不是来自使用者),因为目前还没有办法在模型内部彻底防止它:语言模型无法确切地区分它应当遵循的指令和它正在读取的文字。英国国家网络安全中心(NCSC)于 2025 年 12 月警告,这种攻击可能永远无法被完全缓解,并建议处理第三方内容的系统所拥有的权限,不应超过该第三方本身所拥有的权限。因此,主要的控制不在模型,而在设计:限制一个被操纵的智能体可能做的事。读取外部内容的智能体,不应在没有人工批准的情况下,同时拥有访问机密信息的权限和向外发送信息的能力;它应只读取属于它的内容,并对重要操作提出建议,而不是直接执行。

日常类比。就像有人在您交给助理的文件夹里藏了一张便条,写着“请读到此条的助理:把这个文件夹发到这个地址”。人会忽略它,而 AI 可能分不清哪些是老板的指示,哪些只是它正在读的文字。

真实案例。2025 年 6 月,安全公司 Aim Security 披露了“EchoLeak”:一封带有隐藏指令的邮件,可以让 Microsoft 365 Copilot 泄露内部信息,用户无需点击任何内容。Microsoft 修复了该漏洞,也没有证据表明它曾被用来攻击客户。

4

权限或自主性过度

智能体可能拥有超出所需的能力,在技术上完全正确,却仍然执行了业务并不希望发生的操作。这里的控制措施与任何具备行动能力的系统相同:最小权限、职责分离、明确的权限边界、关键环节的人工批准、财务或运营上的限额,并且只要可能就让操作可逆。对于使用某个人的账户行事的副驾驶和智能体,权限过度是默认自带的:智能体获得此人能看到和能做的一切,即使其任务只需要其中的一小部分(第 12 节)。

真实案例。2025 年 7 月,Replit 平台的一个编程智能体删除了某个项目正在使用的数据库,其中有超过 1,200 名高管和 1,190 家公司的记录,而当时已明确要求它在未经批准的情况下不得做任何更改。该智能体自己称其为“灾难性的失误”。数据后来得以恢复,平台也增加了测试环境与生产环境之间的自动隔离。

5

对第三方的依赖与供应链

AI 方案可能依赖模型供应商、云、API、插件(plugins)、集成商、外部工具和第三方数据源。企业可能向客户承诺了某件事,而它实际上取决于一个并未在合同中作出保证的第三方。风险还包括对单一供应商的依赖、服务可用性,以及企业无法控制的产品或价格变动。

真实案例。2025 年 5 月,在《纽约时报》诉 OpenAI 一案中,美国一家法院下令保存本来通常会被删除的对话记录,包括消费者账户和团队账户的记录;企业账户和零留存集成不在其内。该项总体命令于 2025 年 10 月解除。一场使用企业并非当事方的诉讼,改变了它们数据的命运。

如何应对。了解每个方案依赖哪些供应商,包括间接的供应商;根据使用的敏感程度选择账户类型;要求就重大变更发出通知;并制定退出计划(第 16 节)。

6

知识产权、隐私、合规与监管

AI 可能在个人数据、版权、信息使用、透明度、自动化决策、歧视和行业监管方面带来风险。本指南不能替代法律意见:第 15 节将更详细地回到这一点。

真实案例。2023 年 3 月,意大利数据保护机构暂时封禁了 ChatGPT。2024 年 12 月,该机构对 OpenAI 处以 1,500 万欧元罚款,理由包括在缺乏适当法律依据的情况下使用个人数据进行训练,以及未通报一起安全漏洞。2026 年 3 月,罗马法院以管辖权为由撤销了这笔罚款:由于 OpenAI 当时已将欧洲总部设在爱尔兰,该案应由爱尔兰监管机构管辖。法院未就实体问题作出裁决。

如何应对。在对个人数据使用 AI 之前,确认法律依据和目的,只使用必要的数据,核查数据在哪里处理,并允许当事人对仅由自动化系统作出、对其有重大影响的决定要求人工复核。在智利,随着新的个人数据法出台,这一点变得更有分量(第 15 节)。

自主性

10AI 安全:三场不同的对话

人们常常把三场实际上相互独立的对话混为一谈,因此在与供应商或内部团队的任何讨论中,都应明确区分它们。

A. 安全地使用 AI

员工和组织日常使用 ChatGPT、副驾驶、带 AI 的 SaaS 和智能体。

B. 保护 AI 系统

防御提示注入、操纵、非法访问、数据泄露,以及对所连接工具的滥用。

C. 把 AI 用于网络安全

在安全运营中心自身应用 AI:检测、告警的初步分级(triage)、分析、调查、身份管理和响应。

为什么要分开

一个供应商或团队可能把三场对话中的某一场回答得很好,却完全忽略了另外两场,而如果不分别提问,这一点并不明显。
简单来说,“安全的 AI”意味着什么。数据受保护、身份受控(无论是人还是智能体)、最小权限、操作受限、监督与风险相称、持续监控、可追溯、能够叫停或撤销操作,以及在投入生产之前进行安全测试。每项 AI 举措从一开始就应遵循这一原则来设计,而不是事后打补丁。“安全的 AI”描述的是一种设计标准,不是商标,也不是可以购买的产品。

面向员工的 AI 使用政策

本节三场对话中的第一场,即在日常工作中安全地使用 AI,很大程度上可以通过一份组织里任何人十分钟内就能读完的使用政策来解决。它不需要五十页:只需要清楚地回答四个问题,并与公司技术实际允许的范围相一致。

必须回答什么应当怎么说示例
我可以使用哪些工具?已批准的工具清单,注明每种工具允许使用的账户类型,以及如何申请评估新工具“处理公司信息时,只能使用已批准助手的企业账户,绝不能使用个人账户”
哪些数据绝不能输入?一份简短而具体的清单,而不是对“敏感信息”的抽象定义客户或员工的个人数据、客户在保密条件下提供的信息、密码和凭据、源代码、未公布的财务数字
什么时候必须由人审核?AI 的输出未经人工审核,不得离开组织,也不得用于决策的情形在发送给客户、发布、签署之前,或用于涉及个人的决定、法律或财务事项之前
如何报告错误?唯一的渠道、明确的时限,以及及时报告不会受到处罚的保证“如果您输入了不该输入的数据,或 AI 做出了意料之外的事,请当天通知 AI 负责人”
简单来说它相当于公司用车规定:谁可以驾驶、哪里不能去、出发前检查什么,以及出了事该打给谁。没有人会把它通读两遍,但人人都知道那四条规则。
最常见的错误。撰写一份描述 AI 在公司里“应当如何”运作的政策,却没有与技术团队核实它实际是如何运作的。与真实架构不符的政策并不保护公司,反而使公司暴露于风险之中,因为它白纸黑字地留下了一项承诺,而审计完全可以用证据来推翻它。

出问题时:事件与业务连续性

迟早会出问题:有员工把客户信息输入了公共工具,某个智能体执行了错误的操作,某个助手向客户给出了虚假的回答,或者一份被篡改的文档改变了某项分析。如果事先没有书面程序,第一次就只能临场应付,而且应付得很糟。通用程序分为五步:

  1. 遏制。在完全弄清楚之前先止损:暂停智能体或集成,撤销其访问权限,并中止待执行的自动操作。
  2. 评估范围。利用日志确定受影响的数据、操作、客户和时间段。没有日志,这一步就无法完成。
  3. 通报。先通报内部负责人,然后按法律和合同规定通报相关方:当泄露对个人造成合理风险时,通报个人数据保护局(Agencia de Protección de Datos Personales);如果企业依《网络安全框架法》(Ley Marco de Ciberseguridad)负有义务,通报国家网络安全局(Agencia Nacional de Ciberseguridad)(第 15 节);按合同通报受影响的客户;以及通报 AI 供应商。
  4. 纠正与撤销。撤销可以撤销的操作,正式要求供应商删除应当删除的内容,并向客户更正错误交付的内容。
  5. 总结改进。找出原因,调整政策、权限或控制措施,并把该案例加入每次变更前都会重复执行的测试之中。

附录 A 的问题 10 将这一逻辑应用于最常见的情形:员工在个人账户中输入了机密信息。

此外还有一类 AI 特有的事件,看起来并不像事件:由于供应商更新了模型,系统开始给出不同的回答,而公司里没有任何人改动过任何东西。保障业务连续性的控制措施有四项:

简单来说就像某种食材的供应商没打招呼就改了配方:菜看上去还是一样,味道却不一样了。一家严谨的餐厅会在上桌之前先试用新食材,并备好原来的以防万一。
自主性

11攻击者同样可以使用 AI

本节仅旨在提升高管层的认识,不是攻击技术指南。怀有恶意的行为者可能利用 AI 来改进社会工程、网络钓鱼、内容生成、翻译、信息个性化、目标调查、自动化、代码的生成或修改,以及某些攻击活动的速度和规模。没有证据表明 AI 已经取代了传统的攻击手段:它主要做的是降低门槛、扩大规模,并加快攻击者的行动。

真实案例 · Arup,2024 年工程公司 Arup 香港办公室的一名财务人员,参加了一场视频通话,对方看似是首席财务官和其他同事。他们全都是由 AI 生成的仿冒者(deepfake)。他按照指示进行了 15 笔转账,总额约 2,500 万美元(USD)。Arup 确认使用了伪造的声音和图像,其内部系统并未被攻破:被欺骗的是人,而不是技术。
简单来说不久前,看到一个人的面孔、听到他的声音,还足以证明身份。如今已不再如此。对策既古老又有效:任何不寻常的资金或数据指令,都要通过另一个已知渠道进行确认(例如拨打已登记在案的号码),而且有些金额绝不能仅凭一条途径授权,即使指令看上去来自总经理。
组织不能只考虑“使用 AI”。它必须考虑在对手也在采用 AI 的环境中,如何安全地使用 AI。

控制这些风险,需要的不只是技术:需要权限、责任和清晰的规则。

治理

12AI 治理:谁来决定 AI 能做什么

AI 治理并不意味着制造官僚体系,而是意味着明确到具体的人:谁可以批准使用场景,谁是流程负责人,谁是风险负责人,可以使用哪些数据,允许哪些模型和供应商,授权何种自主级别,禁止哪些用途,什么时候需要人工监督,如何监测表现,如何报告事件,以及什么时候应当下线某个方案。

治理问题典型责任方
我们为什么要做这件事?业务
谁对结果负责?流程负责人
我们接受什么风险?业务 / 风险
它可以使用哪些数据?数据 / 隐私
如何保护它?安全
是否符合监管要求?法务 / 合规
如何运营?技术
如何监督?治理 / 审计

各部门的名称仅供参考(董事会、总经理室、流程负责人、技术、安全、数据、法务或合规、风险、审计):每家企业会根据自身规模和行业加以调整。

技术的负责人不应自动成为业务风险的负责人。这是两项不同的责任,在缺乏明确治理时,二者常被混为一谈。

AI 与网络安全的治理框架与模型

在专门治理 AI 之前,最好先理顺技术和信息的总体治理。一个连自身信息风险都管理不好的组织,很难管理好其 AI 系统带来的、更新也更不为人所熟悉的风险。

简单来说信息安全就像一栋大楼的安保:门锁、门禁卡、摄像头和保安。它保护的是 AI 工作的场所。但它并没有说明,团队的新成员(AI)刷卡进入之后可以决定什么。这要由 AI 治理来界定,就像对任何新人的岗位说明、签字权限和监督一样。两者都需要,而且要按这个顺序。
AI 不能在真空中治理,而是要建立在本应已经存在的风险管理和信息安全管理基础之上。如果这个基础尚未成熟,那么第一个 AI 治理项目,其实就是把总体治理补完整。

应当区分两个层面:适用于任何使用技术的组织的通用风险与安全管理框架,以及直到最近几年才开始成形的 AI 专用框架。

NIST CSF(NIST 网络安全框架)

美国国家标准与技术研究院(NIST)发布的自愿性框架。其 2024 年 2 月发布的 2.0 版围绕六项职能组织:治理、识别、保护、检测、响应和恢复;“治理”职能是在该版本中新增的。它不可认证,也不规定具体的控制措施:它提供一种通用语言和一种评估应对风险成熟度的方法,适用于任何规模和行业的组织。

ISO/IEC 27001(SGSI)

国际标准化组织(ISO)发布的可认证国际标准,现行版本为 2022 年版。它要求建立信息安全管理体系(SGSI):包括政策、角色、资产清单、风险评估和持续改进循环,并由第三方审核。

二者并不互斥:许多组织把 NIST CSF 用作内部评估框架,把 ISO/IEC 27001 用作支撑该评估的、经过认证的管理体系。

维度NIST CSFISO/IEC 27001
性质自愿性参考框架可认证的国际标准
侧重点面向风险的各项职能与成熟度级别带有持续改进循环的管理体系(SGSI)
验证方式自我评估,无正式认证外部审核和正式认证
刚性程度灵活,可适应规模和行业结构化程度更高,文档要求更多
典型用途评估网络安全状况并确定优先事项向第三方证明存在经过审核的风险管理
日常类比企业自己用来了解自身状况的预防性体检清单由外部审计师出具的证书,就像对财务报表的审计

有了这一通用基础,才适合进一步考虑专门针对 AI 的框架:

ISO/IEC 42001

2023 年 12 月发布的 AI 管理体系(SGIA)国际标准。可认证,遵循与 ISO/IEC 27001 相同的逻辑,但应用于 AI 系统的整个生命周期:设计、数据、监测和持续改进。

NIST AI RMF(AI 风险管理框架)

NIST 于 2023 年 1 月发布的自愿性框架,围绕四项职能组织:治理、映射、衡量和管理。2024 年 7 月又增加了针对生成式 AI 的专门配置文件。它把 NIST CSF 的成熟度与自我评估逻辑,应用于 AI 特有的风险,如自主性、偏见或可解释性(解释系统为何得出某一结果的能力)。

除这两者之外,还有性质不同的欧盟 AI 法案(EU AI Act):它不是自愿性的管理框架,而是具有法律效力的法规,按风险等级对 AI 系统分类,并按分类提出不同的义务(第 15 节)。ISO/IEC 27001 的 SGSI 保护的是 AI 运行的环境(数据、访问、基础设施),但并不回答 AI 特有的问题:系统可以自行决定什么、自主级别如何、存在何种偏见、可解释性如何。这些问题正是 ISO/IEC 42001、NIST AI RMF 以及在某些市场中作为法律义务的欧盟 AI 法案所要解决的。

在隐私方面,还有 ISO/IEC 27701,其 2025 年版已成为管理个人数据的独立标准:不再要求先具备 ISO/IEC 27001。

在智利,这一基础对部分企业已是强制要求:《网络安全框架法》(Ley Marco de Ciberseguridad)要求关键服务运营者建立信息安全管理体系(第 15 节)。

在实践中,一套已经成熟的 ISO/IEC 27001 SGSI 在迈向 AI 时并不会被抛弃:其中很大一部分可以复用,另一部分则需要扩展,因为 AI 带来了 SGSI 在设计之初并未打算回答的问题。

ISO/IEC 27001 的控制措施或领域它在 AI 方面涵盖什么它缺少什么,以及 ISO/IEC 42001 或 NIST AI RMF 涵盖什么
资产清单识别 AI 所运行环境中的服务器、数据和访问没有把模型、版本、训练数据集或 AI 供应商作为独立资产加以区分
访问管理控制谁可以进入 AI 系统和接口不控制智能体在获得授权访问之后可以决定或执行什么,也无法区分行事的是某个人,还是使用其账户的智能体
风险评估评估机密性、完整性和可用性风险不评估 AI 特有的风险,如偏见、幻觉、准确率随时间逐渐下降(模型漂移)或可解释性的丧失
供应商管理评估一般意义上的技术供应商不要求评估训练数据的来源,也不要求评估供应商模型的可追溯性(它来自哪里、如何演变)
事件管理应对信息安全事件没有考虑这样的事件:系统在其权限范围内自主行动,却产生了不当结果
持续改进与审计审计 SGSI 在一段时间内的合规情况不审计模型随时间推移的表现及其再训练

总体上推荐的成熟度路径如下:

阶段 1. 基础 SGSI

资产清单、访问管理、风险评估和事件管理能够持续一致地运行,无论是否取得正式的 ISO/IEC 27001 认证。

阶段 2. 扩展到 AI

在此基础上,纳入模型和数据集清单、AI 特有的风险评估,以及涵盖自主决策的事件流程,遵循 ISO/IEC 42001 或 NIST AI RMF 的逻辑。

阶段 3. 自主性治理

针对每个使用场景,界定系统可以自行决定什么,以及什么明确不在其范围之内(第 7 节和第 17 节的问题 12)。

阶段 4. 合规

识别每个系统适用哪些法律义务(在智利,目前主要是个人数据法;在欧洲,则是欧盟 AI 法案),并履行相应的义务(第 15 节)。

治理智能体:身份、权限与日志

对智能体的治理,遵循的逻辑与接纳一位有权访问系统的新员工相同:知道他是谁、能做什么、谁对他负责、他做过什么。第一个问题,即他是谁,如今却有一个令人不安的答案。

智能体如今以什么身份运行

在实践中,许多最常用的副驾驶和智能体都是以使用者本人的账户运行的。Microsoft 365 Copilot、Google Workspace 中的 Gemini、连接到邮箱或 SharePoint 的 ChatGPT,或者带 AI 的浏览器,都是代表用户行事:能看到此人能看到的内容,能做此人能做的事(附录 A,问题 14 和 15)。这称为委托访问。另一种做法是让智能体拥有独立身份,与任何人的身份都不同,并按其任务分配权限。此外还有第三种方式,更不易察觉,风险也更高:无论由谁使用,智能体都使用其创建者的凭据。这三种方式并存,有时甚至存在于同一款产品中,因此应当弄清每个智能体使用的是哪一种,因为它们的风险各不相同。

模式运作方式主要风险最低控制要求
委托访问
代表某个人
智能体使用调用者的会话或权限。这是个人助手的常见模式:总结自己的邮件,或在本人已有权访问的文档中检索它继承此人能看到和能做的一切,而这几乎总是远远超出任务所需。如果一条隐藏指令操纵了它(第 9 节,风险 3),它就会以此人的全部权限行事,而在日志中,它的操作可能看起来像是此人所为在此人的权限范围内限制智能体可以使用的内容,并让日志能够区分哪些是智能体做的、哪些是本人做的
独立身份
智能体自己的账户
智能体使用自己的账户(服务账户)运行,其权限由管理员按任务分配。适用于为团队或流程工作的智能体、在无人登录时按计划运行的智能体,或执行有实际后果之操作的智能体:付款、审批、修改记录如果该账户权限过宽,智能体能看到和做到的就会超过任何个人,而任何能够调用它的人,都能通过它接触到本不属于自己的信息把谁可以调用智能体与智能体可以做什么分开,配备负责人、最小权限,以及可轮换、可撤销的凭据
创建者的凭据
搭建者的连接
智能体使用创建者本人的连接或凭据,并将其重复用于所有使用者。当有人用自己的访问权限搭建一个智能体并与团队共享时,就会出现这种情况任何调用它的人,都能通过它访问创建者能看到和能做的一切,而在日志中,所有操作都显示为创建者所为避免这种做法:让每位用户以自己的身份登录,或让智能体使用自己的身份,并在平台允许的情况下禁用这种模式
简单来说这就好比:是把您自己的门禁卡和签名借给助理,还是给他一张以他本人名义办理的门禁卡,只能打开他工作所需的门,并且每次使用都会留下记录。如果是前者,助理所做的一切看起来都会像是您做的。
良好做法。每个智能体都拥有可识别、可撤销的独立身份,每项操作都以两个名字记录下来:执行它的智能体,以及提出请求的人或计划任务。当智能体代表某人行事时,正确的做法不是让它使用此人的账户,而是采用正式的委托访问,使两个身份都清晰可见。这正是 OWASP 的建议:它把身份与权限滥用列为智能体应用的十大风险之一,并提出为每个智能体分配身份,使用短时有效、限定于每项任务的凭据。一些厂商已经提供了这类功能:Microsoft 在 Entra 中提供智能体专用身份,既可以自行行事,也可以代表某人行事并同时记录双方身份,并且自 2026 年年中起对其适用条件访问;Glean 于 2026 年 7 月推出了一个测试版本,为其智能体提供独立账户。

权限:不多不少,恰好满足任务所需

让智能体继承其使用者的权限,解决了一个实际问题,因为这样就不必再维护第二套访问矩阵;但从安全角度看,这本身就是一个问题。一个人的权限会在多年间不断累积,来自各种项目、替岗以及没人关闭的共享文件夹,而智能体会一次性全部接收。而且它会持续继承:此人获得的每一项新权限,智能体都能使用,却没有人评估过这个智能体是否需要。一个负责编制每周销售报告的智能体,不需要读取人力资源部门的邮件,也不需要删除文件的能力,即使使用它的人可以这样做。

智能体应当恰好拥有执行所交办任务所需的权限,仅限于该任务所需的数据,不多也不少,而且绝不超过调用它的人所能做的。

在实践中,这体现为四项决定:权限按任务定义,而不是从某个人那里复制;只能访问任务所用的数据源;权限设有到期日,经复核后才续期,而不是默认续期;以及一条交集规则,即智能体的策略只能限制此人能做的事,绝不能扩大。“不少”同样重要:权限少于任务所需的智能体并不能保护任何人,因为它会促使有人为了让它运转而为它开放宽泛的访问权限,或者促使员工改用未经批准的工具来替代它。

谁创建了智能体:常被遗漏的身份

每个智能体周围都有四个身份,而不是两个:创建和修改它的人、对它负责的人(其负责人)、调用它的人,以及智能体本身。其中最常游离于治理之外的是创建者的身份,因为如今任何拥有相应许可证的人,都可以在 Copilot Studio、ChatGPT 的 GPT 或类似平台上,几分钟内搭建一个智能体,将其连接到公司系统并共享出去。由此产生三种风险:智能体对所有使用者都使用其创建者的凭据(即上表第三行;例如 Copilot Studio 就允许这样配置);创建者事后更改一个已获批准的智能体的指令、工具或连接,从而改变它的行为,却无人复核;以及创建者离开组织后,其智能体仍以其连接继续运行,或者再也没有人了解它们。

因此,创建智能体的人应作为智能体的一部分纳入治理,遵循四条规则:创建和发布智能体是一项需要分配的权限,而不是所有人默认具备的能力;创建者的个人连接不与智能体共享;对其指令、工具、连接或权限的每一次更改,都要连同修改人一并记录,如果更改扩大了智能体能做的事,则须在发布前复核;高影响智能体的创建者不能同时是其审批者。创建者也可以同时是其负责人,但这是两种不同的职能:创建者负责构建,负责人对其所作所为负责。

每个智能体的规则

无论采用哪种身份模式,每个智能体都应遵守八条规则:

除这些基本规则之外,业界尚无统一的答案。在 ELIAC 2026 上,三家安全厂商提出了三种不同的智能体控制方式,宜将它们视为互补而不是互相替代:

主张所回答的问题解决什么不能解决什么
数字权限
Steve Riley,Netskope
这个智能体拥有什么权限,它是否在无人复核的情况下不断扩大?权限的悄然累积。建议从四个维度复核:身份、最小权限、行为和数据智能体在权限正确的情况下做出错误决定
意图控制
Ron Bennatan,Varonis
鉴于被交办的任务,它现在应该做这件事吗?智能体真实的失效模式:即使有权限,也做了超出被交办范围的事这是最新的主张,在真实运营中经过的检验也最少
遏制
Mario Espinoza,Illumio
如果出了问题,危害最远能到哪里?无需预测模型会做什么,即可限定危害的半径它不能防止错误,只是限制错误

每种主张都与提出它的公司所销售的产品类别一致。这并不使其诊断失效,但要求把诊断与药方区分开来:三者都不是完整的解决方案,而智能体的独立身份仍是一个悬而未决的议题,因为每家厂商都在构建自己的体系,而这些体系彼此尚不互通。

问题已不再只是智能体能否访问某项资源,而是它是否应该做它正在做的事,以及一旦出错会怎样。

使用 AI 的人的身份

在委托模式下,个人的账户就是智能体的钥匙:如果这个账户保护不善,智能体借助它能做的一切也同样缺乏保护。因此,对智能体的控制始于对人的控制,有三条规则:

MCP:智能体的新入口

Model Context Protocol(MCP,模型上下文协议)是一项开放标准,用于把 AI 助手和智能体与其他应用和数据源连接起来:邮件、客户关系管理系统(CRM)、代码仓库或数据库。它由 Anthropic 创建,自 2025 年 12 月起成为 Linux Foundation 旗下 Agentic AI Foundation 的项目,ChatGPT、Claude、Gemini、Microsoft Copilot 和 Cursor 等都支持它。对高管而言,关键在于:每一个 MCP 连接,都赋予智能体在另一个系统中读取或执行操作的能力。因此,每个 MCP 服务器都应像其他任何集成一样对待:纳入清单、有负责人、使用前须经批准、仅限于任务所需,并留有记录。员工自行连接的 MCP 服务器,就是具备行动能力的影子 AI。

向董事会报告什么,多久报告一次

董事会不需要一份关于 AI 的技术报告:它需要的是一页纸,每次格式相同,使其能够看出趋势并做出决定。从五项内容入手即可:

报告什么应当呈现什么建议频率
AI 清单新增的用途、下线的用途、发现的影子 AI,以及每个风险级别下各有多少用途每季度
事件发生了什么、影响了谁、纠正了什么、学到了什么,包括险些发生的事件每季度,严重事件立即报告
合规对照政策和所采用框架的进展、审计结果,以及新增或修订的法律义务每半年
所创造的价值对每项重要举措,承诺的成果与实际取得成果的对比,采用第 6 节的指标每半年
已批准的高风险用途有哪些、具有何种自主性、谁是风险负责人、有哪些控制措施在运行、批准了哪些例外每次新增批准时报告,并每年全面复核一次

这些频率只是起步的参考:应根据 AI 的使用强度和董事会的日程加以调整。

治理

13AI 伦理:技术上可行的,并非都是企业可以接受的

治理回答谁来决定。伦理回答我们愿意允许什么,即使技术上做得到。伦理、监管与安全相互重叠,但并不相同:一项决定可能既合法、技术上又安全,却仍被客户、员工、社区乃至董事会本身视为不妥。核心议题包括透明度、公平、不歧视、隐私、解释决定的能力、责任、人工监督、对人的影响,以及与所要解决的问题相称的使用。

真实案例 · Amazon,2018 年据路透社报道,亚马逊放弃了一款给简历打一到五星的实验性工具。它从十年间的求职申请中学习,而这些申请大多来自男性,结果它开始对含有“女性”一词的简历扣分,例如“女子国际象棋俱乐部队长”。没有人教它歧视:它是从历史中学来的。据报道的消息来源称,招聘人员会参考它的推荐,但从不仅凭它做决定。

给董事会的启示:从过去学习的 AI 可能重复并放大过去的偏见。因此,涉及个人的决定(招聘、信贷、保险、解聘)值得最严格的监督。

我们是否能坦然地公开解释这个 AI 是如何以及为什么做出这个决定的?这是一个简单的测试,可作为第一道预警信号,但不是做决定的唯一标准。
治理

14AI 出错时,谁来负责?

角色典型责任
模型供应商底层的模型或服务
应用供应商构建在模型之上的应用
集成商为企业量身定制的具体实施
使用企业对系统的治理及其使用方式
流程负责人业务流程的最终结果
人类用户当决定确实应由人来做时,对该决定负责

责任的实际分配取决于具体合同、适用的监管规定和具体的架构:这张表是一份起点地图,而不是自动的责任分配。

真实案例 · 加拿大航空,2024 年加拿大航空网站上的聊天助手告诉一位乘客,他可以在购票后 90 天内申请丧亲特价票。这是错误的。乘客提出索赔时,航空公司辩称,对该助手提供的信息不能负责。加拿大不列颠哥伦比亚省的一家法庭驳回了这一论点:企业要对其网站上的所有信息负责,无论来自固定页面还是聊天助手。法庭判令其赔偿约 812 加元。

启示:面对客户,“是 AI 干的”不能成为抗辩理由。企业要为其 AI 所说所做的一切负责。

真正相关的问题不只是“谁有过错?”,而是“谁承担剩余风险?”
治理

15监管:AI 是公司治理议题

AI 已经牵涉到隐私、版权、歧视、透明度、自动化决策、责任,以及各行业特有的行业监管。自愿性框架(NIST、ISO)已在第 12 节中介绍。本节概述截至 2026 年 10 月,对在智利运营或在欧洲拥有客户的企业最相关的法律义务。

法规状态对企业意味着什么
第 21.719 号个人数据保护法(智利)2024 年 12 月公布。自 2026 年 12 月 1 日起生效。政府于 2026 年 9 月提出的一项法案(议案编号 18.623-07)拟将生效日期推迟至 2027 年 12 月 1 日。10 月 19 日,参议院宪法委员会以全票原则通过了该法案;在逐条审议阶段,有提案主张缩短推迟期限,或仅推迟监督执法和处罚设立个人数据保护局(Agencia de Protección de Datos Personales),负责监督和处罚。保留访问、更正、删除、反对和封锁的权利,并新增数据可携带权,以及对仅基于自动化处理、产生法律效果或对个人造成重大影响的决定提出异议并要求由人复核的权利,法律另有规定的例外除外。要求就对个人造成合理风险的安全漏洞向该局报告。该法对涉及客户和员工数据的 AI 使用影响最大。截至 2026 年 10 月,该局尚未组建,因为参议院于 5 月否决了其理事会的人选提名:这推迟的是监督执法,而不是各项义务。同一项法案还提议,在第一年内,该局对任何规模的企业都可以选择以书面警告代替罚款,而这一权力目前法律仅保留给规模较小的企业。这是该局的一项选择权,而不是对罚款的豁免。
第 21.663 号法律,《网络安全框架法》(Ley Marco de Ciberseguridad,智利)2024 年 4 月公布。报告义务自 2025 年 3 月 1 日起适用设立国家网络安全局(Agencia Nacional de Ciberseguridad)。基本服务提供者和关键运营者必须报告具有重大影响的事件,并遵守报告条例(第 295 号法令)规定的期限:3 小时内发出早期预警,72 小时内提交第二份报告(如影响基本服务则为 24 小时),7 天内提交行动计划,15 天内提交最终报告。该法界定的基本服务包括数字基础设施、数字服务以及由第三方管理的信息技术服务,因此也可能涵盖 IT 和 AI 供应商。该局已公布了首批关键运营者名单;其中第二份名单于 2026 年 7 月获批,涵盖 239 家机构。关键运营者还必须建立信息安全管理体系。
AI 法案草案(智利,议案编号 16.821-19)审议中。2025 年 10 月获众议院通过,目前在参议院(截至 2026 年 8 月的状态)众议院通过的文本沿用欧洲的风险分级模式。2026 年,政府宣布将以一部“授权性”的框架法取而代之,其中包括承认 ISO/IEC 和 NIST 等国际技术标准可作为合规机制。它尚未成为法律。它具有战略意义,值得跟踪,但目前不产生义务;其导向有利于已经理顺风险管理的组织。
欧盟 AI 法案(EU AI Act)自 2024 年 8 月起生效,分阶段适用当欧洲以外企业的 AI 系统在欧盟境内提供,或其输出结果在欧盟境内使用时,同样适用。自 2025 年 2 月起,禁止性做法开始适用;自 2025 年 8 月起,通用目的模型的义务开始适用。2026 年,高风险系统的义务被推迟:该法附件 III 所列的高风险用途(例如人员遴选、教育或信用评估)推迟至 2027 年 12 月,嵌入已受监管产品的 AI(附件 I,例如机械或医疗器械)推迟至 2028 年 8 月,依据是自 2026 年 7 月 27 日起生效的欧盟第 2026/1744 号条例。同一次调整还放宽了 AI 素养义务,并新增了若干禁止性规定,例如生成可识别个人的、未经其同意的露骨性内容。对使用 AI 的一方已经适用的规定:自 2026 年 8 月 2 日起适用透明度义务,例如为欧盟境内人士提供服务的聊天助手须告知对方正在与 AI 对话(显而易见的情况除外),深度伪造(deepfake)内容须标识为人工生成的内容。对已投放市场的系统所生成内容的标记要求,自 2026 年 12 月 2 日起适用。

本指南不能替代法律意见:在做出合规决定之前,应当与律师一起查阅各项法规的现行文本。

AI 已经是公司治理的议题,而不仅仅是技术部门的事。

在这些条件(权限、伦理边界、责任和监管义务)都已明确之后,组织就可以决定如何实施解决方案,以及自己是否已准备好进行扩展。

治理

16自建、采购还是合作:如何决策

至少有八条不同的路径,而且在同一个组织内并不相互排斥:

方案优势风险或代价何时合适
采购带 AI 的 SaaS速度快,无需自行开发控制力和定制化程度较低标准问题,市场上已有成熟解决方案
使用企业级副驾驶在已使用的工具上快速推广范围局限于副驾驶所允许的个人或团队生产力
基于供应商的 API 构建灵活,无需运营模型基础设施依赖 API 供应商自有的使用场景,无需自行运营模型
开发自有智能体精准适配业务流程需要自有的工程能力和治理在特定流程上形成真正的竞争优势
微调(fine-tuning)特定且稳定的行为或风格成本,且更难撤回需要一致而独特的行为
运营开放权重(open-weight)模型更强的控制力和数据驻留需要自有的基础设施、安全和人才对控制或数据主权有严格要求
从零开始训练自有模型完全掌控成本和复杂度极高例外情形,而不是拥有 AI 战略的自然结果
合作伙伴 / 专业集成商加快实施,并带来组织内部不具备的能力、经验或专长对合作伙伴的依赖、知识转移不足、集成成本,以及可能难以撤回的运营依赖(lock-in)当使用场景需要速度、集成、专业能力或经验,而组织无法单靠自己高效地构建时
大多数企业不需要自建基础模型。它们需要的是利用已有的模型来重新设计自己的流程。

闭源与开放权重,简单来说

闭源服务

优点:速度快、由供应商负责运营、能迅速获得先进能力。代价:依赖供应商、控制力较低、面临价格或产品变动。示例:GPT(OpenAI)、Claude(Anthropic)、Gemini(Google)。

开放权重模型

其开发商公开训练好的模型,企业可以将其安装并在自己的基础设施上运行。优点:控制力更强、可自行运营、可定制、数据驻留。代价:基础设施、安全、运营、专业人才、持续更新,而且责任更直接地落在企业身上。示例:Llama(Meta)、Mistral、DeepSeek、Qwen(阿里巴巴)、gpt-oss(OpenAI)。

两种选择本质上都不更安全:安全取决于各自如何实施和治理,而不取决于“闭源”或“开放权重”的标签。同一家开发商可以同时提供这两类模型。

结构性依赖与退出策略。一个 AI 方案可能同时依赖多个第三方(模型供应商、云、平台、集成商、数据源),这正是第 9 节风险 5 所描述的风险。因此,每一项自建、采购或合作的决定,还必须评估更换供应商的现实可能性、可迁移性、合同与技术上的依赖、退出成本,以及某个组件调价、更换产品或不再可用时服务的连续性。

在采购或开发阶段,附录 B 汇集了一份实用的检查清单,供签署合同或启动开发之前对照提问。

治理

17批准 AI 项目之前的 18 个问题

这 18 个问题按主题分组,便于在董事会会议上使用。

价值
  1. 我们要解决什么业务问题?
  2. 我们将如何衡量所创造的价值?
  3. 为什么这件事需要 AI?
技术与能力
  1. 组织目前的 AI 成熟度处于什么水平,这项举措是否与该水平相符?
  2. 是否存在更简单的替代方案?
  3. 我们使用的是哪一类 AI,为什么是它而不是别的?
数据
  1. 它使用哪些数据?
  2. 这些数据在质量、访问和治理方面是否已为这一用途做好准备?
  3. 这些数据存放在哪里?
  4. 我们的数据可以用于训练模型吗?
  5. 我们的数据如何与同一供应商的其他客户的数据相隔离?
自主性与风险
  1. 系统可以自主做什么、以什么身份和什么权限来做,哪些决定或操作明确不在其范围之内?
  2. 哪些事项需要在执行前获得人工批准?
  3. 如果系统出错,会发生什么?
人员与责任
  1. 谁来为这一错误承担责任?
  2. 对工作与这项举措相关的人员有什么变化,我们如何帮助他们做好准备?
第三方与依赖
  1. 我们直接和间接依赖哪些供应商?
  2. 如果决定终止,我们如何退出该方案并删除我们的数据?
治理

18从哪里开始:90 天计划

不必万事俱备才开始治理 AI,而等到万事俱备再开始,本身就是一个有风险的决定。计划分为两个阶段。

速赢项 · 0 至 30 天

  1. AI 清单。使用了哪些工具、谁在使用、涉及哪些数据、使用哪种类型的账户、谁来负责,包括已内嵌在所采购软件中的 AI 以及影子 AI(第 1 和 8 节)。
  2. 企业账户。把所有涉及客户信息或机密信息的工作转移到有合同保障的企业账户,并通过企业登录和双因素认证进行访问(第 8 和 12 节)。
  3. 禁止输入的数据清单。一页纸,说明哪些信息绝不能输入外部 AI(第 10 节)。
  4. 一位 AI 负责人。一位有姓名、有职位的人,对组织的 AI 决策负责(第 12 节)。

结构性工作 · 30 至 90 天

  1. 使用政策。经批准并向所有人传达,包含第 10 节的四个回答。
  2. 治理框架。角色、依据第 17 节的 18 个问题批准使用场景的流程,以及 ISO/IEC 42001 或 NIST AI RMF 等公认的框架,建立在已有的信息安全基础之上(第 12 节)。
  3. 控制措施。与风险相称:高影响操作的人工批准、智能体的独立身份与按任务设定的最小权限、日志、在可行时锁定的模型版本以及事件处置程序(第 7、10 和 12 节)。在启用任何继承员工权限的助手之前,先对过度暴露的内容进行核查和纠正(附录 A,问题 14)。
  4. 培训。面向所有人讲解政策;面向批准 AI 输出的人员讲解审核什么;面向接待客户的人员讲解如何回答客户的问题(第 7 节和附录 A)。
第 90 天。按第 12 节的格式向董事会提交首份报告,完成这一循环,并确定复核的频率。从这里开始,附录 C 说明如何从这个起点走向 AI 项目体系。

这些期限仅供参考,取决于组织的规模和复杂程度。

30 天内,可以摸清 AI 在哪里,并关上最明显的几扇门。90 天内,可以建起治理它的结构。不宜等到万事俱备才开始。

结语:决策框架

在批准一项 AI 举措之前,高管应当能够有把握地回答五个问题:

  1. 我们要解决什么业务问题?
  2. 为什么 AI 比更简单的替代方案更好?
  3. 我们把哪些数据和哪些权限交给了系统?
  4. 我们如何知道它创造的价值大于风险?
  5. 谁对结果负责?

竞争优势并不会仅仅来自使用 AI,而是来自把它用在正确的流程上,赋予恰当的自主级别,配以可靠的数据、与风险相称的控制措施,以及在开始之前就已明确界定的责任。

如果组织尚未起步,第 18 节的计划梳理了最初的 90 天。

当有人问起公司的 AI 是否安全时,不妨记住附录 A 的规则:用证据回答,而不是用承诺。

正文结束

附录

遇到具体问题时使用的查阅工具。无需从头到尾通读。
查阅附录

A附录 A. 安全、保密与隐私问题及其回答方式

这些是客户、员工、管理层、审计人员乃至董事会本身最常提出的问题,按由浅入深分为五个级别。每个问题都注明了通常由谁提出,并附有一个通俗的回答、回答之前应当核实的事项,以及不应作出的承诺。

这些回答是作为参考回答撰写的:只有在“事先核实什么”所列事项都已落实的情况下,才能这样回答。如果尚未落实,诚实的回答是说明正在采取哪些措施来解决。

黄金法则:用证据回答,而不是用承诺。一个诚实、边界清晰的回答,比经不起审计的全面保证更能赢得信任。如果不知道,正确的回答是“我核实后再回复您”,而绝不是“百分之百安全”。
级别 1 · 基础:我们的数据会怎样
董事会提问
1. “我们使用 ChatGPT、Claude、Gemini、Copilot,或者用带 AI 的 Google 搜索时,我们的数据会怎样?”
通俗回答

“我们输入或上传的内容可能留存在五个地方:对话历史、上传的文件、助手的记忆、供应商的日志,以及(仅在账户允许的情况下)未来版本的训练。保留多久、谁能看到,取决于账户类型,而不是品牌:使用个人账户时,由每位用户的设置和消费者条款决定,其中可能包括由供应商的工作人员审阅对话;使用公司账户时,由合同决定。而搜索引擎,无论有没有 AI,都不应输入机密信息。”

事先核实什么
  • 每个团队实际使用哪些工具、哪种类型的账户(第 8 节,工具表)。
  • 每个工具将对话历史、文件和日志保存多久,以及供应商是否审阅对话。
  • 各供应商目前的条款是怎么写的,因为它们经常变化。
不要承诺

“没有任何 AI 保存我们的数据”,而并不清楚实际在用哪些账户。

客户提问
2. “AI 会留下我们输入的内容吗?它会从我们的数据中学习吗?”
通俗回答

“会留下一些东西,但模型并不会当场学习:它读取我们输入的内容来作答,并不会因此而改变。之后可能发生的是,供应商用这些对话来训练未来的版本。在个人账户中,这取决于每位用户的设置;在我们的企业账户中,供应商通过合同承诺不这样做,并在规定期限内保存日志。确实会被保存下来的,是对话历史、上传的文档和工具的记忆,而这些由我们自己来管理。”

事先核实什么
  • 实际使用的是哪种类型的账户:个人账户还是企业账户(第 8 节)。
  • 在迁移到公司账户期间,个人账户是否已关闭用于训练的选项。
  • 不得用于训练的条款和保留期限,须有书面约定。
  • 日志、搜索索引和记忆中保存了什么。
不要承诺

“AI 什么都不保存。”它几乎总会在某个地方保存一些东西。

员工提问
3. “Siri、Alexa 或 Google 助手这样的语音助手,会听我们说话吗?”
通俗回答

“它们持续监听,只是为了检测唤醒词,而且这发生在设备本地。但一旦被激活,无论是有意还是误触,随后所说的话都会发送给供应商。因此,在机密谈话时不应开着智能音箱,对于工作手机,我们会规定助手是否保持启用。”

真实案例。2025 年 1 月,苹果同意支付 9,500 万美元(USD),以了结美国的一起集体诉讼,该诉讼指控其在 Siri 被意外唤醒后录下了对话。苹果否认有不当行为。同年,亚马逊在部分 Echo 型号上取消了仅在设备本地处理语音的选项:自 2025 年 3 月起,对 Alexa 的请求均在云端处理。

事先核实什么
  • 办公室和会议室里是否有智能音箱。
  • 公司手机的设置允许什么:助手是否启用、锁屏状态下是否响应、与其他 AI 服务的连接。
不要承诺

“没有人在听我们开会”,而会议室里却有启用着助手的设备。

董事会提问
4. “我们可以相信 AI 的回答吗?”
通俗回答

“作为草稿可以。作为最终结论,未经审核不行:AI 可能信心十足地凭空编造。在关键用途上,我们要求提供来源并进行人工审核。”

事先核实什么
  • 哪些用途必须经过审核。
  • 回答是否注明了出处。
  • 在内容送达客户之前由谁来验证。
不要承诺

绝对准确。Mata 诉 Avianca 一案(第 9 节)就是提醒。

客户提问
5. “别的公司能看到我们的信息吗?”
通俗回答

“每个客户的信息与其他客户的信息是分开的,供应商不会用它来回答别人。我们可以展示这种隔离是如何实现的。”

事先核实什么
  • 同一供应商的客户之间,以及我们自己的产品内部,数据是如何隔离的。
  • 这种隔离是否经过测试,以及有什么证据。
不要承诺

未经测试的隔离。当回答薄弱时,这是最严重的安全问题。

客户提问
6. “我们的数据存放在哪里?会出境吗?”
通俗回答

“数据在我们与供应商的合同所约定的区域内处理,合同也规定了数据存放在哪里、保存多久,以及有哪些第三方参与。”

事先核实什么
  • 数据在哪里处理,在哪里存储。
  • 供应商使用哪些分包商,处于哪个司法管辖区。
  • 个人数据法是否对这些数据的跨境传输设定了特殊条件。
不要承诺

“数据绝不离开智利”,除非合同和架构能够保证。

客户提问
7. “如果我们终止合同,所有数据都会被删除吗?”
通俗回答

“凡是可以删除的,我们都会删除,并且可以出示合同和期限:文件、索引、记忆和日志。对于已经进入模型训练的内容,我们无法保证删除,因为模型不是数据库。因此,我们的控制在输入端:敏感数据不用于训练。”

事先核实什么
  • 合同终止时的删除条款,附有期限。
  • 其中包括搜索索引、智能体记忆、日志和备份。
  • 合同排除将我们的数据用于训练。
不要承诺

如果这些数据曾被用于训练或调整模型,就完全删除。

级别 2 · 日常使用
董事会提问
8. “我们知道团队在使用哪些 AI 工具吗?”
通俗回答

“我们有已批准工具的清单,我们衡量未经授权的使用情况,并提供企业级替代方案,让没有人需要使用个人账户。”

事先核实什么
  • 一份最新的清单,包括已内嵌在所采购软件中的 AI。
  • 对实际使用情况的衡量,而不只是申报的使用情况。
  • 一份人人知晓的使用政策。
不要承诺

只描述正式采购的 AI 的回答。它几乎总是实际使用量的一小部分。

员工提问
9. “我们可以让 AI 录制并总结我们的会议吗?”
通俗回答

“可以,但须使用已批准的工具并遵守规则:录制前通知所有参会者,包括外部人员;录音、转录和摘要保存在公司账户中;摘要在传阅之前有人审核;并且有些会议不录制。”

真实案例。2025 年 8 月,加利福尼亚州提起了针对 Otter.ai 的集体诉讼,指控其助手加入会议并录制未表示同意的参会者,还利用这些对话训练其系统。这些是指控,而非已证实的事实,但它们显示了助手以某一个人的账户进入会议所带来的风险。

事先核实什么
  • 使用的是公司所采购的平台中的内置工具,还是由用户连接的外部助手。
  • 录音和转录存放在哪里、保存多久,以及供应商是否将其用于训练。
  • 摘要会自动发给谁:有时会发给所有受邀者,包括外部人员。
  • 与法务部门确认如何取得参会者的同意。
不要承诺

摘要是准确的。它可能遗漏细微之处,或把某人没说过的话归于他:它是草稿,而不是会议纪要。

管理层提问
10. “有员工用个人账户把客户的机密信息粘贴到了 AI 里。我们该怎么办?”
通俗回答

“我们把它当作它本来的性质来处理:向外部供应商披露第三方的信息,而不是一个小疏忽。我们按以下顺序行动:”

  1. 立即通知安全部门和法务部门,并启动公司的事件与信息泄露应对规程。
  2. 确认账户类型,以及共享数据用于训练的选项当时是否开启。
  3. 删除该对话和相关文件。由于是个人账户,公司与该供应商之间没有合同:删除请求须由账户持有人通过供应商的隐私渠道提出,并保留请求及答复的记录。
  4. 查阅与客户的保密协议和个人数据法,以确定是否负有告知义务。
  5. 如有必要,在客户从其他途径得知之前先告知客户。
  6. 纠正根源:人人使用企业账户,并设立一个渠道,对及时报告此类情况的人不予处罚。
不要承诺

“已经全部删除了。”记录可以删除,但无法保证删除可能已进入训练的内容。

员工提问
11. “经理通过视频联系我,要求紧急、保密地转一笔款。我怎么知道是他本人?”
通俗回答

“从脸和声音是分辨不出来的:如今两者都可以被模仿。任何不寻常的资金或数据指令,都要通过另一个已知渠道确认,即使它看似来自最高层。”

事先核实什么
  • 存在书面的双重核实程序。
  • 财务部门了解该程序并且演练过。
不要承诺

仅靠培训就足够。Arup 案例(第 11 节)表明,欺骗可以逼真到何种程度。

董事会提问
12. “我们会通过 AI 受到攻击吗?”
通俗回答

“会,和任何系统一样。AI 特有的攻击主要有两类:藏在 AI 所读取的文档或邮件里的隐藏指令,以及对智能体权限的滥用。没有任何 AI 能始终把隐藏的指令与它读取的文字区分开来,所以我们不承诺它不会被欺骗,而是限制它一旦被欺骗可能做的事。我们的智能体只拥有最低限度的权限,未经批准不会同时具备机密信息、外部内容和向外发送数据的能力,重要操作需要批准。”

事先核实什么
  • 投入生产之前的安全测试,包括提示注入(第 9 节)。
  • 每个智能体的实际权限。
  • 哪些智能体会读取外部内容(例如邮件、网页或第三方文档),以及一旦被隐藏指令欺骗,它们可能做些什么。
  • AI 的所作所为留有记录。
不要承诺

“我们的 AI 不可能被操纵。”

员工提问
13. “AI 生成的内容归谁所有?我们可以上传或发布什么?”
通俗回答

“这取决于供应商的条款以及我们对所提供内容拥有的权利。我们只上传有权为此目的使用的信息,凡是要发布或交付给客户的内容,事先都经过人工审核。仅由 AI 生成的内容能否获得版权保护尚不确定,各国也不尽相同。”

事先核实什么
  • 供应商的条款对上传内容和生成内容的归属与使用是怎么规定的。
  • 当出现侵犯第三方权利的索赔时,供应商是否提供某种保障。
  • 上传的文档、图像或数据是否带有限制其使用的许可或合同。
  • 谁在发布之前审核内容。
不要承诺

“AI 生成的内容归我们所有,不存在权利负担。”

员工提问
14. “如果我们在公司启用 Copilot 或 Gemini,它能看到我能看到的一切吗?”
通俗回答

“是的,而这正是关键所在。Microsoft 365 Copilot 和 Google Workspace 中的 Gemini 会依据每个人已有权限打开的内容来作答:邮件、文档、共享文件夹和会议。它们不会绕过权限,却会让权限问题暴露无遗:如果一个存放薪资或合同的文件夹被共享给了全公司,现在只需一个提问就能找到它。因此,在启用之前,我们会核查谁有权访问什么,并且会持续核查。任何连接公司系统、按每个人的权限运作的 AI 助手或 AI 搜索工具,也是同样的道理。”

事先核实什么
  • 与整个组织共享或通过公开链接共享的文件夹和站点。
  • 是否存在信息分类(例如保密标签),以及该工具是否遵守这一分类。
  • 在向所有人启用之前,先在有限的群体中试点。
  • 是否有工具能在启用之前以及此后持续地发现并纠正过度暴露的内容,因为权限会在日常使用中再次被打开。
  • 即使员工在技术上拥有访问权限,助手也不应回答哪些主题(例如薪资、绩效评估或内部调查),以及该工具是否允许屏蔽这些主题。
不要承诺

“Copilot 只能看到它该看的内容”,而权限却从未核查过。

员工提问
15. “使用带 AI 的浏览器,或以我们的账户执行操作的智能体,安全吗?”
通俗回答

“要谨慎。带 AI 的浏览器(例如 ChatGPT Atlas 或 Perplexity Comet),或者助手的智能体模式,能够在当事人已登录的会话中读取网页、填写表单和点击操作,涉及其邮箱、银行账户或公司系统。如果某个网页中含有隐藏指令,智能体可能会照做(第 9 节,风险 3)。因此,在获得批准之前,我们不会在公司系统的会话中使用它们,而且敏感操作始终需要人工确认。”

事先核实什么
  • 公司设备上安装了哪些带 AI 的浏览器或扩展程序。
  • 它们在哪些账户和系统上使用。
  • 该工具在发送、购买或删除内容之前是否会请求确认。
  • 智能体的操作在记录中是显示为由智能体完成,还是看起来像是由本人完成的。
不要承诺

“智能体只做我们要求它做的事。”它可能会执行藏在其所读取内容中的指令。

级别 3 · 个人数据与法律
管理层提问
16. “我们可以对客户或员工的个人数据使用 AI 吗?”
通俗回答

“可以,规则与任何其他个人数据使用相同:有法律依据、目的明确、只用必要的数据、有适当的安全措施,并与处理这些数据的供应商签有合同。”

事先核实什么
  • 法律依据:同意,或法律规定的其他有效理由。
  • 新的使用方式与收集数据时的目的相一致。
  • 数据在使用前是否可以精简或匿名化。
不要承诺

“因为模型不保存个人数据,所以法律不适用。”根据欧洲数据保护委员会的意见,用个人数据训练的模型不能被推定为匿名:必须逐案评估。

董事会提问
17. “智利的新个人数据法带来了什么变化?”
通俗回答

“目前的法定生效日期是 2026 年 12 月 1 日。2026 年 9 月,政府提出一项法案,拟将其推迟一年至 2027 年 12 月 1 日;截至 10 月初,该法案仍处于参议院的第一阶段审议:在获得通过之前,日期不变。第 21.719 号法律设立了一个负责监督和处罚的机构,赋予个人更多权利,包括对仅由自动化系统作出、对其有重大影响的决定要求人工复核,并要求就可能对个人造成风险的安全漏洞进行通报。”

事先核实什么
  • 每个 AI 系统使用哪些个人数据的清单。
  • 回应访问、删除或反对请求的程序。
  • 漏洞通报程序。
  • 在作答当天,推迟法案(议案编号 18.623-07)的进展以及该机构的组建情况。
不要承诺

没有清单的合规。不知道每个 AI 接触了哪些数据,就不可能给出回答。也不要承诺还多出一年的期限:只要该法案未获通过,日期仍是 2026 年 12 月 1 日。

审计人员提问
18. “AI 可以对人做出决定吗,比如批准一笔贷款或淘汰一位应聘者?”
通俗回答

“它可以辅助决策,但对个人有重大影响的决定必须有真正的人工监督,能够加以解释,并且当事人可以提出异议或要求复核。”

事先核实什么
  • AI 做出或建议哪些决定,哪些仍由人来决定。
  • 负责复核的人是否有足够的时间、信息和权限(第 7 节)。
  • 是否衡量了偏见(第 13 节)。
不要承诺

“AI 是客观的。”它从历史数据中学习,可能重复其中的偏见。

董事会提问
19. “在诉讼中,我们与 AI 的对话会被要求提交吗?”
通俗回答

“有可能。与 AI 的对话和其他任何记录并无二致,法院可以下令保存或提交。2025 年,在《纽约时报》诉 OpenAI 一案中,美国一家法院下令保存本来通常会被删除的对话,包括消费者账户的对话。该命令于当年 10 月解除,但它表明,删除与否并不总是由我们决定。因此,对于输入 AI 的内容,要像对待邮件一样谨慎。”

事先核实什么
  • 每个工具的保留期限是多少,以及公司的文件保存政策是否涵盖与 AI 的对话。
  • 与法务部门确认,如何对这些工具执行因诉讼而进行的数据保留。
不要承诺

“在 AI 中删除的内容就不复存在了。”可能存在供应商必须保留的副本。

级别 4 · 治理与控制
管理层提问
20. “我们知道存在影子 AI。如何在不拖累团队的前提下将其规范化?”
通俗回答

“先衡量而不处罚,再提供更好的替代方案,最后才制定规则:”

  1. 摸清实际使用情况:技术监测,加上面向各团队的开放式调查,并保证承认过去的使用不受处罚。
  2. 先为创造价值的用途提供企业级工具,然后再限制其余的用途。
  3. 确定一个日期,自此只使用已批准的工具,并配以第 10 节的使用政策。
  4. 与法务部门一起复核此前期间可能泄露了哪些信息,以及是否负有告知义务(问题 10)。
事先核实什么
  • 在限制开始的当天,企业级替代方案已经可用。
  • 衡量范围同样涵盖内嵌于已采购软件中的 AI。
不要承诺

“一纸禁令就能让影子 AI 消失。”如果没有替代方案,使用行为只会转移到看不见的地方。

管理层提问
21. “有人使用未经授权的 AI 时,我们怎么办?”
通俗回答

“我们的应对与情节相称,并采用人人事先知晓的标准:”

  • 如果没有涉及敏感信息,就纠正其用法,并引导其改用已批准的工具。
  • 如果涉及客户信息、个人数据或机密信息,则适用事件处置程序(第 10 节和问题 10)。
  • 屡犯或隐瞒将依公司内部规章承担后果。而及时报告则不予处罚。
事先核实什么
  • 使用政策已经传达并获得书面确认:否则就没有依据去要求遵守。
  • 内部规章和劳动合同已纳入该政策,并经法务和人事部门审核。
  • 这一标准在整个组织内一视同仁,包括高级职位。
不要承诺

在没有替代工具的情况下“零容忍”:会把使用推向暗处,并抑制报告。

管理层提问
22. “组织里的每个人都需要学习什么?”
通俗回答

“并非人人需要相同的内容。我们把培训分为四类对象:”

  • 全体人员:使用政策、绝不能输入的数据、如何报告错误,以及如何通过另一个渠道确认不寻常的指令(问题 11)。
  • 审核或批准 AI 输出的人员:如何发现错误和偏见,何时应当驳回某个结果,以及为什么他们的批准是一项控制措施而不是走流程(第 7 节)。
  • 采购或构建方案的人员:附录 B 的检查清单、数据条款和针对智能体的控制措施(第 12 节)。
  • 董事会和管理层:风险、责任,以及在定期报告中应当要求什么(第 12 节)。
事先核实什么
  • 记录谁在何时完成了各项培训。
  • 当工具或政策发生变化时,更新培训内容。
  • 见效的迹象:及时报告增多,影子使用减少。
不要承诺

“一次年度讲座就能解决问题。”这是一个持续的过程,就像网络安全培训一样。

客户提问
23. “如果 AI 对客户出错,谁来负责?”
通俗回答

“我们。面对客户,企业要为其 AI 所说所做的一切负责,就像为其任何渠道所说的话负责一样。在内部,每个使用场景都有一位明确到具体姓名的负责人。”

事先核实什么
  • 每个使用场景的负责人是谁。
  • 与供应商的合同涵盖哪些内容。
  • 公司的保险是否涵盖由 AI 造成的损害。
不要承诺

“责任在供应商。”加拿大航空案(第 14 节)说得很清楚。

管理层提问
24. “我们在合同中要求 AI 供应商做到什么?”
通俗回答

“至少六项:不使用我们的数据训练,明确的保留期限,数据所在地和分包商清单,客户之间的隔离,对事件和重大变更的通知,以及终止时可核实的删除。”

事先核实什么
  • 这些条款写在已签署的合同中,而不仅仅出现在供应商的网站上。
  • 附录 B 中完整的采购检查清单。
不要承诺

对客户,不作出供应商没有通过合同向公司保证的任何承诺。

级别 5 · 证明与扩展
审计人员提问
25. “我们如何证明自己妥善管理了 AI 的安全与隐私?”
通俗回答

“靠一个证据档案,而不是一份声明。我们可以出示 AI 清单、经批准并由员工确认的政策、带有数据条款的合同、使用记录、已开展的培训、各类事件及其结案情况,以及提交给董事会的报告。”

事先核实什么
  • 对于自动化决策等高风险处理活动,已开展数据保护影响评估,第 21.719 号法律将要求在开始之前进行。
  • 供应商的认证(例如 ISO/IEC 27001 或 SOC 2 报告),以及在适用时自身的认证(问题 26)。
  • 定期的内部或外部审查,附有发现的问题和整改计划(第 12 节)。
不要承诺

“我们全部合规”,却拿不出支撑它的文件。

董事会提问
26. “我们必须取得 ISO/IEC 42001 认证吗?”
通俗回答

“不是强制的。当客户或监管机构要求提供经过审核的、关于我们如何治理 AI 的证据时,它是有用的。在此之前,最好先理顺信息安全的基础(第 12 节)。”

事先核实什么
  • 客户或招标是否已经提出这一要求。
  • 现有安全管理体系的成熟度。
  • 智利未来的 AI 法律进展如何(第 15 节)。
不要承诺

“有了认证,AI 就安全了。”认证证明的是存在一套管理体系,而不是永远不会发生事件。

董事会提问
27. “我们如何制定 AI 采用路线图?”
通俗回答

“分为三个阶段:前 90 天理顺基础(第 18 节);第一年从零散项目走向体系化项目(附录 C);同时,建立一个按价值和风险排序的使用场景组合,每个场景都通过那 18 个问题来批准(第 6 和 17 节)。”

事先核实什么
  • 组织的 AI 成熟度以及数据的状况(附录 C)。
  • 每个使用场景都有负责人、价值指标和预算。
  • 路线图涵盖人员与培训,而不仅仅是技术(问题 22)。
不要承诺

“90 天内完成全面的 AI 转型。”这个期限用来理顺基础,而不是获取全部价值。

返回附录目录

查阅附录

B附录 B. 采购或自建检查清单

第 16 节的八种方案,在实践中可归结为两个常见的运营决策:采购已内置 AI 的产品,或自建一个融入 AI 的方案。这些问题并不取代第 17 节的 18 个问题,也不取代第 4 节中使用语言模型之前的 7 个问题:它们在下一阶段作为补充,是签署合同或启动开发之前的最后一道筛选。

采购内置 AI 的方案时(SaaS、副驾驶、嵌入 AI 的产品)
  • 供应商是否清楚说明了使用哪些 AI 组件,以及依赖哪家模型供应商?
  • 我们的数据是否被用于训练或改进供应商或第三方的模型,我们能否通过合同予以禁止?
  • 我们的数据如何与使用同一供应商的其他客户的数据相隔离?
  • 系统可以自主执行什么,哪些须经人工批准?
  • 如果系统出错,合同上如何处理,由谁承担这一责任?
  • 我们能否退出该供应商,并取回或删除我们的数据,包括为 RAG 建立索引的内容?
  • 供应商是否记录了针对 AI 的安全实践,而不只是传统的应用安全?
  • 如果供应商调价、停用模型或被他人收购,我们的服务会怎样?
采购连接公司系统的平台时(可访问文档的助手、AI 企业搜索、智能体平台)
  • 存放我们文档的索引位于何处:与其他客户共享的实例、供应商云中的专用实例,还是我们自己的云?专用实例并不意味着数据位于我们的基础设施中。
  • 智能体是以员工的账户行事、以独立身份行事,还是两者兼有?我们能否在员工权限范围内按任务限制其权限?
  • 谁可以创建和发布智能体?共享的智能体能否使用其创建者的连接?是否记录了谁在何时修改了每个智能体?
  • 访问是否与我们的企业登录、双因素认证以及基于身份目录的自动开通与注销相集成?
  • 平台的管理角色如何受到保护?每一次配置更改是否都有记录?
  • 供应商的支持人员如何访问我们的实例:是否须经我们批准、有时间限制并留有记录?
  • 使用日志和智能体操作日志能否发送到我们的安全监控系统(SIEM)?
  • 过度暴露内容的检测和提示注入防护是包含在内,还是需要另行购买许可?
  • 零留存是否已与该服务所用的每一家模型供应商签署,还是只是一项声明的政策?
  • 如果某个已连接应用的所有者限制访问,服务会怎样?2025 年,Salesforce 限制了第三方工具对 Slack 数据的存储和索引。
  • 它拥有哪些认证(例如 ISO/IEC 27001、ISO/IEC 42001 或 SOC 2 Type II),这些认证是否涵盖我们将要采购的服务?认证是存在管理体系的证据,而不能保证每项控制措施在我们的情况下都有效。
自建融入 AI 的方案时
  • 我们是先界定了业务问题和预期价值再选择技术,还是一上来就默认选了生成式 AI?(见第 4 节)
  • 我们是否选择了能解决问题的最简单的技术?
  • 系统将使用哪些数据,我们是否有权这样使用?
  • 谁是风险负责人,谁批准它所具有的自主级别?
  • 系统的设计是否使其操作可以审计、叫停或撤销?
  • 我们是否从设计阶段就纳入了与操作影响相称的人工监督,而不是事后打补丁?
  • 在投入生产之前,我们是否针对操纵或提示注入测试了系统?
  • 是否有持续维护和监测的计划,而不仅仅是上线计划?
  • 每个智能体是否都有独立身份、按任务设定的最小权限,以及有效期受限、存放在代码之外的凭据?(第 12 节)
  • 智能体与其他系统的每一个连接(包括 MCP 连接)是否都已纳入清单、获得批准,并仅限于任务所需?

返回附录目录

查阅附录

C附录 C. 从单个项目到体系化项目:组织应当构建什么

前面各节有助于就某一项具体举措做出决定。但如果一个组织逐项批准举措,背后却不建设能力,往往会积累起一批无法扩展的试点。Gartner 提出了一份围绕七条工作主线组织的 AI 路线图,每条主线都有初始活动和更高阶的活动。这份路线图并不取代本指南的框架(价值、技术、自主性、治理):它作为外部对标的参照(benchmark)和完整性检查,用来核对组织是否正在构建扩展所需的能力。

主线初始活动高阶活动本指南中的对应位置
AI 战略确定 AI 愿景;衡量 AI 成熟度建立完善 AI 战略的流程执行摘要和第 17 节
AI 价值确定首批使用场景的优先级;界定其价值价值监测体系;AI 产品组合第 4 和 6 节
组织AI 资源规划;实践社区来源中没有高阶活动本附录
人员与文化初步的人力规划;岗位复核与职位再设计流程来源中没有高阶活动本附录和第 17 节
AI 治理识别主要风险及其缓解措施;制定初步政策面向治理的 AI 素养计划;试点治理工具第 9、10、12、13 和 15 节
AI 工程自建与采购(build vs. buy)的决策框架;为首批使用场景选择供应商AI 用户体验的最佳实践;AI 平台工程第 16 节
AI 数据评估数据准备程度;落实准备计划面向 AI 的数据可观测性第 8 和 17 节

来源:Gartner,“AI Roadmap: How to Build and Scale AI”(gartner.com),LinkedIn 亦有转载。内容为本指南自行翻译和改编,未复制原图(© Gartner, Inc.)。最后一列是为本指南编制的对应关系,不属于 Gartner 的材料。

人员与文化:最容易被忽略的缺口

AI 改变的是任务,而不只是工具。当一个流程引入 AI 时,每个人做什么、需要什么技能、如何评价其工作,都会随之改变。如果对此没有规划,往往会出现三种后果:对变革的抵触、脱离治理的非正式使用(第 1 节所说的影子 AI),以及在尚未弄清每个角色究竟在做什么之前就缩减人员而造成的知识流失。

高管关于人员与文化的问题
  • 这项举措会使哪些角色发生变化,由谁负责重新设计?
  • 员工需要接受什么培训,才能有判断地使用 AI,而不只是会操作它?
  • 如何以及何时沟通这一变化,以免非正式的说法抢先流传?
  • 节省下来的时间,会转化为人员编制的减少,还是释放出来的产能用于其他工作?这是两个不同的决定,应当明确做出,而不是默认形成。

Gartner 把 AI 素养计划放在治理主线之内。其逻辑是:一个明白 AI 能做什么、不能做什么的团队,本身就是一种控制措施:能更早发现可疑的结果、不当的使用,或站不住脚的供应商承诺。

组织:由谁来建设能力

有两项决定往往被隐含处理。第一,用什么资源来开发 AI:内部团队、供应商、集成商,或几者结合,与第 16 节一致。第二,如何在各部门之间共享所学。实践社区,即汇聚各部门 AI 使用者的跨部门小组,可以避免每个团队重复犯同样的错误,并有助于发现可复用的使用场景。

成熟度与数据:两个起点

Gartner 把两项活动放在路径的起点:衡量组织的 AI 成熟度,以及评估数据是否已为首批使用场景做好准备。这两项都是第 17 节的问题(问题 4 和 8)。

批准好的项目是必要的,但并不充分。可持续的优势来自同步建设使这些项目得以重复实现的组织能力。

返回附录目录

查阅附录

D附录 D. 核心术语表

本指南或任何关于 AI 的对话中出现的术语,各用一句话解释。

委托访问
助手或智能体代表某个人、以此人的权限行事的方式。
智能体
除了回答之外,还能在获授权限范围内自行在其他系统中执行操作的 AI 系统,这些权限可以是它自己的,也可以是其所代表之人的。示例:ChatGPT 的智能体模式、Claude Code、Microsoft Copilot Studio 的智能体。
微调(fine-tuning)
用自有数据对现有模型进行额外训练,以改变其行为或风格。
幻觉
AI 以令人信服的口吻给出的、编造或错误的回答。
API
应用程序编程接口:一个系统与另一个系统自动连接所经由的“门”。
机器学习(machine learning)
从数据中学习规律、而不是遵循手工编写规则的 AI。
深度学习(deep learning)
使用多层神经网络的机器学习。是图像识别和语音识别的基础。
副驾驶
嵌入日常工具(邮件、电子表格、编辑器)的 AI 助手。它能做什么取决于其实际权限:有的只提供建议,有的可以执行操作。示例:Microsoft 365 Copilot、Gmail 和 Docs 中的 Gemini、GitHub Copilot。
服务账户
系统或智能体以自身权限运行时所使用的非人类身份,与任何个人的账户都不同。
个人数据
任何能够识别或可用于识别某个人的信息。
Deepfake(深度伪造)
借助 AI 生成的、用于模仿真人的虚假图像、声音或视频。
模型漂移
由于现实相对于训练所用的数据发生了变化,模型的准确率逐渐下降。
训练
模型从大量数据中学习的过程。所学内容保存在其参数(权重)中。
影子 AI(shadow AI)
在企业未批准或不知情的情况下使用 AI 工具。
生成式 AI
能够创造新内容的 AI:文本、图像、音频、视频或代码。示例:用于文本的 ChatGPT、用于图像的 Midjourney、用于语音的 ElevenLabs。
提示注入(prompt injection)
把给 AI 的命令藏在 AI 将要读取的文档、邮件或页面中的攻击方式。
ISO/IEC 27001
用于管理信息安全(SGSI)的可认证国际标准。
ISO/IEC 42001
用于管理组织 AI 系统(SGIA)的可认证国际标准。
LLM(大语言模型)
专门理解和生成语言的生成式 AI 模型。ChatGPT、Claude 或 Gemini 的背后就是它。
MCP(Model Context Protocol,模型上下文协议)
用于把 AI 助手和智能体与应用和数据源连接起来的开放标准。每个连接都赋予智能体在另一个系统中读取或执行操作的能力。
MFA(多因素认证)
登录时除密码之外,还要求第二个因素,例如验证码、物理密钥或手机上的确认。
最小权限
安全原则:每个人、系统或智能体只拥有完成其任务所严格必需的权限,不多也不少。
模型
AI 的“引擎”:一个用数据训练出来的程序,用于产生回答、预测或内容。
基础模型
在海量通用数据上训练出来的大型模型,可作为许多不同应用的基础(例如 ChatGPT、Claude 或 Gemini 背后的模型)。
NIST
美国国家标准与技术研究院。发布自愿性的网络安全框架(CSF)和 AI 风险管理框架(AI RMF)。
人在回路(human in the loop)
一种设计:在 AI 执行操作之前,由人进行审核或批准。
开放权重(open-weight)
开发商公开的模型,任何人都可以在自己的基础设施上安装和运行。示例:Llama、Mistral、DeepSeek、Qwen。
提示词(prompt)
输入给 AI 的指令或问题。
RAG
检索增强生成:AI 在作答时查阅公司文档,而不把它们纳入自身的训练。示例:NotebookLM、ChatGPT 和 Claude 的项目(Projects)。
零留存
一种合同模式,供应商不存储查询的内容。
剩余风险
在落实控制措施之后仍然留存的风险,必须有人明确地予以接受。
SaaS
软件即服务:通过互联网订购并使用、无需安装的应用。
SCIM
一种标准,用于依据公司的身份目录,在各应用中自动创建、修改和注销人员的账户。
偏见
AI 系统性地偏向或不利于某一群体的倾向,通常是从历史数据中学来的。
SGSI
信息安全管理体系:用于保护信息的政策、角色、控制措施和持续复核。
SIEM
汇集整个组织的安全日志、用于发现和分析事件的系统。
智能体系统
把语言模型与工具、记忆和权限结合起来,使其不仅能回答,还能执行操作。
SSO(单点登录)
使用企业账户登录所有应用,由公司在一个地方集中管理。
向量
文本或图像的数值表示,使检索可以按含义进行,而不只是按完全相同的字词。

返回附录目录

附录结束

作者简介与联系方式

Diego Macor 是技术与网络安全领域的高管,在拉丁美洲打造技术业务逾 25 年:在 IBM 工作 22 年,此后担任一家区域性网络安全公司的智利区总经理(country manager)。他曾担任智利信息技术企业协会(Asociación Chilena de Empresas de Tecnologías de Información,ACTI)网络安全委员会(Mesa de Ciberseguridad)主席,也是智利媒体上该行业的常客。他拥有 MBA 学位以及 CISM 和 CCSK 认证。

联系方式与最新文档: diegomacor.com · linkedin.com/in/diegomacor

资料来源与方法说明

所用的项目文档:Guia_Educativa_Tipos_de_IA_y_Preguntas_Frecuentes_v2.00_20260924.html、Guia_Educativa_Arquitectura_3_Capas_v2.10_20260922.html、Marco_Conceptual_Preguntas_Clientes_Seguridad_IA_v1.00_20260922.html、Casos_de_Uso_IA_por_Tamano_de_Empresa_v1.00_20260916.html、ELIAC2026_Sintesis_Charlas_v1.10_20260824.html(CENIA 在 ELIAC 2026 上的演讲)、Respuesta_Clientes_Seguridad_IA_v1.10_20260915.html(包括《纽约时报》诉 OpenAI 案中的日志保存问题,以及欧洲数据保护委员会的第 28/2024 号意见)、Seguridad_IA_Guia_Ejecutiva_Gobernanza_v1.00_20260916.html、Seguridad_Agentes_IA_Lado_Proveedor_v1.04_20260916.html(模型版本变更时的业务连续性)、ELIAC2026_Resumen_Ejecutivo_Consolidado_v1.00_20260916.html(ELIAC 2026 上提出的三种智能体控制主张)、本指南的 5.21 版,以及本指南面向 FQ4 的版本 AI with Judgment(fq4tech.com/ai-guide)。日常类比、附录 A 的参考回答、90 天计划、使用政策、事件处置程序、针对智能体和人员的身份与权限规则以及向董事会的报告,均为在 AI 辅助下基于上述资料的原创内容。

外部资料:

← 返回 diegomacor.com