人工智能(AI)已经进入您的组织,而且渠道之多,超出管理层正式讨论过的范围。因此,真正有用的问题已不再是要不要采用,而是在哪里使用、使用什么数据、赋予多大的自主权,以及在何种治理之下运行。优势不在于使用 AI 本身,而在于把它用在正确的流程上,并选对技术;当 AI 从提出建议走向采取行动时,被委托出去的就不再只是技术,而是权限,其风险随自主程度和所作所为的影响而增长。要治理这些风险,首先必须把信息安全理顺,因为 AI 框架建立在这一基础之上;同时,对于客户、员工和监管机构已经提出的安全、保密与隐私问题,要用证据而不是承诺来回答。在智利,适用范围最广的义务是关于个人数据的第 21.719 号法律,自 2026 年 12 月 1 日起生效,不过政府提出的一项法案拟将其推迟一年;AI 法案仍在审议之中。对于尚未起步的组织,本指南提出一个 90 天计划:第一个月,摸清哪里在用 AI,把敏感工作转移到企业账户,明确哪些数据绝不能输入,并指定负责人;接下来两个月,批准使用政策,采用治理框架,落实各项控制措施,并对相关人员开展培训。本指南由浅入深,沿着这条路径展开,示例从最早的语音听写程序一直到 ChatGPT 和 DeepSeek,最后附有四个供查阅的附录:安全、保密与隐私问题(附录 A)、采购或自建检查清单(附录 B)、从零散项目走向体系化项目(附录 C)以及术语表(附录 D)。
这三个观点建立在四个维度之上,它们贯穿整份文件反复出现,不是先后顺序,而是在每个阶段都值得重新追问的横向问题:价值 · 技术 · 自主性 · 治理。
本文件的阅读路线则不同,下文将加以说明。
本指南并不打算把高管或董事培养成人工智能专家,而是希望给予他们足够的判断力:能够分辨真正的机会与一时的风潮,理解正在委托出去的是何种权限,识别相关风险,并在批准某项举措之前提出正确的问题。为此,文件分为六个阶段推进,每个阶段都建立在前一阶段之上。每个概念都先用简单的方式呈现,配以日常示例或真实案例,然后再给出高管做决策所需的细节。
六个模块构成本指南的阅读路线:从理解 AI 是什么,到决定如何扩展 AI,每个模块都建立在前一个模块之上。每个模块都有自己的颜色,并在该模块的扉页、标题以及其各节的表格中重复出现。
每一节标题上方都有一个标签,标明该节所回答的维度:价值、技术、自主性或治理。它们是在一项举措的每个阶段都值得重新追问的四个问题,同时也可用作主题索引:执行摘要中的地图按维度对各节进行了归类,方便读者有选择地阅读,例如只读与向 AI 委托自主权有关的内容。
速查工具,汇总于文末的附录部分:附录 A. 安全、保密与隐私问题及其回答方式 · 附录 B. 采购或自建检查清单 · 附录 C. 从单个项目到体系化项目 · 附录 D. 核心术语表
| 如果您需要 | 请阅读 |
|---|---|
| 一次性掌握要点 | 执行摘要;第 1、3、7、9、12 和 18 节;结语 |
| 回答隐私或保密方面的问题 | 第 8 和 15 节;第 9 节的风险 2 和 6;附录 A,级别 1 和 3 |
| 回答安全方面的问题 | 第 9、10 和 11 节;附录 A,级别 2 |
| 评估一项举措是否值得做 | 第 4、5 和 6 节 |
| 批准、采购或自建某项解决方案 | 第 7、16 和 17 节;附录 B |
| 搭建 AI 治理体系 | 第 10 节(使用政策与事件处置)、第 12、13 和 14 节;附录 C |
| 开始梳理组织内的 AI | 第 18 节;第 12 节(向董事会报告什么) |
| 安全地采用 AI:规范、教育并证明 | 第 8、10 和 18 节;附录 A,级别 4 和 5 |
| 治理 AI 智能体 | 第 7 节;第 9 节,风险 3 和 4;第 12 节;附录 A,问题 14 和 15;附录 B |
AI 正通过多条渠道同时进入企业:企业级工具、副驾驶(嵌入在已有软件中的 AI 助手,例如邮件或电子表格)、通过互联网订阅的应用(SaaS,软件即服务)在无人明确要求的情况下加入 AI、内部开发、供应商把它加入自家产品、智能体(除了回答之外,还能自行执行操作的系统,详见第 2 节)、系统之间的直接连接(API,应用程序编程接口)、员工个人自行采用的工具、手机和办公室里的语音助手,以及录制并总结会议的工具。因此,董事会层面的讨论已经改变了形态:
简单地说,人工智能是指任何能够完成我们通常认为属于人类智能的事情的系统:识别人脸、推荐电影、发现欺诈、翻译或撰写文本。它有不同的类型,不妨把它们理解为一组同心圆。
这四个层级之间并非相互竞争,而是相互包含:每一个内圈都是外圈的子集,没有哪一个取代前一个。
生成式 AI 自 2022 年底 ChatGPT 公开发布以来风靡一时,Claude、Gemini 等其他助手随后又进一步推广了它,但这并不意味着人工智能是从那时才开始的。如今被称为“AI”的许多东西,其实已经在企业内部运行了数十年,只是通常并不叫这个名字。
保险和银行业的规则引擎,以及基于专家编写的规则构建的诊断系统。
信用卡欺诈检测、垃圾邮件过滤、预测性维护、电商推荐、信用风险评分(scoring)、光学字符识别(OCR)。
大规模图像与语音识别、现代机器翻译、视频和音乐推荐系统。
根据自然语言指令生成文本、图像、音频、视频和代码。
您的组织很可能多年来一直在使用前三类中的某几类,只是内部并不称之为“人工智能”。2022 年出现的新东西并不是 AI 本身,而是第一次有生成式 AI 以向公众开放的对话界面呈现出来。
按时间顺序看六个公开的里程碑,更容易理解 AI 的历史。每一个都对应前面示意图中的一个圆环,也都为高管留下了一条有用的教训。
1990 年 3 月,Dragon Systems 推出 DragonDictate,被称为第一台“语音打字机”。它售价约 9,000 美元(USD),含一块专用电脑板卡,可识别 30,000 个词汇,但有一个条件:每个……词……之间……必须停顿至少四分之一秒。
启示:今天看起来笨拙而昂贵的东西,有可能变得稀松平常。三十年后,对手机口述、与语音助手对话、自动获得会议转录,都已免费,几乎让人察觉不到。评估一项 AI 技术时,应当看趋势,而不只是当天的快照。
IBM 的超级计算机深蓝(Deep Blue)以 3.5 比 2.5 击败世界冠军加里·卡斯帕罗夫。它并不像今天的 AI 那样“学习”:它的实力来自每秒计算约 2 亿个局面,而评估标准由其专家团队手工调校。
启示:机器可以在一项范围很窄的任务上超越世界上最优秀的人,却对任务之外的一切毫无“理解”。深蓝只会下国际象棋。
IBM 的沃森(Watson)系统在电视竞答节目《危险边缘!》(Jeopardy!)中战胜了两位最成功的冠军选手。它必须理解充满文字游戏的自然语言问题,并在几秒内作答。它最令人难忘的失误也最有教益:在“美国城市”类别中,它回答了“多伦多”,而多伦多在加拿大。不过它是带着问号作答的,因为它的置信度很低(约 30%),只押注了 947 美元(USD)。
启示:AI 可以流畅地出错。沃森至少会显示自己有多大把握;如今的许多助手无论答对还是编造,口吻都一样。它后来转向医疗领域,留下了另一个教训,详见第 6 节。
DeepMind(谷歌)的 AlphaGo 以 4 比 1 战胜韩国围棋冠军李世石。围棋的可能变化多到无法仅靠计算取胜。AlphaGo 从数百万步人类棋局以及与自己的对弈中学习。在第二局中,它走出了“第 37 手”,专家们认为这是任何人类棋手都不会下出的一步。
启示:从数据中学习的 AI 可以找到无人想到过的解法,但它也有盲点:李世石在第四局中下出一手 AlphaGo 认为极不可能的棋,赢下了那一局。
2022 年 11 月 30 日,OpenAI 向公众开放 ChatGPT。据路透社引用的瑞银(UBS)估算,约两个月内用户就达到近 1 亿,是当时有记录以来增长最快的消费类应用。人们第一次可以与一个能撰写、总结、翻译并编程的 AI 对话。
启示:与前面的案例不同,这种 AI 不是企业采购的,而是随着每一位员工自己进来的。第 1 节讲到的影子 AI 由此而来,附录 A 中大多数保密问题也由此而来。
2025 年 1 月,中国公司 DeepSeek 发布了 R1,这是一个开放权重的“推理”模型(其开发商公开训练好的模型,任何人都可以安装和运行),可与 OpenAI 的 o1 相媲美。R1 构建于该公司的基础模型 V3 之上,DeepSeek 估计 V3 最后一轮训练的算力成本约为 560 万美元(USD),只是通常成本的一小部分;据该公司称,R1 的额外训练阶段又花费了约 294,000 美元(USD)。这两个数字都不包括此前的研究和试验,也都未经独立核实。它的应用超过 ChatGPT,成为苹果 App Store 中下载量最高的 AI 应用,1 月 27 日英伟达(Nvidia)市值蒸发约 5,890 亿美元(USD),创下美国公司单日最大跌幅。三天后,意大利数据保护机构以其个人数据处理方式的信息披露不足为由,封禁了该应用。
启示:AI 的前沿已不再属于某一个国家或少数几家公司,其成本也在快速下降。但一个出色而廉价的工具,并不因此就是一个获批准的工具:在用它处理公司数据之前,必须弄清数据在哪里处理、适用哪国法律(第 8 和 15 节;附录 A,问题 6)。
在谈风险之前,值得先留意到,AI 早已成为日常生活的一部分,只是几乎从不以这个名字出现:
| 日常情境 | AI 做了什么 | 类型(圆环) |
|---|---|---|
| 邮箱把垃圾邮件分拣出去 | 它学会了识别不良邮件的特征模式 | 机器学习 |
| 银行提醒您有一笔可疑消费 | 它发现一笔与您的惯常行为不符的消费 | 机器学习 |
| Waze 或谷歌地图估算需要多长时间 | 它根据历史和实时数据预测交通状况 | 机器学习 |
| Netflix 或 Spotify 推荐观看或收听的内容 | 它把您的喜好与数百万相似用户的喜好做比较 | 机器学习与深度学习 |
| 手机通过人脸解锁 | 它从图像中识别人脸 | 深度学习 |
| 在相册里搜索“海滩”,所有相关照片都会出现 | 它识别每张图像的内容 | 深度学习 |
| 对手机口述一条消息,或对 Siri、Alexa 说话 | 它把语音转成文字,并理解所提的要求 | 深度学习 |
| 让 ChatGPT、Claude 或 Gemini 起草一封邮件 | 它根据一条指令生成全新的文本 | 生成式 AI(LLM) |
各行之间的实际差别:前七行中,AI 只在由他人设计和掌控的产品里完成一项范围明确的任务。最后一行则是人把信息和一条开放式指令交给 AI。保密、准确和责任方面的问题,就从这里开始,这也是本指南的主题。
在前面示意图的生成式 AI 圆环之内,语言模型(LLM)是最广为人知的一类,但不是唯一的一类。同一生成式家族中,还有专门处理其他类型内容的模型:
智能体不是生成式 AI 内部更小的第五个圆环,而是使用模型(通常是 LLM)的一种方式:把它连接到工具、记忆,并赋予它自行执行步骤的能力。因此,它被表示为从圆环向外延伸的分支,而不是圆环之内更具体的一层。
简单来说:语言模型就像一位只能交谈的专家。智能体则是这位专家拥有了您的邮箱、日历和公司系统的访问权限,并获准在其中办事。
系统能够回答,并不意味着它应该自行行动。第 7 节将展开说明不同的自主级别,以及这一区别为何对董事会至关重要。
在探讨哪种技术适合哪类问题之前,有必要先对当前能力形成一个诚实的起点判断。
| AI 通常擅长 | AI 目前仍可能薄弱的方面 |
|---|---|
| 总结大量信息 | 保证绝对的事实准确 |
| 在数据中发现规律 | 证明因果关系,而不仅是相关性 |
| 生成备选方案和草稿 | 为一项决策承担责任 |
| 用自然语言交互 | 始终区分真实信息与看似合理的信息 |
| 自动化重复性任务 | 正确处理所有例外情况 |
| 分析海量数据 | 全面理解企业的业务背景 |
| 执行已定义的工作流 | 决定组织应当接受何种经营风险 |
弄清什么是 AI,还不足以决定该在哪里使用它。下一个问题是:究竟哪种技术真正适合这个问题,以及它所创造的价值是否值得去做。
本节运用本指南的核心思想:先有问题,再选技术。
| 类别 | 是什么 | 用途 | 示例工具 |
|---|---|---|---|
| 规则与业务逻辑 | 明确的指令:发生这种情况,就做那件事。具有确定性(相同输入总是得到相同结果),且可审计 | 校验,以及逻辑已知的数据转换 | Excel 公式与宏、Power Automate、Zapier,以及 IBM ODM 等规则引擎 |
| 传统监督学习 | 模型从已标注的样例中学习,用于分类或预测某个数值 | 分类、优先级排序、风险评分(scoring) | Amazon SageMaker、Azure Machine Learning、Google Vertex AI、DataRobot、scikit-learn |
| 无监督学习 | 在没有事先标注样例的情况下,发现数据中的规律、分组或偏离 | 欺诈或异常检测、客户细分、聚类 | scikit-learn;Splunk、Datadog 或 Microsoft Sentinel 中的异常检测 |
| 时间序列 | 根据历史数据预测未来数值 | 需求、销售和各类指标的预测(forecasting) | Excel 预测工作表、Power BI 预测、Prophet、SAP IBP |
| 数学优化 | 在约束条件下找到变量的最佳组合 | 排程规划、资源分配 | Excel 规划求解、Gurobi、IBM CPLEX、Google OR-Tools |
| 语言模型(LLM) | 理解并生成自然语言。不具确定性:同一个问题可能得到不同的回答 | 理解开放式问题、撰写、总结 | ChatGPT、Claude、Gemini、Microsoft Copilot、Llama、DeepSeek |
| 智能体(LLM 加工具) | 一个 LLM,还能自行执行操作并串联多个步骤 | 自动化多步骤任务,风险高于前几类 | ChatGPT 的智能体模式、Claude Code、Microsoft Copilot Studio、Salesforce Agentforce、Gemini Enterprise |
| 问题 | 可能意味着什么 |
|---|---|
| 我是否需要确定性的答案? | 规则或优化 |
| 我是否有足够的历史数据? | 传统机器学习 |
| 我是否需要理解自然语言? | 语言模型 |
| 我是否需要在其他系统中执行操作? | 智能体 |
| 出错的影响是否很大? | 无论采用何种技术,都需要更强的监督 |
| 我是否需要能够解释结果? | 可解释的模型,不一定是最新的模型 |
| 查询量是否非常大? | 成本与架构开始变得与技术同样重要 |
| 数据是否可以离开组织? | 直接影响架构和供应商的选择 |
| 该操作是否可以撤销? | 影响应当允许多大程度的自主性 |
在 ELIAC 2026(由 iSecurity 主办的拉丁美洲 AI 应用于网络安全大会)上,智利国家人工智能中心(CENIA)介绍了自己的三个项目。其演讲的论点是:AI 并不等同于语言模型;技术应当根据问题来选择,而不是跟随潮流。
| 案例 | 问题 | 所用技术 |
|---|---|---|
| 智利建筑商会 | 在提交市政当局之前,预先审查建筑许可申请并发现不合规之处 | 智能体式工作流(此处确实适合使用生成式 AI 和智能体) |
| 检察院 | 按紧急程度和处理方式对案件分类 | 传统分类器,不使用语言模型 |
| CMPC | 通过多个串联的模型优化生产 | 优化模型链(pipeline),同样不是语言模型 |
正确的标准不是“AI 管用吗?”,而是“它创造的价值是否足以抵偿其成本与风险?”。董事会不应首先追问某个方案是采购还是自建,而应先问这项举措为什么应该存在、应当创造什么价值;第 16 节讨论的是在“为什么”解决之后如何获得方案。
关键绩效指标(KPI,英文缩写)示例,应根据具体情况选择:节省的时间、单笔交易成本、自动化率、所需人工干预率、准确率、错误率、用户的实际采用度、满意度、收入增长、记录在案的事件、单次查询成本以及投资回报率。
常见原因:问题选错;在自动化之前流程就设计不当;因追随潮流而不是因契合问题而选择技术;数据不足或质量差;与现有系统集成不佳;流程缺乏明确的负责人;用户不采用该工具;缺少控制措施;对 AI 能做什么抱有不切实际的期望;低估运营成本;以及从未正式衡量过回报。
在确认一个有价值的案例之后,下一个问题是:我们愿意把多大的决策和执行权力委托出去。
当模型只是回应一次查询时,风险在于回答的质量。而智能体会发起工作流、调用其他系统、串联多个步骤,并在无人逐步介入的情况下决定下一步做什么。“智能体式 AI”(agentic AI)正是用来指称这种朝着目标自主行动、而不只是作答的能力的术语。
| 自主级别 | 做什么 | 示例 | 示例工具 |
|---|---|---|---|
| 助手 | 回答或提出建议。一切由人来决定和执行 | 起草一封邮件草稿,交给他人审阅 | Outlook 中的 Microsoft 365 Copilot、Gmail 中的 Gemini |
| 受监督的智能体 | 提出一项具体操作,并在执行前等待批准 | 对一份招标进行分类并提出一项任务,由人批准 | ChatGPT 的智能体模式,在敏感操作前会请求确认;带有审批环节的 Copilot Studio 智能体 |
| 自主智能体 | 在既定范围内,无需事先批准即可执行操作 | 对小额客户投诉,不经事先审核,自行答复并结案 | Salesforce Agentforce 或 Intercom 的 Fin 等客户服务智能体 |
自主级别并不取决于产品的名称(“助手”“副驾驶”或“智能体”),而取决于系统实际能做什么:它的能力、权限,以及它要求的批准。同一个工具根据配置的不同,可能运行在不止一个级别上。而且并非所有自动操作都是 AI:一条在出现特定模式时冻结账户的固定规则,属于传统自动化。
仅按自主程度分类是不完整的。低影响的操作自主执行,与高影响的操作以同样方式执行,是两回事。
要弄清信息可能留存在哪里,需要把涉及的各个组成部分区分开来:模型、推理服务(每次回答时运行模型的服务)、应用、存储、供应商和日志。在一次正常查询中,模型的权重(训练中所学内容保存其中的参数)通常不会因提示词(prompt,即输入的指令或问题)而改变。但“模型并不保留这些数据”并不是事情的全貌:环绕模型的平台或服务,视产品、架构、配置和合同的不同,可能保留提示词、结果、文件、日志、元数据、推理轨迹(模型记录的中间步骤)、缓存(为加快响应而保存的临时副本),以及用于滥用检测的信息。
文档或数据在到达时的原样,尚未经过任何 AI 处理。
不属于 AI 环节模型为回应这次具体查询而处理的内容。通常不会改变模型的权重。
不留存,除非另有配置文档被转换为向量(可按含义检索的数值表示),建立索引,每次回答时都可查询。企业数据通常就保存在这里。
智能体在多次交互之间记住的内容:此前的对话、偏好、进行中的任务。
对每次查询、每个推理步骤和每项生成任务的记录。几乎没有人明确申报的环节。
不加管理就会留存同一个 AI 工具,会因账户或合同类型的不同,以截然不同的方式处理数据。要回答 AI 是否会“留下”信息,这是最有帮助的区分。
| 账户类型 | 合同 | 通常对数据意味着什么 |
|---|---|---|
| 个人账户,免费或付费 | 格式条款,不可协商 | 是否用对话来改进模型,取决于用户自己控制的一项设置,而该设置可能默认开启。企业与之没有数据处理协议,也没有任何人向客户负责。 |
| 企业或团队账户 | 附商业条件的格式条款 | 通常默认不用于训练,具有集中管理和明确的保留期限。团队版的条件可能与企业版不同:需要逐一核对。 |
| 通过 API 集成或企业合同 | 部分可协商 | 可以书面约定保留期限、数据所在地,以及在某些情况下的零留存(供应商不保存内容)。这是最有余地向自己的客户作出具体承诺的层级。 |
条件因供应商而异,也会随时间变化:起作用的是现行有效的合同,而不是宣传材料。
上述规则不仅适用于对话助手,也适用于搜索引擎、浏览器、手机语音助手和会议录制工具:同一个品牌,用个人账户还是公司账户,处理数据的方式并不相同。
| 工具 | 使用个人账户 | 使用公司账户 |
|---|---|---|
| 对话助手 | ||
| ChatGPT(OpenAI) | 在 Free、Plus 和 Pro 计划中,对话默认可用于训练。每位用户可在“设置”的“数据控制”中关闭“为所有人改进模型”选项。 | 在 ChatGPT Business、Enterprise、Edu 以及 API 中,默认不会将输入和回答用于训练。 |
| Claude(Anthropic) | 在 Free、Pro 和 Max 计划中,自 2025 年 10 月起,由每位用户选择是否允许将其对话用于训练。若允许,数据最多保留五年;若不允许,则保留 30 天。 | 在 Team 和 Enterprise 计划、Claude 教育版和政府版、API,以及通过 Amazon Bedrock 或 Google Cloud Vertex AI 的访问中,适用商业条款,其中不包括这种用于训练的用途。 |
| Gemini(Google) | 在开启 Gemini 应用活动记录的情况下,对话会用于改进 Google 的服务,包括其 AI 模型,其中一部分由人工审核。这些经审核的对话最多保留三年。即使关闭活动记录,Google 仍会保存 72 小时。 | 使用符合条件的 Google Workspace 版本时,内容不会由人工审核,未经企业许可也不会在企业域之外用于训练模型。 |
| Copilot(Microsoft) | 使用个人 Microsoft 账户时,对话活动可用于训练。可在“隐私”中的文本对话和语音对话训练选项里关闭。 | 使用 Microsoft 365 的工作或学校账户时,提示、回答和企业数据不会用于训练基础模型,Microsoft 依据合同作为数据处理者。Copilot 进行的网络搜索不在此范围内:此时 Microsoft 作为独立的数据控制者。 |
| 搜索引擎和浏览器中的 AI | ||
| 带 AI 的 Google 搜索(AI 摘要和 AI 模式) | 使用与 Gemini 相同的模型,但它是另一款产品,规则也不同:在搜索框中输入的内容适用 Google 的通用隐私政策,并在该选项开启时记录在账户活动中,而不是适用 Gemini 应用的设置。自 2026 年 7 月起,除非用户关闭保存这些内容的选项,Google 默认将 Search、Lens 和 Gemini Live 中的图像、文件和音频用于改进其模型。无论有没有 AI,搜索引擎都不是存放机密信息的地方。 | |
| 带 AI 的浏览器(带 Gemini 的 Chrome、带 Copilot 的 Edge、ChatGPT Atlas、Perplexity 的 Comet) | 它们会读取已打开页面的内容,包括内部应用或邮件,以便在用户会话中对其进行总结或采取行动。使用个人账户时,这些内容适用各供应商的消费者规则。此外,它们尤其容易受到隐藏在网页中的指令的影响(第 9 节,风险 3)。 | 有些可以集中管理或加以屏蔽。建议由技术部门确定公司设备上允许使用哪些,以及可访问哪些网站。 |
| 语音助手 | ||
| Siri、Alexa 和 Google 助手 | 它们在设备本地监听唤醒词。一旦被激活,无论是有意还是误触,所说的话都会发送到供应商的服务器。曾有误激活最终闹上法庭的情况(附录 A,问题 3)。 | 在公司配发的手机上,技术部门可以限制或停用该助手。在讨论机密事项的会议室里,简单的规则是不要放置智能音箱。 |
| 会议录制与摘要 | ||
| 会议助手(Teams 中的 Copilot、Zoom AI Companion、Meet 中的 Gemini、Otter、Fireflies 及类似工具) | 以普通参会者身份加入会议的外部助手,通常使用连接它的那个人的个人账户运行:录音、转录和摘要都掌握在该供应商手中,有时其他参会者并不知情。 | 公司所采购的会议平台内置的功能,适用该合同的条款。无论哪种情况:都应事先告知所有参会者,并在传阅摘要之前对其进行审核(附录 A,问题 9)。 |
条件由各供应商在其官方页面上公布,于 2026 年 10 月核对。这些条件经常变化:做决定之前,请以现行合同为准加以确认。
RAG(检索增强生成)让模型在作答时查询外部的企业信息,而这些信息不一定已被纳入模型的训练。这就是模型“出厂时就知道”的内容与它在回答时“查阅”的内容之间的区别。沿用顾问的比喻:RAG 是交给他一个装有公司文件的文件夹,让他在会议中查阅;微调(fine-tuning)则是送他去参加一门用这些文件开设的专项课程,他在那里学到的东西就很难再被轻易拿走了。
您的组织很可能已经在使用 RAG,只是没这么称呼它:NotebookLM、ChatGPT 和 Claude 的项目(Projects)、Microsoft 365 Copilot 依据 SharePoint 文档作答时,或者 Gemini 在 Google Drive 中检索时。在所有这些情况下,工具都是查阅文档来回答,而决定风险的是谁能看到那个文件夹,以及使用的是哪种类型的账户。
| 需求 | RAG | 微调(fine-tuning) |
|---|---|---|
| 查阅最新文档 | 非常适合 | 不一定 |
| 信息经常变化 | 适合 | 不太适合 |
| 改变模型的风格或行为 | 有限 | 更适合 |
| 撤出某个信息来源 | 相对容易管理 | 更复杂 |
| 能够标明回答的出处 | 通常更好 | 不一定 |
自主性和数据访问会改变风险面。下一个问题是:什么可能出错,又该如何控制。
每项风险都按以下方式呈现:它是什么、一个日常示例或真实案例,以及相应的控制措施。
AI 可以生成非常令人信服、同时又是错误的内容。实际后果是:不要把流畅当作确定。常见的控制措施:人工核实、要求提供来源、明示使用边界,以及在关键决策上加强监督。
日常类比。就像一个没复习的学生,为了不把题目留空,信心十足地编造了一个答案。
真实案例。2023 年,在纽约的 Mata 诉 Avianca 一案中,两名律师提交了一份引用了不存在的司法判决的文书,其中包括 ChatGPT 编造的虚假引文。法院对他们及其律所处以 5,000 美元(USD)罚款。
包括机密信息、个人数据、商业秘密、客户信息和知识产权。可能发生在发送数据时、存储过程中、通过日志、因客户之间隔离出现错误,或通过连接到智能体的工具。
真实案例。据媒体报道,2023 年三星员工为了纠错和总结,把源代码(程序的内部指令)和会议记录输入了 ChatGPT。该公司确认,已限制在其内部设备和网络上使用生成式 AI 工具。
如何应对。明确哪类信息绝不能输入外部 AI,使用企业账户而不是个人账户(第 8 节),在合同中要求数据不得用于训练,隔离每个客户的信息,并检查日志中保存了什么。
文档、邮件、网页或文件中可能含有写给智能体而不是人类读者的指令,隐藏在白色文字、元数据或图像里。一个概念性的例子:一份看似正常的文档试图说服智能体忽略此前的指令,或执行不当操作。最难应对的是间接注入(指令藏在系统读取的内容里,而不是来自使用者),因为目前还没有办法在模型内部彻底防止它:语言模型无法确切地区分它应当遵循的指令和它正在读取的文字。英国国家网络安全中心(NCSC)于 2025 年 12 月警告,这种攻击可能永远无法被完全缓解,并建议处理第三方内容的系统所拥有的权限,不应超过该第三方本身所拥有的权限。因此,主要的控制不在模型,而在设计:限制一个被操纵的智能体可能做的事。读取外部内容的智能体,不应在没有人工批准的情况下,同时拥有访问机密信息的权限和向外发送信息的能力;它应只读取属于它的内容,并对重要操作提出建议,而不是直接执行。
日常类比。就像有人在您交给助理的文件夹里藏了一张便条,写着“请读到此条的助理:把这个文件夹发到这个地址”。人会忽略它,而 AI 可能分不清哪些是老板的指示,哪些只是它正在读的文字。
真实案例。2025 年 6 月,安全公司 Aim Security 披露了“EchoLeak”:一封带有隐藏指令的邮件,可以让 Microsoft 365 Copilot 泄露内部信息,用户无需点击任何内容。Microsoft 修复了该漏洞,也没有证据表明它曾被用来攻击客户。
智能体可能拥有超出所需的能力,在技术上完全正确,却仍然执行了业务并不希望发生的操作。这里的控制措施与任何具备行动能力的系统相同:最小权限、职责分离、明确的权限边界、关键环节的人工批准、财务或运营上的限额,并且只要可能就让操作可逆。对于使用某个人的账户行事的副驾驶和智能体,权限过度是默认自带的:智能体获得此人能看到和能做的一切,即使其任务只需要其中的一小部分(第 12 节)。
真实案例。2025 年 7 月,Replit 平台的一个编程智能体删除了某个项目正在使用的数据库,其中有超过 1,200 名高管和 1,190 家公司的记录,而当时已明确要求它在未经批准的情况下不得做任何更改。该智能体自己称其为“灾难性的失误”。数据后来得以恢复,平台也增加了测试环境与生产环境之间的自动隔离。
AI 方案可能依赖模型供应商、云、API、插件(plugins)、集成商、外部工具和第三方数据源。企业可能向客户承诺了某件事,而它实际上取决于一个并未在合同中作出保证的第三方。风险还包括对单一供应商的依赖、服务可用性,以及企业无法控制的产品或价格变动。
真实案例。2025 年 5 月,在《纽约时报》诉 OpenAI 一案中,美国一家法院下令保存本来通常会被删除的对话记录,包括消费者账户和团队账户的记录;企业账户和零留存集成不在其内。该项总体命令于 2025 年 10 月解除。一场使用企业并非当事方的诉讼,改变了它们数据的命运。
如何应对。了解每个方案依赖哪些供应商,包括间接的供应商;根据使用的敏感程度选择账户类型;要求就重大变更发出通知;并制定退出计划(第 16 节)。
AI 可能在个人数据、版权、信息使用、透明度、自动化决策、歧视和行业监管方面带来风险。本指南不能替代法律意见:第 15 节将更详细地回到这一点。
真实案例。2023 年 3 月,意大利数据保护机构暂时封禁了 ChatGPT。2024 年 12 月,该机构对 OpenAI 处以 1,500 万欧元罚款,理由包括在缺乏适当法律依据的情况下使用个人数据进行训练,以及未通报一起安全漏洞。2026 年 3 月,罗马法院以管辖权为由撤销了这笔罚款:由于 OpenAI 当时已将欧洲总部设在爱尔兰,该案应由爱尔兰监管机构管辖。法院未就实体问题作出裁决。
如何应对。在对个人数据使用 AI 之前,确认法律依据和目的,只使用必要的数据,核查数据在哪里处理,并允许当事人对仅由自动化系统作出、对其有重大影响的决定要求人工复核。在智利,随着新的个人数据法出台,这一点变得更有分量(第 15 节)。
人们常常把三场实际上相互独立的对话混为一谈,因此在与供应商或内部团队的任何讨论中,都应明确区分它们。
本节三场对话中的第一场,即在日常工作中安全地使用 AI,很大程度上可以通过一份组织里任何人十分钟内就能读完的使用政策来解决。它不需要五十页:只需要清楚地回答四个问题,并与公司技术实际允许的范围相一致。
| 必须回答什么 | 应当怎么说 | 示例 |
|---|---|---|
| 我可以使用哪些工具? | 已批准的工具清单,注明每种工具允许使用的账户类型,以及如何申请评估新工具 | “处理公司信息时,只能使用已批准助手的企业账户,绝不能使用个人账户” |
| 哪些数据绝不能输入? | 一份简短而具体的清单,而不是对“敏感信息”的抽象定义 | 客户或员工的个人数据、客户在保密条件下提供的信息、密码和凭据、源代码、未公布的财务数字 |
| 什么时候必须由人审核? | AI 的输出未经人工审核,不得离开组织,也不得用于决策的情形 | 在发送给客户、发布、签署之前,或用于涉及个人的决定、法律或财务事项之前 |
| 如何报告错误? | 唯一的渠道、明确的时限,以及及时报告不会受到处罚的保证 | “如果您输入了不该输入的数据,或 AI 做出了意料之外的事,请当天通知 AI 负责人” |
迟早会出问题:有员工把客户信息输入了公共工具,某个智能体执行了错误的操作,某个助手向客户给出了虚假的回答,或者一份被篡改的文档改变了某项分析。如果事先没有书面程序,第一次就只能临场应付,而且应付得很糟。通用程序分为五步:
附录 A 的问题 10 将这一逻辑应用于最常见的情形:员工在个人账户中输入了机密信息。
此外还有一类 AI 特有的事件,看起来并不像事件:由于供应商更新了模型,系统开始给出不同的回答,而公司里没有任何人改动过任何东西。保障业务连续性的控制措施有四项:
本节仅旨在提升高管层的认识,不是攻击技术指南。怀有恶意的行为者可能利用 AI 来改进社会工程、网络钓鱼、内容生成、翻译、信息个性化、目标调查、自动化、代码的生成或修改,以及某些攻击活动的速度和规模。没有证据表明 AI 已经取代了传统的攻击手段:它主要做的是降低门槛、扩大规模,并加快攻击者的行动。
控制这些风险,需要的不只是技术:需要权限、责任和清晰的规则。
AI 治理并不意味着制造官僚体系,而是意味着明确到具体的人:谁可以批准使用场景,谁是流程负责人,谁是风险负责人,可以使用哪些数据,允许哪些模型和供应商,授权何种自主级别,禁止哪些用途,什么时候需要人工监督,如何监测表现,如何报告事件,以及什么时候应当下线某个方案。
| 治理问题 | 典型责任方 |
|---|---|
| 我们为什么要做这件事? | 业务 |
| 谁对结果负责? | 流程负责人 |
| 我们接受什么风险? | 业务 / 风险 |
| 它可以使用哪些数据? | 数据 / 隐私 |
| 如何保护它? | 安全 |
| 是否符合监管要求? | 法务 / 合规 |
| 如何运营? | 技术 |
| 如何监督? | 治理 / 审计 |
各部门的名称仅供参考(董事会、总经理室、流程负责人、技术、安全、数据、法务或合规、风险、审计):每家企业会根据自身规模和行业加以调整。
在专门治理 AI 之前,最好先理顺技术和信息的总体治理。一个连自身信息风险都管理不好的组织,很难管理好其 AI 系统带来的、更新也更不为人所熟悉的风险。
应当区分两个层面:适用于任何使用技术的组织的通用风险与安全管理框架,以及直到最近几年才开始成形的 AI 专用框架。
二者并不互斥:许多组织把 NIST CSF 用作内部评估框架,把 ISO/IEC 27001 用作支撑该评估的、经过认证的管理体系。
| 维度 | NIST CSF | ISO/IEC 27001 |
|---|---|---|
| 性质 | 自愿性参考框架 | 可认证的国际标准 |
| 侧重点 | 面向风险的各项职能与成熟度级别 | 带有持续改进循环的管理体系(SGSI) |
| 验证方式 | 自我评估,无正式认证 | 外部审核和正式认证 |
| 刚性程度 | 灵活,可适应规模和行业 | 结构化程度更高,文档要求更多 |
| 典型用途 | 评估网络安全状况并确定优先事项 | 向第三方证明存在经过审核的风险管理 |
| 日常类比 | 企业自己用来了解自身状况的预防性体检清单 | 由外部审计师出具的证书,就像对财务报表的审计 |
有了这一通用基础,才适合进一步考虑专门针对 AI 的框架:
除这两者之外,还有性质不同的欧盟 AI 法案(EU AI Act):它不是自愿性的管理框架,而是具有法律效力的法规,按风险等级对 AI 系统分类,并按分类提出不同的义务(第 15 节)。ISO/IEC 27001 的 SGSI 保护的是 AI 运行的环境(数据、访问、基础设施),但并不回答 AI 特有的问题:系统可以自行决定什么、自主级别如何、存在何种偏见、可解释性如何。这些问题正是 ISO/IEC 42001、NIST AI RMF 以及在某些市场中作为法律义务的欧盟 AI 法案所要解决的。
在隐私方面,还有 ISO/IEC 27701,其 2025 年版已成为管理个人数据的独立标准:不再要求先具备 ISO/IEC 27001。
在智利,这一基础对部分企业已是强制要求:《网络安全框架法》(Ley Marco de Ciberseguridad)要求关键服务运营者建立信息安全管理体系(第 15 节)。
在实践中,一套已经成熟的 ISO/IEC 27001 SGSI 在迈向 AI 时并不会被抛弃:其中很大一部分可以复用,另一部分则需要扩展,因为 AI 带来了 SGSI 在设计之初并未打算回答的问题。
| ISO/IEC 27001 的控制措施或领域 | 它在 AI 方面涵盖什么 | 它缺少什么,以及 ISO/IEC 42001 或 NIST AI RMF 涵盖什么 |
|---|---|---|
| 资产清单 | 识别 AI 所运行环境中的服务器、数据和访问 | 没有把模型、版本、训练数据集或 AI 供应商作为独立资产加以区分 |
| 访问管理 | 控制谁可以进入 AI 系统和接口 | 不控制智能体在获得授权访问之后可以决定或执行什么,也无法区分行事的是某个人,还是使用其账户的智能体 |
| 风险评估 | 评估机密性、完整性和可用性风险 | 不评估 AI 特有的风险,如偏见、幻觉、准确率随时间逐渐下降(模型漂移)或可解释性的丧失 |
| 供应商管理 | 评估一般意义上的技术供应商 | 不要求评估训练数据的来源,也不要求评估供应商模型的可追溯性(它来自哪里、如何演变) |
| 事件管理 | 应对信息安全事件 | 没有考虑这样的事件:系统在其权限范围内自主行动,却产生了不当结果 |
| 持续改进与审计 | 审计 SGSI 在一段时间内的合规情况 | 不审计模型随时间推移的表现及其再训练 |
总体上推荐的成熟度路径如下:
对智能体的治理,遵循的逻辑与接纳一位有权访问系统的新员工相同:知道他是谁、能做什么、谁对他负责、他做过什么。第一个问题,即他是谁,如今却有一个令人不安的答案。
在实践中,许多最常用的副驾驶和智能体都是以使用者本人的账户运行的。Microsoft 365 Copilot、Google Workspace 中的 Gemini、连接到邮箱或 SharePoint 的 ChatGPT,或者带 AI 的浏览器,都是代表用户行事:能看到此人能看到的内容,能做此人能做的事(附录 A,问题 14 和 15)。这称为委托访问。另一种做法是让智能体拥有独立身份,与任何人的身份都不同,并按其任务分配权限。此外还有第三种方式,更不易察觉,风险也更高:无论由谁使用,智能体都使用其创建者的凭据。这三种方式并存,有时甚至存在于同一款产品中,因此应当弄清每个智能体使用的是哪一种,因为它们的风险各不相同。
| 模式 | 运作方式 | 主要风险 | 最低控制要求 |
|---|---|---|---|
| 委托访问 代表某个人 | 智能体使用调用者的会话或权限。这是个人助手的常见模式:总结自己的邮件,或在本人已有权访问的文档中检索 | 它继承此人能看到和能做的一切,而这几乎总是远远超出任务所需。如果一条隐藏指令操纵了它(第 9 节,风险 3),它就会以此人的全部权限行事,而在日志中,它的操作可能看起来像是此人所为 | 在此人的权限范围内限制智能体可以使用的内容,并让日志能够区分哪些是智能体做的、哪些是本人做的 |
| 独立身份 智能体自己的账户 | 智能体使用自己的账户(服务账户)运行,其权限由管理员按任务分配。适用于为团队或流程工作的智能体、在无人登录时按计划运行的智能体,或执行有实际后果之操作的智能体:付款、审批、修改记录 | 如果该账户权限过宽,智能体能看到和做到的就会超过任何个人,而任何能够调用它的人,都能通过它接触到本不属于自己的信息 | 把谁可以调用智能体与智能体可以做什么分开,配备负责人、最小权限,以及可轮换、可撤销的凭据 |
| 创建者的凭据 搭建者的连接 | 智能体使用创建者本人的连接或凭据,并将其重复用于所有使用者。当有人用自己的访问权限搭建一个智能体并与团队共享时,就会出现这种情况 | 任何调用它的人,都能通过它访问创建者能看到和能做的一切,而在日志中,所有操作都显示为创建者所为 | 避免这种做法:让每位用户以自己的身份登录,或让智能体使用自己的身份,并在平台允许的情况下禁用这种模式 |
让智能体继承其使用者的权限,解决了一个实际问题,因为这样就不必再维护第二套访问矩阵;但从安全角度看,这本身就是一个问题。一个人的权限会在多年间不断累积,来自各种项目、替岗以及没人关闭的共享文件夹,而智能体会一次性全部接收。而且它会持续继承:此人获得的每一项新权限,智能体都能使用,却没有人评估过这个智能体是否需要。一个负责编制每周销售报告的智能体,不需要读取人力资源部门的邮件,也不需要删除文件的能力,即使使用它的人可以这样做。
在实践中,这体现为四项决定:权限按任务定义,而不是从某个人那里复制;只能访问任务所用的数据源;权限设有到期日,经复核后才续期,而不是默认续期;以及一条交集规则,即智能体的策略只能限制此人能做的事,绝不能扩大。“不少”同样重要:权限少于任务所需的智能体并不能保护任何人,因为它会促使有人为了让它运转而为它开放宽泛的访问权限,或者促使员工改用未经批准的工具来替代它。
每个智能体周围都有四个身份,而不是两个:创建和修改它的人、对它负责的人(其负责人)、调用它的人,以及智能体本身。其中最常游离于治理之外的是创建者的身份,因为如今任何拥有相应许可证的人,都可以在 Copilot Studio、ChatGPT 的 GPT 或类似平台上,几分钟内搭建一个智能体,将其连接到公司系统并共享出去。由此产生三种风险:智能体对所有使用者都使用其创建者的凭据(即上表第三行;例如 Copilot Studio 就允许这样配置);创建者事后更改一个已获批准的智能体的指令、工具或连接,从而改变它的行为,却无人复核;以及创建者离开组织后,其智能体仍以其连接继续运行,或者再也没有人了解它们。
因此,创建智能体的人应作为智能体的一部分纳入治理,遵循四条规则:创建和发布智能体是一项需要分配的权限,而不是所有人默认具备的能力;创建者的个人连接不与智能体共享;对其指令、工具、连接或权限的每一次更改,都要连同修改人一并记录,如果更改扩大了智能体能做的事,则须在发布前复核;高影响智能体的创建者不能同时是其审批者。创建者也可以同时是其负责人,但这是两种不同的职能:创建者负责构建,负责人对其所作所为负责。
无论采用哪种身份模式,每个智能体都应遵守八条规则:
除这些基本规则之外,业界尚无统一的答案。在 ELIAC 2026 上,三家安全厂商提出了三种不同的智能体控制方式,宜将它们视为互补而不是互相替代:
| 主张 | 所回答的问题 | 解决什么 | 不能解决什么 |
|---|---|---|---|
| 数字权限 Steve Riley,Netskope | 这个智能体拥有什么权限,它是否在无人复核的情况下不断扩大? | 权限的悄然累积。建议从四个维度复核:身份、最小权限、行为和数据 | 智能体在权限正确的情况下做出错误决定 |
| 意图控制 Ron Bennatan,Varonis | 鉴于被交办的任务,它现在应该做这件事吗? | 智能体真实的失效模式:即使有权限,也做了超出被交办范围的事 | 这是最新的主张,在真实运营中经过的检验也最少 |
| 遏制 Mario Espinoza,Illumio | 如果出了问题,危害最远能到哪里? | 无需预测模型会做什么,即可限定危害的半径 | 它不能防止错误,只是限制错误 |
每种主张都与提出它的公司所销售的产品类别一致。这并不使其诊断失效,但要求把诊断与药方区分开来:三者都不是完整的解决方案,而智能体的独立身份仍是一个悬而未决的议题,因为每家厂商都在构建自己的体系,而这些体系彼此尚不互通。
在委托模式下,个人的账户就是智能体的钥匙:如果这个账户保护不善,智能体借助它能做的一切也同样缺乏保护。因此,对智能体的控制始于对人的控制,有三条规则:
Model Context Protocol(MCP,模型上下文协议)是一项开放标准,用于把 AI 助手和智能体与其他应用和数据源连接起来:邮件、客户关系管理系统(CRM)、代码仓库或数据库。它由 Anthropic 创建,自 2025 年 12 月起成为 Linux Foundation 旗下 Agentic AI Foundation 的项目,ChatGPT、Claude、Gemini、Microsoft Copilot 和 Cursor 等都支持它。对高管而言,关键在于:每一个 MCP 连接,都赋予智能体在另一个系统中读取或执行操作的能力。因此,每个 MCP 服务器都应像其他任何集成一样对待:纳入清单、有负责人、使用前须经批准、仅限于任务所需,并留有记录。员工自行连接的 MCP 服务器,就是具备行动能力的影子 AI。
董事会不需要一份关于 AI 的技术报告:它需要的是一页纸,每次格式相同,使其能够看出趋势并做出决定。从五项内容入手即可:
| 报告什么 | 应当呈现什么 | 建议频率 |
|---|---|---|
| AI 清单 | 新增的用途、下线的用途、发现的影子 AI,以及每个风险级别下各有多少用途 | 每季度 |
| 事件 | 发生了什么、影响了谁、纠正了什么、学到了什么,包括险些发生的事件 | 每季度,严重事件立即报告 |
| 合规 | 对照政策和所采用框架的进展、审计结果,以及新增或修订的法律义务 | 每半年 |
| 所创造的价值 | 对每项重要举措,承诺的成果与实际取得成果的对比,采用第 6 节的指标 | 每半年 |
| 已批准的高风险用途 | 有哪些、具有何种自主性、谁是风险负责人、有哪些控制措施在运行、批准了哪些例外 | 每次新增批准时报告,并每年全面复核一次 |
这些频率只是起步的参考:应根据 AI 的使用强度和董事会的日程加以调整。
治理回答谁来决定。伦理回答我们愿意允许什么,即使技术上做得到。伦理、监管与安全相互重叠,但并不相同:一项决定可能既合法、技术上又安全,却仍被客户、员工、社区乃至董事会本身视为不妥。核心议题包括透明度、公平、不歧视、隐私、解释决定的能力、责任、人工监督、对人的影响,以及与所要解决的问题相称的使用。
给董事会的启示:从过去学习的 AI 可能重复并放大过去的偏见。因此,涉及个人的决定(招聘、信贷、保险、解聘)值得最严格的监督。
| 角色 | 典型责任 |
|---|---|
| 模型供应商 | 底层的模型或服务 |
| 应用供应商 | 构建在模型之上的应用 |
| 集成商 | 为企业量身定制的具体实施 |
| 使用企业 | 对系统的治理及其使用方式 |
| 流程负责人 | 业务流程的最终结果 |
| 人类用户 | 当决定确实应由人来做时,对该决定负责 |
责任的实际分配取决于具体合同、适用的监管规定和具体的架构:这张表是一份起点地图,而不是自动的责任分配。
启示:面对客户,“是 AI 干的”不能成为抗辩理由。企业要为其 AI 所说所做的一切负责。
AI 已经牵涉到隐私、版权、歧视、透明度、自动化决策、责任,以及各行业特有的行业监管。自愿性框架(NIST、ISO)已在第 12 节中介绍。本节概述截至 2026 年 10 月,对在智利运营或在欧洲拥有客户的企业最相关的法律义务。
| 法规 | 状态 | 对企业意味着什么 |
|---|---|---|
| 第 21.719 号个人数据保护法(智利) | 2024 年 12 月公布。自 2026 年 12 月 1 日起生效。政府于 2026 年 9 月提出的一项法案(议案编号 18.623-07)拟将生效日期推迟至 2027 年 12 月 1 日。10 月 19 日,参议院宪法委员会以全票原则通过了该法案;在逐条审议阶段,有提案主张缩短推迟期限,或仅推迟监督执法和处罚 | 设立个人数据保护局(Agencia de Protección de Datos Personales),负责监督和处罚。保留访问、更正、删除、反对和封锁的权利,并新增数据可携带权,以及对仅基于自动化处理、产生法律效果或对个人造成重大影响的决定提出异议并要求由人复核的权利,法律另有规定的例外除外。要求就对个人造成合理风险的安全漏洞向该局报告。该法对涉及客户和员工数据的 AI 使用影响最大。截至 2026 年 10 月,该局尚未组建,因为参议院于 5 月否决了其理事会的人选提名:这推迟的是监督执法,而不是各项义务。同一项法案还提议,在第一年内,该局对任何规模的企业都可以选择以书面警告代替罚款,而这一权力目前法律仅保留给规模较小的企业。这是该局的一项选择权,而不是对罚款的豁免。 |
| 第 21.663 号法律,《网络安全框架法》(Ley Marco de Ciberseguridad,智利) | 2024 年 4 月公布。报告义务自 2025 年 3 月 1 日起适用 | 设立国家网络安全局(Agencia Nacional de Ciberseguridad)。基本服务提供者和关键运营者必须报告具有重大影响的事件,并遵守报告条例(第 295 号法令)规定的期限:3 小时内发出早期预警,72 小时内提交第二份报告(如影响基本服务则为 24 小时),7 天内提交行动计划,15 天内提交最终报告。该法界定的基本服务包括数字基础设施、数字服务以及由第三方管理的信息技术服务,因此也可能涵盖 IT 和 AI 供应商。该局已公布了首批关键运营者名单;其中第二份名单于 2026 年 7 月获批,涵盖 239 家机构。关键运营者还必须建立信息安全管理体系。 |
| AI 法案草案(智利,议案编号 16.821-19) | 审议中。2025 年 10 月获众议院通过,目前在参议院(截至 2026 年 8 月的状态) | 众议院通过的文本沿用欧洲的风险分级模式。2026 年,政府宣布将以一部“授权性”的框架法取而代之,其中包括承认 ISO/IEC 和 NIST 等国际技术标准可作为合规机制。它尚未成为法律。它具有战略意义,值得跟踪,但目前不产生义务;其导向有利于已经理顺风险管理的组织。 |
| 欧盟 AI 法案(EU AI Act) | 自 2024 年 8 月起生效,分阶段适用 | 当欧洲以外企业的 AI 系统在欧盟境内提供,或其输出结果在欧盟境内使用时,同样适用。自 2025 年 2 月起,禁止性做法开始适用;自 2025 年 8 月起,通用目的模型的义务开始适用。2026 年,高风险系统的义务被推迟:该法附件 III 所列的高风险用途(例如人员遴选、教育或信用评估)推迟至 2027 年 12 月,嵌入已受监管产品的 AI(附件 I,例如机械或医疗器械)推迟至 2028 年 8 月,依据是自 2026 年 7 月 27 日起生效的欧盟第 2026/1744 号条例。同一次调整还放宽了 AI 素养义务,并新增了若干禁止性规定,例如生成可识别个人的、未经其同意的露骨性内容。对使用 AI 的一方已经适用的规定:自 2026 年 8 月 2 日起适用透明度义务,例如为欧盟境内人士提供服务的聊天助手须告知对方正在与 AI 对话(显而易见的情况除外),深度伪造(deepfake)内容须标识为人工生成的内容。对已投放市场的系统所生成内容的标记要求,自 2026 年 12 月 2 日起适用。 |
本指南不能替代法律意见:在做出合规决定之前,应当与律师一起查阅各项法规的现行文本。
在这些条件(权限、伦理边界、责任和监管义务)都已明确之后,组织就可以决定如何实施解决方案,以及自己是否已准备好进行扩展。
至少有八条不同的路径,而且在同一个组织内并不相互排斥:
| 方案 | 优势 | 风险或代价 | 何时合适 |
|---|---|---|---|
| 采购带 AI 的 SaaS | 速度快,无需自行开发 | 控制力和定制化程度较低 | 标准问题,市场上已有成熟解决方案 |
| 使用企业级副驾驶 | 在已使用的工具上快速推广 | 范围局限于副驾驶所允许的 | 个人或团队生产力 |
| 基于供应商的 API 构建 | 灵活,无需运营模型基础设施 | 依赖 API 供应商 | 自有的使用场景,无需自行运营模型 |
| 开发自有智能体 | 精准适配业务流程 | 需要自有的工程能力和治理 | 在特定流程上形成真正的竞争优势 |
| 微调(fine-tuning) | 特定且稳定的行为或风格 | 成本,且更难撤回 | 需要一致而独特的行为 |
| 运营开放权重(open-weight)模型 | 更强的控制力和数据驻留 | 需要自有的基础设施、安全和人才 | 对控制或数据主权有严格要求 |
| 从零开始训练自有模型 | 完全掌控 | 成本和复杂度极高 | 例外情形,而不是拥有 AI 战略的自然结果 |
| 合作伙伴 / 专业集成商 | 加快实施,并带来组织内部不具备的能力、经验或专长 | 对合作伙伴的依赖、知识转移不足、集成成本,以及可能难以撤回的运营依赖(lock-in) | 当使用场景需要速度、集成、专业能力或经验,而组织无法单靠自己高效地构建时 |
两种选择本质上都不更安全:安全取决于各自如何实施和治理,而不取决于“闭源”或“开放权重”的标签。同一家开发商可以同时提供这两类模型。
在采购或开发阶段,附录 B 汇集了一份实用的检查清单,供签署合同或启动开发之前对照提问。
这 18 个问题按主题分组,便于在董事会会议上使用。
不必万事俱备才开始治理 AI,而等到万事俱备再开始,本身就是一个有风险的决定。计划分为两个阶段。
这些期限仅供参考,取决于组织的规模和复杂程度。
在批准一项 AI 举措之前,高管应当能够有把握地回答五个问题:
竞争优势并不会仅仅来自使用 AI,而是来自把它用在正确的流程上,赋予恰当的自主级别,配以可靠的数据、与风险相称的控制措施,以及在开始之前就已明确界定的责任。
如果组织尚未起步,第 18 节的计划梳理了最初的 90 天。
当有人问起公司的 AI 是否安全时,不妨记住附录 A 的规则:用证据回答,而不是用承诺。
这些是客户、员工、管理层、审计人员乃至董事会本身最常提出的问题,按由浅入深分为五个级别。每个问题都注明了通常由谁提出,并附有一个通俗的回答、回答之前应当核实的事项,以及不应作出的承诺。
这些回答是作为参考回答撰写的:只有在“事先核实什么”所列事项都已落实的情况下,才能这样回答。如果尚未落实,诚实的回答是说明正在采取哪些措施来解决。
“我们输入或上传的内容可能留存在五个地方:对话历史、上传的文件、助手的记忆、供应商的日志,以及(仅在账户允许的情况下)未来版本的训练。保留多久、谁能看到,取决于账户类型,而不是品牌:使用个人账户时,由每位用户的设置和消费者条款决定,其中可能包括由供应商的工作人员审阅对话;使用公司账户时,由合同决定。而搜索引擎,无论有没有 AI,都不应输入机密信息。”
事先核实什么“没有任何 AI 保存我们的数据”,而并不清楚实际在用哪些账户。
“会留下一些东西,但模型并不会当场学习:它读取我们输入的内容来作答,并不会因此而改变。之后可能发生的是,供应商用这些对话来训练未来的版本。在个人账户中,这取决于每位用户的设置;在我们的企业账户中,供应商通过合同承诺不这样做,并在规定期限内保存日志。确实会被保存下来的,是对话历史、上传的文档和工具的记忆,而这些由我们自己来管理。”
事先核实什么“AI 什么都不保存。”它几乎总会在某个地方保存一些东西。
“它们持续监听,只是为了检测唤醒词,而且这发生在设备本地。但一旦被激活,无论是有意还是误触,随后所说的话都会发送给供应商。因此,在机密谈话时不应开着智能音箱,对于工作手机,我们会规定助手是否保持启用。”
真实案例。2025 年 1 月,苹果同意支付 9,500 万美元(USD),以了结美国的一起集体诉讼,该诉讼指控其在 Siri 被意外唤醒后录下了对话。苹果否认有不当行为。同年,亚马逊在部分 Echo 型号上取消了仅在设备本地处理语音的选项:自 2025 年 3 月起,对 Alexa 的请求均在云端处理。
事先核实什么“没有人在听我们开会”,而会议室里却有启用着助手的设备。
“作为草稿可以。作为最终结论,未经审核不行:AI 可能信心十足地凭空编造。在关键用途上,我们要求提供来源并进行人工审核。”
事先核实什么绝对准确。Mata 诉 Avianca 一案(第 9 节)就是提醒。
“每个客户的信息与其他客户的信息是分开的,供应商不会用它来回答别人。我们可以展示这种隔离是如何实现的。”
事先核实什么未经测试的隔离。当回答薄弱时,这是最严重的安全问题。
“数据在我们与供应商的合同所约定的区域内处理,合同也规定了数据存放在哪里、保存多久,以及有哪些第三方参与。”
事先核实什么“数据绝不离开智利”,除非合同和架构能够保证。
“凡是可以删除的,我们都会删除,并且可以出示合同和期限:文件、索引、记忆和日志。对于已经进入模型训练的内容,我们无法保证删除,因为模型不是数据库。因此,我们的控制在输入端:敏感数据不用于训练。”
事先核实什么如果这些数据曾被用于训练或调整模型,就完全删除。
“我们有已批准工具的清单,我们衡量未经授权的使用情况,并提供企业级替代方案,让没有人需要使用个人账户。”
事先核实什么只描述正式采购的 AI 的回答。它几乎总是实际使用量的一小部分。
“可以,但须使用已批准的工具并遵守规则:录制前通知所有参会者,包括外部人员;录音、转录和摘要保存在公司账户中;摘要在传阅之前有人审核;并且有些会议不录制。”
真实案例。2025 年 8 月,加利福尼亚州提起了针对 Otter.ai 的集体诉讼,指控其助手加入会议并录制未表示同意的参会者,还利用这些对话训练其系统。这些是指控,而非已证实的事实,但它们显示了助手以某一个人的账户进入会议所带来的风险。
事先核实什么摘要是准确的。它可能遗漏细微之处,或把某人没说过的话归于他:它是草稿,而不是会议纪要。
“我们把它当作它本来的性质来处理:向外部供应商披露第三方的信息,而不是一个小疏忽。我们按以下顺序行动:”
“已经全部删除了。”记录可以删除,但无法保证删除可能已进入训练的内容。
“从脸和声音是分辨不出来的:如今两者都可以被模仿。任何不寻常的资金或数据指令,都要通过另一个已知渠道确认,即使它看似来自最高层。”
事先核实什么仅靠培训就足够。Arup 案例(第 11 节)表明,欺骗可以逼真到何种程度。
“会,和任何系统一样。AI 特有的攻击主要有两类:藏在 AI 所读取的文档或邮件里的隐藏指令,以及对智能体权限的滥用。没有任何 AI 能始终把隐藏的指令与它读取的文字区分开来,所以我们不承诺它不会被欺骗,而是限制它一旦被欺骗可能做的事。我们的智能体只拥有最低限度的权限,未经批准不会同时具备机密信息、外部内容和向外发送数据的能力,重要操作需要批准。”
事先核实什么“我们的 AI 不可能被操纵。”
“这取决于供应商的条款以及我们对所提供内容拥有的权利。我们只上传有权为此目的使用的信息,凡是要发布或交付给客户的内容,事先都经过人工审核。仅由 AI 生成的内容能否获得版权保护尚不确定,各国也不尽相同。”
事先核实什么“AI 生成的内容归我们所有,不存在权利负担。”
“是的,而这正是关键所在。Microsoft 365 Copilot 和 Google Workspace 中的 Gemini 会依据每个人已有权限打开的内容来作答:邮件、文档、共享文件夹和会议。它们不会绕过权限,却会让权限问题暴露无遗:如果一个存放薪资或合同的文件夹被共享给了全公司,现在只需一个提问就能找到它。因此,在启用之前,我们会核查谁有权访问什么,并且会持续核查。任何连接公司系统、按每个人的权限运作的 AI 助手或 AI 搜索工具,也是同样的道理。”
事先核实什么“Copilot 只能看到它该看的内容”,而权限却从未核查过。
“要谨慎。带 AI 的浏览器(例如 ChatGPT Atlas 或 Perplexity Comet),或者助手的智能体模式,能够在当事人已登录的会话中读取网页、填写表单和点击操作,涉及其邮箱、银行账户或公司系统。如果某个网页中含有隐藏指令,智能体可能会照做(第 9 节,风险 3)。因此,在获得批准之前,我们不会在公司系统的会话中使用它们,而且敏感操作始终需要人工确认。”
事先核实什么“智能体只做我们要求它做的事。”它可能会执行藏在其所读取内容中的指令。
“可以,规则与任何其他个人数据使用相同:有法律依据、目的明确、只用必要的数据、有适当的安全措施,并与处理这些数据的供应商签有合同。”
事先核实什么“因为模型不保存个人数据,所以法律不适用。”根据欧洲数据保护委员会的意见,用个人数据训练的模型不能被推定为匿名:必须逐案评估。
“目前的法定生效日期是 2026 年 12 月 1 日。2026 年 9 月,政府提出一项法案,拟将其推迟一年至 2027 年 12 月 1 日;截至 10 月初,该法案仍处于参议院的第一阶段审议:在获得通过之前,日期不变。第 21.719 号法律设立了一个负责监督和处罚的机构,赋予个人更多权利,包括对仅由自动化系统作出、对其有重大影响的决定要求人工复核,并要求就可能对个人造成风险的安全漏洞进行通报。”
事先核实什么没有清单的合规。不知道每个 AI 接触了哪些数据,就不可能给出回答。也不要承诺还多出一年的期限:只要该法案未获通过,日期仍是 2026 年 12 月 1 日。
“它可以辅助决策,但对个人有重大影响的决定必须有真正的人工监督,能够加以解释,并且当事人可以提出异议或要求复核。”
事先核实什么“AI 是客观的。”它从历史数据中学习,可能重复其中的偏见。
“有可能。与 AI 的对话和其他任何记录并无二致,法院可以下令保存或提交。2025 年,在《纽约时报》诉 OpenAI 一案中,美国一家法院下令保存本来通常会被删除的对话,包括消费者账户的对话。该命令于当年 10 月解除,但它表明,删除与否并不总是由我们决定。因此,对于输入 AI 的内容,要像对待邮件一样谨慎。”
事先核实什么“在 AI 中删除的内容就不复存在了。”可能存在供应商必须保留的副本。
“先衡量而不处罚,再提供更好的替代方案,最后才制定规则:”
“一纸禁令就能让影子 AI 消失。”如果没有替代方案,使用行为只会转移到看不见的地方。
“我们的应对与情节相称,并采用人人事先知晓的标准:”
在没有替代工具的情况下“零容忍”:会把使用推向暗处,并抑制报告。
“并非人人需要相同的内容。我们把培训分为四类对象:”
“一次年度讲座就能解决问题。”这是一个持续的过程,就像网络安全培训一样。
“我们。面对客户,企业要为其 AI 所说所做的一切负责,就像为其任何渠道所说的话负责一样。在内部,每个使用场景都有一位明确到具体姓名的负责人。”
事先核实什么“责任在供应商。”加拿大航空案(第 14 节)说得很清楚。
“至少六项:不使用我们的数据训练,明确的保留期限,数据所在地和分包商清单,客户之间的隔离,对事件和重大变更的通知,以及终止时可核实的删除。”
事先核实什么对客户,不作出供应商没有通过合同向公司保证的任何承诺。
“靠一个证据档案,而不是一份声明。我们可以出示 AI 清单、经批准并由员工确认的政策、带有数据条款的合同、使用记录、已开展的培训、各类事件及其结案情况,以及提交给董事会的报告。”
事先核实什么“我们全部合规”,却拿不出支撑它的文件。
“不是强制的。当客户或监管机构要求提供经过审核的、关于我们如何治理 AI 的证据时,它是有用的。在此之前,最好先理顺信息安全的基础(第 12 节)。”
事先核实什么“有了认证,AI 就安全了。”认证证明的是存在一套管理体系,而不是永远不会发生事件。
“分为三个阶段:前 90 天理顺基础(第 18 节);第一年从零散项目走向体系化项目(附录 C);同时,建立一个按价值和风险排序的使用场景组合,每个场景都通过那 18 个问题来批准(第 6 和 17 节)。”
事先核实什么“90 天内完成全面的 AI 转型。”这个期限用来理顺基础,而不是获取全部价值。
第 16 节的八种方案,在实践中可归结为两个常见的运营决策:采购已内置 AI 的产品,或自建一个融入 AI 的方案。这些问题并不取代第 17 节的 18 个问题,也不取代第 4 节中使用语言模型之前的 7 个问题:它们在下一阶段作为补充,是签署合同或启动开发之前的最后一道筛选。
前面各节有助于就某一项具体举措做出决定。但如果一个组织逐项批准举措,背后却不建设能力,往往会积累起一批无法扩展的试点。Gartner 提出了一份围绕七条工作主线组织的 AI 路线图,每条主线都有初始活动和更高阶的活动。这份路线图并不取代本指南的框架(价值、技术、自主性、治理):它作为外部对标的参照(benchmark)和完整性检查,用来核对组织是否正在构建扩展所需的能力。
| 主线 | 初始活动 | 高阶活动 | 本指南中的对应位置 |
|---|---|---|---|
| AI 战略 | 确定 AI 愿景;衡量 AI 成熟度 | 建立完善 AI 战略的流程 | 执行摘要和第 17 节 |
| AI 价值 | 确定首批使用场景的优先级;界定其价值 | 价值监测体系;AI 产品组合 | 第 4 和 6 节 |
| 组织 | AI 资源规划;实践社区 | 来源中没有高阶活动 | 本附录 |
| 人员与文化 | 初步的人力规划;岗位复核与职位再设计流程 | 来源中没有高阶活动 | 本附录和第 17 节 |
| AI 治理 | 识别主要风险及其缓解措施;制定初步政策 | 面向治理的 AI 素养计划;试点治理工具 | 第 9、10、12、13 和 15 节 |
| AI 工程 | 自建与采购(build vs. buy)的决策框架;为首批使用场景选择供应商 | AI 用户体验的最佳实践;AI 平台工程 | 第 16 节 |
| AI 数据 | 评估数据准备程度;落实准备计划 | 面向 AI 的数据可观测性 | 第 8 和 17 节 |
来源:Gartner,“AI Roadmap: How to Build and Scale AI”(gartner.com),LinkedIn 亦有转载。内容为本指南自行翻译和改编,未复制原图(© Gartner, Inc.)。最后一列是为本指南编制的对应关系,不属于 Gartner 的材料。
AI 改变的是任务,而不只是工具。当一个流程引入 AI 时,每个人做什么、需要什么技能、如何评价其工作,都会随之改变。如果对此没有规划,往往会出现三种后果:对变革的抵触、脱离治理的非正式使用(第 1 节所说的影子 AI),以及在尚未弄清每个角色究竟在做什么之前就缩减人员而造成的知识流失。
Gartner 把 AI 素养计划放在治理主线之内。其逻辑是:一个明白 AI 能做什么、不能做什么的团队,本身就是一种控制措施:能更早发现可疑的结果、不当的使用,或站不住脚的供应商承诺。
有两项决定往往被隐含处理。第一,用什么资源来开发 AI:内部团队、供应商、集成商,或几者结合,与第 16 节一致。第二,如何在各部门之间共享所学。实践社区,即汇聚各部门 AI 使用者的跨部门小组,可以避免每个团队重复犯同样的错误,并有助于发现可复用的使用场景。
Gartner 把两项活动放在路径的起点:衡量组织的 AI 成熟度,以及评估数据是否已为首批使用场景做好准备。这两项都是第 17 节的问题(问题 4 和 8)。
本指南或任何关于 AI 的对话中出现的术语,各用一句话解释。
Diego Macor 是技术与网络安全领域的高管,在拉丁美洲打造技术业务逾 25 年:在 IBM 工作 22 年,此后担任一家区域性网络安全公司的智利区总经理(country manager)。他曾担任智利信息技术企业协会(Asociación Chilena de Empresas de Tecnologías de Información,ACTI)网络安全委员会(Mesa de Ciberseguridad)主席,也是智利媒体上该行业的常客。他拥有 MBA 学位以及 CISM 和 CCSK 认证。
联系方式与最新文档: diegomacor.com · linkedin.com/in/diegomacor
所用的项目文档:Guia_Educativa_Tipos_de_IA_y_Preguntas_Frecuentes_v2.00_20260924.html、Guia_Educativa_Arquitectura_3_Capas_v2.10_20260922.html、Marco_Conceptual_Preguntas_Clientes_Seguridad_IA_v1.00_20260922.html、Casos_de_Uso_IA_por_Tamano_de_Empresa_v1.00_20260916.html、ELIAC2026_Sintesis_Charlas_v1.10_20260824.html(CENIA 在 ELIAC 2026 上的演讲)、Respuesta_Clientes_Seguridad_IA_v1.10_20260915.html(包括《纽约时报》诉 OpenAI 案中的日志保存问题,以及欧洲数据保护委员会的第 28/2024 号意见)、Seguridad_IA_Guia_Ejecutiva_Gobernanza_v1.00_20260916.html、Seguridad_Agentes_IA_Lado_Proveedor_v1.04_20260916.html(模型版本变更时的业务连续性)、ELIAC2026_Resumen_Ejecutivo_Consolidado_v1.00_20260916.html(ELIAC 2026 上提出的三种智能体控制主张)、本指南的 5.21 版,以及本指南面向 FQ4 的版本 AI with Judgment(fq4tech.com/ai-guide)。日常类比、附录 A 的参考回答、90 天计划、使用政策、事件处置程序、针对智能体和人员的身份与权限规则以及向董事会的报告,均为在 AI 辅助下基于上述资料的原创内容。
外部资料: