微软警告：Win11 系统 AI 智能体功能可能出现“幻觉”现象

12 月 1 日消息，据科技媒体 TechPower Up 今天报道，微软在几天前宣布 Win11系统将迎来一次“agentic”（智能体式）大更新，不过微软最近在官方发布博文称，Win11 系统的 AI 智能体功能可能出现“幻觉”现象。

据报道，用户在安装 Windows 11Build 26220.7262 后，可以在“设置--> 系统-->AI Components”中看到一个新开关“实验性智能体功能”，启用后系统会弹出一个警告窗口，提醒用户相关功能仍处于实验阶段，可能会对电脑产生影响。

值得注意的是，目前黑客已经基于自主式智能体（autonomous agents）研发新型攻击方式，其中最为人所知的便是间接提示注入，不怀好意的人会将恶意指令隐藏在普通文档或网页元素中，让智能体遵循这些隐藏指令而非原本的任务，最终导致电脑被装上恶意软件，或是泄露支付信息。

不过微软表示，Windows 11 的智能体将被运行在一个专属工作区内，每个智能体都有一个限定范围、可审计的账户，并且所有操作记录都会被记录以供审查，具体工作原理类似沙盒，但智能体被设计可持续存在，并且能跨对话执行文件操作，这无疑扩大了潜在攻击面。

默认情况下，智能体会被授予 Downloads、Desktop、Documents 等用户文件夹的读写权限，虽然这些文件夹并非系统要害，但仍然有可攻击的漏洞，微软还是需要实施更强的安全措施才能避免黑客攻击。

注：AI 领域的“幻觉”指的是 AI 大语言模型生成出看起来合理但实际虚假或不准确的信息，这种现象之所以被称为“幻觉”，是因为模型会不知不觉地输出与事实不符的内容，产生原因多种多样，包括训练数据不足、有偏差或不完整、上下文理解有限、过度拟合等。