你的AI助理犯了错谁该来担责？阿里巴巴AI安全负责人：谈数字便利和隐私保护

凯文·凯利曾预言，当“镜像世界”——一个物理世界与数字世界完全映射的时代到来时，人类将面临一个悖论：我们要获得极致的便利和安全，就必须让渡最私密的个人数据。

身处数字时代，如何守护数据隐私？本期北高峰观察·峰云访谈，我们请来了市政协委员、阿里巴巴集团AI安全负责人薛晖，他被业界称为人工智能时代的“数字守门人”。人类将会面临哪些信息安全问题？又该如何构建与之匹配的治理框架和未来范式？来听听他的见解。

AI预订了不可退改的高价机票

这个责任该由谁来承担？

记者：2026年被视为AI智能体（Agent）的元年，AI开始拥有自主规划和执行复杂任务的能力，但这也带来了新的法律伦理挑战：如果AI助理在自主规划行程时因为算法执行了错误的决定，比如错误地预订了不可退改的高价机票，这个责任该由谁来承担？

薛晖：现在AI能力已经非常强大，在大多数场合已经达到可用水平了，但目前我们对在AI治理方面做得仍然不够。如果AI助理执行了错误决定算谁的责任？这个问题不能简单地套用传统的侵权责任框架，因为AI的“自主性”模糊了传统因果关系链条。

我认为应该建立分层责任框架——

第一层：产品设计缺陷责任。如果损害是由于AI系统设计缺陷，生产者理应承担主要责任。

第二层：使用不当责任。如果用户在明知风险的情况下仍然不当使用AI，或者故意诱导AI执行违规操作，则用户应当承担相应责任。

第三层：平台告知义务。AI 服务平台应当对其提供的服务承担合理的告知义务，包括风险提示、异常监测、应急处置等。如果未尽到这些义务，应当承担补充责任。

第四层：保险分担机制。对于难以归责的“灰色地带”，可以参考机动车上保险的模式，探索建立AI责任保险制度，比如推出“AI使用故障保险”机制，由保险公司、企业、用户共同分担风险。

要学会使用和驾驭AI

但不能什么都交给它

记者：未来，AI将会如何改变我们的世界？AI时代，人类又要做好哪些准备？

薛晖：AI智能体的发展超乎了我们的想象，它将极大释放人的生产力。随着2026年类似“OpenClaw”为代表的新一代智能体的出现，我们已经见证第一批“数字世界的原住民”。

未来AI能够代替我们做很多事情，一是面向消费场景，比如AI可以帮助我们点奶茶、购物、订机票酒店等。二是面向企业办公场景，如日常的文案处理、代码生成、信息检索、流程审批等事务性工作。

当下活跃着一批“OPC”（一人公司）和“OPT”（一人团队），在AI智能体帮助下一个人就能具备全栈能力，实现业务交付，这也会极大促进创业生态的发展。

再往后，AI行业涉及的领域会越来越广，包括教育、“一老一小”的陪伴、家政服务、医疗安防等。总之，我们刚刚推开AI 时代的大门，未来充满期待。

在这样的背景下，对于我们个人来说，首先要学会使用和驾驭AI。

比如教育领域有人提出质疑：学生使用AI是否会形成依赖？我认为关键在于培养“驾驭AI”的能力。未来AI可以代替人类执行很多复杂性不高、偏流程性的工作，让人类有更多精力去做更有价值、更具创造力的工作。

但同时，我们也要始终保持独立的思考、批判的思维，AI无论怎么发展，都是人类的工具，我们要做最后的决策者，不能什么都交给AI，这点特别重要。我认为应该在我们的教育和人才培育体系里考虑进去。

为AI大模型植入安全基因

在思考过程中就拒绝有害内容

记者：AI时代，原来“眼见为实”的经验已然不够用了。现在AI可能会自己生成我们无法理解的“幻觉”，甚至被恶意诱导产生危害，如何应对这种技术创新带来的风险变化？

薛晖：今天，我们发觉处理AI产生的风险跟过去“人与人的对抗”有很大的不同。过去我们讲安全，更多是网络安全、信息安全、数据安全、业务安全；但今天我们面对的管理对象是有智能、不断自主进化的AI。

在人工智能时代如何应对安全呢？我认为应该从“外层防御”转向“内生免疫”。过去我们更多依赖防火墙（Firewall）等外挂式工具进行防护，在AI时代，更需要做到在模型训练阶段就植入安全基因，让模型本身在思考和推理过程中就具备识别和拒绝生成有害内容的能力。

同时要建立“安全评估”和“红队测试”机制。在AI模型发布前，组织专业团队进行对抗性测试，核心是保障AI在最坏情况下不会出现灾难性的后果。这是一件非常严肃的事情，就好比汽车行业的碰撞测试，提前找出安全漏洞。

最小必要+知情可控

让“数据可用不可见”

记者：您最近在两会上提到要警惕手机智能体的“越界创新”。我们在享受技术带来的便利和个性化服务同时，也面临着让渡个人隐私的困境，如何破解这个难题？

薛晖：技术创新和隐私保护不是一个零和博弈，两者是可以兼得的。当下来说，关键在于建立“最小必要、知情可控”的隐私保护框架。

所谓“最小必要”，就是不能以“未来可能用到”为由过度采集。比如应用开发商和服务商一定要以获取当下执行消费者需求所必要的权限为采集标准，这是非常重要的一个点。

所谓“知情可控”，就是用户应该对当前数据的使用和被采集有充分的知情权和控制权。被采集了哪些数据、这些数据将作何用？必要时用户能够随时撤回已授权的数据。

我的建议，一是完善个人信息保护法的配套细则，明确不同类型数据的采集边界；二是推动隐私计算技术的发展和应用，实现“数据可用不可见”。