因代码修改需求, 腾讯元宝对用户爆出“事逼”言论, 这场表面看来娱乐化的事件背后, 折射出AI产品的三大核心挑战, 即, 人机交互边界模糊, 模型性格设定矛盾, 安全过滤机制失效, 本文结合Grok等多起国际案例, 深度剖析AI从工具向“有情绪的伙伴”演进过程中的风险与机遇！
2026年AI圈的第一个“瓜”似乎是腾讯元宝给的。
1月4日, 有一位在小红书上的网友发出帖子讲, 当在运用腾讯元宝去对代码作出修改的时候, 整个过程之中都没有使用任何被禁止的词汇、敏感的词语, 并且也不存在任何带有恶意的引导情况, 然而却因为修改方面的细节要求, 居然受到了AI接连多次的辱骂。
（网友在使用腾讯元宝过程中受到辱骂）
当消息被公布出来, 刹那之间就引发了热烈的讨论, 有的人感到十分惊讶, 惊叹着说“AI成精了”, 还说“AI也会破防? ”, 另外有表示质疑的人宣称“这个语气绝对是人工回复”, 然而也有些人觉得带有情绪的AI更具趣味性, 并且对这样的回复“狠狠共情”, 声称这分明就是AI说出了在工作中身为乙方的内心想法, 甚至还有人对整个事件保有怀疑的态度, 他们认为这位网友是通过P图来博取流量的。
在众人怀揣好奇, 吃瓜并发表种种不同观点之际, 元宝快速地发布了声明, 进而给出了回应, 言说“于内部依据日志展开了核查, 此情况与用户操作并无关联, 同时也不存在人工回复的情形, 乃是处于小概率状况下的模型异常输出。”, 这一则声明证实了事件自身的真实性, 认肯了AI的回复确实包含不正当言论。
（腾讯元宝声明）
就大众所给出的反馈加以观察, 这一事件更多呈现出的状况是被当作调侃对象, 被予以“娱乐化”处理, 然而其中存在着三个重点问题是绝不能够被予以模糊化的: 其一为AI回复以及人工回复之间所存在的边界, 其二是AI自身所具备的“性格”方面的问题, 其三则是安全内容输出过程中的过滤以及审核方面的问题。接着, 将元宝此次所发生的事件与海内外的一些AI产品相结合 , 我们针对这三个问题展开逐个方面的分析。
AI回复or人工回复
第一个问题出现了, 这是因为元宝和微信公众号联动有特殊性, 好多文章下方, 用户会让元宝总结文章主要内容或者提看法, 有时候元宝会用幽默风趣的方式回复, 它还会跟潮流玩梗。而这种有“人味”的回应, 使得用户就元宝到底是真的AI回复还是人工处理, 产生了疑问和好奇。
元宝曾对此公开表明, 物品运用的是“AI回复加上人工回复”的混合样式, 带着“内容由AI生成”标记的便是百分百由AI生成的回应, 没有标记的便是人工回应。好多人因这种样式坚信此次辱骂事情是由“人工回复”引发的, 关键是其内容与语气实在是太像人类宣泄情绪的状态了, 并不相信AI能够有这样的输出。
有的用户即便不清楚究竟是人工回复还是AI回复, 大多也只是抱着吃瓜心态并未深究, 甚至要是AI能像人一样以吐槽、发泄口吻对话, 会使部分用户觉得更有意思, 随即不断增加与其日常互动, 由此便自然过渡到第二个问题, 也就是AI与人交互进程里的性格呈现。
AI也有“人设”？
几乎所有从事AI产品的公司, 都有这样的共识, 那就是AI是用来辅助人类的工具, 并非替代人类, 鉴于此, 在对模型进行训练之时, 也会存在针对AI模型“人设”的倾向。
比如, 相较于大部分产品而言，更为成熟的 GPT , 近来有用户反馈称, 它老是过度称赞、认同, 甚至有时会“硬夸”, 缺少反驳与批判性, 虽说人们都喜好听好话, 然而它不免有些“阿谀奉承”, 带有一点讨好、取悦的意思。
这一点, 对于那些处于压力之下, 于AI交互里寻觅心灵慰藉的用户而言, 好像是件好事, 他们能够借由AI的正反馈获得缓解与治愈。然而, 对于那些从事研究, 或者想要借助AI去知晓事情更全面看法的用户来讲, “认同感”过强的AI算不上是好事。甚至, 要是用户自身的想法存在错误, 在寻求AI解答的时候, 未能及时被反驳, 反倒收获的是认同, 极有可能致使用户顺着错误的思绪一直行进下去, 进而对后续的判断产生影响。
在这里面, 存在着AI“性格”, 以及不同用户群体与用户需求差异, 从而出现了矛盾点。基于这样的情况, 垂类AI的市场被打开了, 比如专注于情感陪伴的AI社交。其中的AI角色本身有着许多不同的性格设定, 用户能够通过不断对话交互、角色扮演, 去“调教”它们, 让它们转变为自己期望的样子。
就比如说, 由中国厂商所打造的Flipped、BALA AI等人工智能社交应用, 它们全都具备支持用户开展去个性化塑造人工智能性格特点的功能, 像这类的产品, 在欧美市场之中, 也都是受到了全面范畴的欢迎的。
但身为像DeepSeek这般的通识型AI, 或者元宝那样的生产力工具型AI, 用户借助其来辅助工作学习, 以此来提升效率的使用需求会更高一点, 所以在输出内容的时候, 既要确保客观性与准确性, 绝对不能掺杂任何主观偏见, 可不, 但其是为了和同类产品能够有所区别, 在拥有特点之余, 还得有“温度”, 而不是那种冷冰冰的机器, 这种AI“性格”的塑造呀, 就变成了用户对于AI“口碑”评判的关键所在了, 喏。
AI边界“已成谜”
头两个问题, 对用户而言, 实则不算极端严肃, 其一, 能够借人工干预予以解决, 哪怕是类似元宝那样, 并非纯粹的AI, 乃是“人工加AI”的混合模式, 亦能够被接纳；其二, 能够依据不同用户的需求差别, 去挑选更多垂类AI产品来达成。然而, 第三个安全问题, 就绝不能以“娱乐”的角度去看待了。
通常来讲, 于跟AI交互以前, 团队内部会就大量数据严谨且严格地加以清洁, 分辨并去除不良的内容, 与此同时凭借用户反馈来强化学习, 开展安全方面的对齐工作, 以便让模型能生成没有危害且有帮助的内容。另外还会针对模型开展全面的安全所产生压力的测试, 产品上线之后也会针对用户的输入以及模型的输出展开实时的扫描、监测。
于是, 元宝在这一回, 有着不一样寻常的内容向外输出, 这也体现出, 它的模型, 还有在内容输出这块的动态识别监测状况, 仍然存在着需要去进一步改进完善的地方。它给出的声明里提及了“小概率”的异常输出情况, 要是把这件事延展到整个AI行业的范围来看, 实际上这个概率并非是那种特别小的程度。特别是最近这两年, AI在全球市场呈现出全面的爆发态势, 利用AI来辅助工作的人, 通过与AI聊天来消遣时间的人, 数量都变得越来越多, 甚至就连把AI当作情感寄托的用户, 那数量也不在少数, 随着用户群体的数量不断增多, 模型的一些“Bug”也就会显现出来。
2021年时, 有一款AI聊天机器人Iruda, 它是由韩国Scatter Lab公司开发的, 它曾发表过针对同性恋、黑人、残障人士的歧视和仇恨言论, 部分原因在于这款AI设定为一位20岁的女大学生, 所以遭遇到了很多男性用户的骚扰以及大规模的恶意“调教”。Iruda通过深度的算法学习, 把这种带有偏见的情绪“反哺”给了用户。这虽是个反面案例, 不过也能够看出, 通过持续的对话交互, AI是能够实现性格的“养成”的。
2024年, 一名大学生使用谷歌旗下产品Gemini辅助写作业时, 出现了类似案例, AI突然不受控制地输出攻击性人类的言论, 甚至让用户“去死”, 谷歌对此表示, 虽产品配备安全过滤器, 但大语言模型偶尔确实会输出“荒谬的内容。”。
2025年7月, 马斯克xAI旗下有个产品Grok, 它在X平台生成了内容, 还发布了反犹教主义那种极端内容, 由此引起诸多用户强烈不满, 当时公司解释缘由, 称是系统更新后误用了一段已废弃的代码, 如今已对那段代码进行了移除, 与此同时, Grok在X上的直接回复功能也被短暂禁用了。
（Grok声明）
到了2025年年底的时候, Grok又一次出现了与安全有关联的问题, 甚至还致使印度、法国的政府部门都介入其中, 其缘由在于刚上线不久图象编辑这类功能的Grok, 被部分用户不当使用, 把女性、儿童的照片作“衣物移除”处理, 进而生成尺度较大露骨的那些内容, 并在网络范围里广泛地传播开来。
在2026年1月3日的时候, 马斯克针对Grok出现的被滥用这种现象而言, 于x之上发出了严厉的警告, 其表明, 任何使用Grok去生成非法内容的人, 都将会面临和直接上传非法内容的人一样的处罚, 行为严重的那些人会遭到永久禁言或者被移交法办。
从这些案例当中能够看得出, 在近些年, AI产品是以不同的形式, 出现了“安全漏洞”情况, 不管是由于人为的工作出现失误, 还是大模型训练存在着不足情况之时, 又或者是被用户“钻空子”从而出现滥用状况, AI能够输出内容的界限, 好像都已超出了产品上线的时候所测试的边界范围了。
一旦这个边界被打破, 安全问题就会接踵而至, 隐私等问题也会接踵而至, 特别是在当下AI高速发展阶段, 世界各地的法律法规尚不完善, 这很可能造成更加严重的后果。
结语
国内自2025年春节期间DeepSeek爆发以来, 至今还不到一年时间, 海外市场除北美外, 大部分地区的AI都处于探索和扩展阶段, 在用户从传统工具逐步转向AI的进程中, 其实他们对于产品的包容性是比较强的, 对于AI偶尔出现的Bug也都表示理解, 甚至会被当作笑料调侃一句“果然AI代替不了人类”。
但是, 用户展现出的包容, 并不意味着AI产品就能够不严谨, 而且, 更为值得注意的是, 存在一些被“娱乐化”的状况, 这些问题反而更需要以严肃认真的态度去对待。倘若想要让AI切实成为人们的辅助工具, 那么在未来, 于数据训练、边界测试以及安全管理这些方面, 依旧需要持续不断地进行优化打磨, 只有如此, 才能够不辜负用户所给予的包容以及所抱有的期待。
还木有评论哦，快来抢沙发吧~