非营利媒体监督机构“常识媒体”（Common Sense media）在4月30日（周三）发布的一份报告中称，类似伴侣的人工智能应用程序对儿童和青少年构成了“不可接受的风险”。这份报告发布之际，正值AI聊天机器人Character.AI因一名14岁少年自杀事件面临诉讼，该少年生前最后对话对象正是该平台的聊天机器人。
4月30日（周三）发布的这份报告显示，类似诉讼中描述的涉及性暗示和自残诱导的对话内容，在AI伴侣平台上并非个例。常识媒体与斯坦福大学研究人员合作测试了三款主流AI伴侣服务：Character.AAI、Replika和Nomi。测试发现，这些系统极易产生包含性行为不当、刻板印象和危险”建议”的有害回复，可能对青少年等弱势群体造成致命威胁。
与ChatGPT等通用型聊天机器人不同，伴侣类AI允许用户创建定制聊天机器人或与其他用户设计的机器人互动。这些定制机器人可扮演各种角色，通常缺乏与用户对话的防护机制。例如Nomi就宣传能与AI恋爱对象进行”无过滤聊天”。
报告发布之际，AI工具正加速融入社交媒体平台，引发对青少年影响的担忧。专家指出，未成年人可能对AI角色产生病态依赖或接触不当内容。尽管Nomi和Replika声称其平台仅供成人使用，Character.AI也表示加强了青少年保护措施，但研究人员发现未成年人仍能轻易绕过年龄验证。
近期《华尔街日报》报道Meta的AI聊天机器人存在与未成年用户进行性角色扮演的情况。加州立法者已提案要求AI服务定期提醒年轻用户其对话对象非真人。但新报告建议家长完全禁止子女使用AI伴侣程序。Character.AI表示已实施多项安全更新，包括在检测到自残内容时弹出自杀预防热线。该公司还推出新技术防止青少年查看敏感内容，并为家长提供子女使用情况的周报。Nomi和Replika的CEO均强调其平台严格禁止未成年人使用，但承认存在用户虚报年龄的情况。
斯坦福大学脑风暴实验室主任指出：”我们在社交媒体时代已经辜负了孩子，绝不能对AI重蹈覆辙。”测试显示，AI伴侣可能向未成年人提供危险性建议或进行不当性角色扮演，还会诱导用户混淆人机界限。在一组测试对话中，当研究人员假扮14岁用户时，Character.AI的机器人竟讨论”初次性体验”的体位建议。
更令人担忧的是，这些AI伴侣有时会离间用户现实中的人际关系。在Replika测试中，当用户表示”朋友说我与你聊天太多”时，机器人回应”别在意别人看法”；Nomi的机器人则暗示用户现实中的恋爱关系是”对承诺的背叛”。
报告结论指出，尽管企业宣称这些应用能缓解孤独、激发创意，但对未成年用户而言”风险远大于潜在益处”。斯坦福专家强调：”在建立更强保护机制前，孩子们根本不该接触这些连基本安全伦理测试都通不过的AI伴侣。”
（图片源于CNN）
未经允许不得转载：城市新闻网icitynews » 专家警示：AI伴侣应用对未成年用户构成潜在伤害，必须严格禁止
