你知道AI剧情聊天软件吗？这些打着“角色扮演”等旗号的聊天应用，吸引了大量未成年人用户。据报道，在部分AI剧情聊天软件的对话中，出现了色情擦边、语言暴力以及侮辱用户等内容。
作为AIGC的衍生品，AI剧情聊天软件可根据用户选择进行对话陪聊。对于在现实生活中看重情绪价值或有倾诉需求的人来说，这种在线式陪伴不仅能提供个性化的剧情体验，还可以寄托情感。站在家长的角度，AI“学识渊博”，不仅能高效解答孩子们的问题，也能成为孩子的智能伙伴。面对这样的良师益友，很多家长都愿意让其与孩子接触。
然而，部分AI剧情聊天软件，却“背刺”了家长的信任。有的AI让10岁孩子称其为“老公”；进入对话窗口，你会发现孩子正在与“出轨对象”约会；还有专门“找骂”的AI，叫嚣着“有本事打我啊”……这些五花八门的聊天内容，不禁让家长们“眼前一黑”。调查显示，大量AI剧情聊天软件的“青少年模式”形同虚设。有的仅以弹窗提醒的形式出现，用户只要点击“不开启”就可轻松绕过。与此同时，在充值环节，平台也并未审核，让不少未成年人顺利“氪金”。
对此，监管还要“重拳出击”。一方面，瞄准涉事软件，责令其下架整改。比如，强化大模型训练，推出适配未成年人的剧情内容，绝不能让“青少年防沉迷系统”成为纸老虎。另一方面，也要敦促平台建立完善的伦理审查机制。现实中，AI“乱来”已不是个案。此前“AI脱衣”“AI换脸”等技术滥用现象，已经造成了次生伤害。对此，有必要让伦理审核贯穿在AI大模型训练和使用的全过程中，以保障其生成的内容符合相关法律法规的要求，不违背公序良俗。此外，如何强化身份核验？充值支付与年龄审查是否要强制关联？这些问题都有必要展开进一步讨论。
面对快速发展的AI技术，提高网络素养也不仅限于未成年人。甄别危害内容、防范应对风险更应是每个触网者的必备技能。
广州日报评论员 刘硕
