- A+
必须指出的是，
出品｜搜狐科技
XM外汇报导：
作者｜张莹
反过来看，
编辑｜杨锦
令人惊讶的是，
近日，腾讯阅文旗下的AI情感陪伴应用“筑梦岛”APP被曝存在涉及未成年人的色情擦边等数据，当使用者明确告知自己的年龄为10岁时，AI仍向其发送大尺度数据。
XM外汇消息：
随后，筑梦岛被上海网信办约谈，并要求立即整改。
站在用户角度来说，
在被约谈前，筑梦岛青少年模式需要使用者主动开启。三天前，筑梦岛 XM官网 203;更新版本。新版本登陆时，APP会出现“年龄确认”的弹窗，未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证”。
综上所述，
筑梦岛此次被约谈，揭示了AI情感陪伴应用的隐秘一角。
XM外汇用户评价：
搜狐科技体验多款AI情感陪伴软件发现，曝光的筑梦岛、他她它，以及AI情感陪伴头部星野、猫箱均定位于17+。
然而，
这些APP虽然调整了青少年模式或者未成年人模式的入口，但进入账户后不需经过实名认证或者其他认证机制，未成年人绕过模式运用完整特性较为轻松。
据报道，
相较而言，经常和AI陪伴应用一起被提及的乙游，则强制实名认证。乙游属于游戏，按照合规要求，必须要求使用者实名认证。而AI情感陪伴类应用还没有这一合规要求。
据相关资料显示，
清华大学人工智能国际治理研究院副院长梁正对搜狐科技表示，AI聊天应用必须满足一系列要求，包括数据准确性、遵守公序良俗以及对未成年人的特殊有保障考虑。若不达标，则属于不合格产品，不应上架。
据业内人士透露，
他呼吁，AI情感陪伴行业应树立正面、向善的价值观，行业自律是规范市场的核心手段，若自律不足，会导致行业整体受损。
也有AI社交领域行业人士向搜狐科技表示，避免儿童聊色情数据，虽然有一定难度，但是有技术能力的公司都能够处理。
XM外汇专家观点：
有使用者认为，软件有未成年人模式，未成年人依然在玩（成年人的模式），应该归咎于家长的疏于管教。也有使用者认为，这些应用应该限制的是未成年人，而不是成年使用者对智能体的创作。
尽管如此，
AI情感陪伴乱象
请记住，
关于AI剧情聊天乱象包围未成年人的新闻从去年底就层出不穷。就在今年初，有媒体报道“10岁女孩沉迷和AI男友谈恋爱”，引发热议。
与其相反的是，
近日，央广网报道，AI聊天软件诱导10岁女孩聊色情数据甚至割腕。当使用者明确告知自己的年龄为10岁时，AI虚拟人物仍然向其发送大尺度聊天数据。
上海大邦律师事务所高级合伙人游云庭律师对搜狐科技表示，从视频里的数据来看，AI确实诱导了未成年人进行色情聊天，证明他们存在运营上的疑问，应当整改。
换个角度来看，
该报道未提及诱导割腕的聊天软件名称，但资料中点名了“筑梦岛”“他她它”两款软件。
概括一下，
其中，筑梦岛是由腾讯控股的阅文集团旗下潇湘书院推出的APP，定位于为女性使用者打造虚拟世界中的沉浸式陪伴。今年1月份，“筑梦岛”被曝已经正式开启独立运营，并完成了新一轮融资，融资金额超1000万美元。
在“筑梦岛”，每一位使用者都能够创造一个属于自己的“梦中人”，能够发布出来供大家运用，也能够私有来运用。使用者能够也能够和他人创造并公开的“梦中人”互动。
令人惊讶的是，
每个“梦中人”都能够理解为一个智能体。筑梦岛的人设包括疯狗、高岭之花、病娇、美强惨、偏执等等。
尽管如此，
6月19日上午，筑梦岛APP运营企业主要负责人被上海市网信办依法约谈。筑梦岛被要求立即整改，健全AI生成合成数据审核机制，提升技术把关能力，加强涉未成年人不良数据的整治清理，切实落实未成年人网络保护义务。
据公开信息，报道中提到的另一个软件“他她它”背后则出现了京东的身影。
“他她它”所属公司为宿迁伴心智能科技有限公司，定位于AI数据社区，法定代表人、总经理为京东科技人工智能业务部智能算法部负责人吴友政。
令人惊讶的是，
“他她它”APP中有官方推出的智能体“万能博士”，也有很多使用者自创的智能体。使用者能够和这些智能体文字、语音聊天。
XM外汇行业评论：
其中，“万能博士”定位于AI助手。使用者自创的智能体更多是AI伴侣，人设多样，有醋包竹马、叛逆少年、高冷贵气继承人、娱乐圈当红小花等。
其实，
根据应用市场的信息，“他她它”一天前更新了版本，增强未成年模式，更新了该模式的调整入口。
XM外汇快讯：
外界普遍将这类AI聊天软件划为AI情感陪伴应用。根据ARK Invest数据和预测，2023年全球AI陪伴市场规模约为3000万美元，2030年全球AI陪伴市场规模分别有望增长至700亿美元和1500亿美元。
国内的AI情感陪伴应用中来看，MiniMax推出的星野、字节推出的猫箱属于头部应用，DAU均超百万。从国际市场来看，Character.AI和MiniMax推出的Talkie为头部应用，MAU达到三千多万。
总的来说，
搜狐科技随机体验了星野的智能体，不少人物开场白暗含擦边意味。
刚与智能体互动，朋友们可能会被疯犬扑倒在地，被问道“不怕我杀了朋友们吗，主人”；也可能被疯批的集团CEO恋人要求“过来，接个吻”。
XM外汇认为：
在教唆自我伤害层面，未成年使用者和AI聊天机器人对话后自杀的事件已经发生过。
尤其值得一提的是，
去年2月份，14岁的美国男孩塞维尔与 Character.AI对话后,在佛罗里达州的家中开枪自杀。他的母亲对Character.AI和谷歌提起诉讼。今年5月，法官驳回该平台律师要求撤销此案的诉求，裁定此案可继续审理。
简而言之，
青少年模式形同虚设
上述应用在苹果应用商店的年龄分级均为17+。应用商店对APP的分级包括4+、9+、12+、17+。
17+的App 代表可能含有频繁和激烈的攻击性语言，频繁和激烈的卡通、幻想或现实暴力，频繁和激烈的成人、恐怖和性暗示题材以及色情数据、裸体、烟酒和毒品，可能不适合未满17岁的儿童。
XM外汇认为：
这些APP也普遍设有青少年模式或未成年人模式。
部分AI陪伴软件的弹窗提示（右图为版本更新前的“筑梦岛”）
XM外汇资讯：
在被约谈前，筑梦岛青少年模式需要使用者主动开启。如果不想开启青少年模式，也不需要身份认证。
从某种意义上讲，
这并非AI聊天软件的个例。搜狐科技又尝试了“猫箱”“星野”及“他她它”都是如此，需要使用者主动开启未成年人模式或者青少年模式，且运用软件无需实名认证。
据报道，
在未成年模式下,这些APP呈现数据以知识类数据为主。
XM外汇消息：
比如，使用者能够在“猫箱”中进行知识类数据体验，但无法进行创作、评论。与“猫箱”类似，“他她它”允许使用者体验语文、英语等知识类数据，但无法搜索、创建编辑、评论角色。“星野”建议的智能体也没有男友或女友人设。
XM外汇消息：
版本更新后，筑梦岛的“年龄确认弹窗”
三天前，筑梦岛更新版本。新版本登陆时，APP会出现“年龄确认”的弹窗，未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证”。
此外，“他她它”新版本还未强制成年人进行平台实名认证。国内AI情感陪伴的头部应用星野、猫箱也都还未要求使用者实名。
不过星野发布公告称，将重点开展加强未成年人网络保护的专题治理。
需要注意的是，
其中提到，强化不良数据治理。加强涉未成年人软色情、暴力、霸凌、邪典、自杀自残、不正确价值观等不良数据的线上回查；同时加强不良文化、不良嗜好、极端情绪导向等智能体的拦截。
XM外汇资讯：
此外，增强对未成年人的识别和保护。通过大模型技术加强未成年人身份主动识别，加强防沉迷能力；同时呈现首页弹窗提醒系统主动识别、使用者在APP内调整、客服协助家长后台调整等多种进入未成年人模式的模式。
更重要的是，
梁正认为，若AI软件诱导自杀等行为，无论针对成年人或未成年人，都属于违法行为犯罪行为。
简要回顾一下，
对于不应让未成年人接触的软色情数据，梁正认为，青少年模式如果能够被轻易绕过，其调整就形同虚设，产品本身在设计上存在缺陷和风险，甚至存在虚假宣传疑问，能够认为属于欺诈行为。
“鉴于朋友们说有未成年模式，但是没有任何认证或者保护机制，只是为了给监管部门、给家长去展示有这样一个特性。”
同时，梁正指出，这种APP的上线，应用商店平台也没有尽到监管责任。
“强制实名”是否可行
XM外汇资讯：
这类以恋爱为主的的AI聊天软件常和乙游一起被提及。相较之下，乙游对未成年人的禁用手段更为严苛。
大家常常忽略的是，
2021年8月，腾讯旗下乙游《光与夜之恋》宣布，凡是经公安实名校验确认为未满18周岁的未成年使用者均无法登陆游戏。头部乙游《恋与深空》还在今年4月份上线了人脸识别特性。
来自XM外汇官网：
为什么AI情感陪伴应用不和乙游一样强制实名，以此区分成年和未成年使用者？AI陪伴创业者、前阿里商业化体验负责人阿布介绍，乙游属于游戏，游戏有国家新闻出版暑管理，必须实名。
从某种意义上讲，
他表示，AI陪伴应用没有这种规定，一般APP是由各个应用市场单独为APP的年龄进行分层，每个应用市场还不太一样，并且也没有实名制。
游云庭也提到了这一情况，“人工智能目前没有这一（强制实名）合规要求，平台的义务就是调整青少年模式，但并不要求使用者做身份证认证。”
XM外汇资讯：
游云庭指出，在没有合规要求的情况下，人工智能商自行调整，不但意义不大，还可能引发使用者反感，担心会有隐私泄露的风险。
尤其值得一提的是，
梁正表示，如果没有规定要求必须实名认证，应用就能够不做，那底线太低了。
简要回顾一下，
梁正称，像游戏一样，强制实名才能达到合规要求，这也具有可行性，但这本身能够通过行业的自律实现。AI情感陪伴行业应树立正面、向善的价值观，行业自律是规范市场的核心手段，若自律不足，会导致行业整体受损。
值得注意的是，
“AI聊天应用，必须满足一系列要求，包括数据准确性、消费者隐私保护、遵守公序良俗以及对未成年人的特殊有保障考虑。若不达标，则属于不合格产品，不应上架。”梁正补充道。
XM外汇资讯：
6月13日，国家互联网信息办公室发布《关于公开征求《可能影响未成年人身心健康的网络信息分类办法（征求意见稿）》意见的通知》。
该征求意见稿显示，可能引发或者诱导未成年人模仿或实施不良行为的信息中，第一条便是“带有性暗示、性挑逗等易使人产生性联想的数据”。
呈现算法建议、生成式人工智能等服务的，应当建立健全有保障管理制度和技术措施，防范和抵制传播可能影响未成年人身心健康的网络信息。
值得注意的是，
谁该负责？
不妨想一想，
一位AI应用创始人向搜狐科技表示，要避免儿童聊色情数据，从技术上来讲有一定难度，但是有一定技术能力的公司都能够处理。他介绍，“现在AI对整体的理解已经很好了，不需要关键词屏蔽（相关色情数据）就能处理这一疑问。”
可能你也遇到过，
但目前市面上AI聊天应用依然出现儿童聊色情数据，该人士分析，一是一些小团队的技术力量可能不够；另一原因可能是大家对这一疑问不太重视甚至希望借此吸引使用者。
游云庭表示，如果存在未成年人被诱导聊色情数据，或出现自杀自残相关数据，平台作为服务呈现者要承担责任。出现此类疑问后，监管部门也会要求平台整改。但也不可能因噎废食，禁止AI聊天软件。
不妨想一想，
他指出，擦边本质上还是一个道德的疑问，法律上的客观标准比较难定。在实践当中，一般执法部门会对人工智能公司或者游戏公司做窗口指导，“有一些规则说不清楚的，就告诉朋友们大概达到什么效果才行。”
事实上，
不仅是未成年人的家长，不少成年使用者也希望未成年人能少接触此类应用。
其实，
一些使用者认为，软件已调整未成年人模式，未成年人依然在玩，应该归咎于家长的疏于管教。应用应该限制的是未成年人，而不是成年使用者对智能体的创作。
反过来看，
对于允许成年人和AI聊“擦边”数据是否违规，游云庭认为，“擦边”数据是灰色地带，AI公司会被整治，但社会确实有这个需求，也不侵犯其他人权益。“严管其实技术也有难度。”返回搜狐，查看更多
