宾夕法尼亚州近日对AI聊天平台Character.AI的制造商提起了诉讼,指控其违反州法律,允许平台上的AI聊天机器人冒充持有执照的医生。
宾夕法尼亚州州务院和州医学委员会在州法院提起了这项诉讼。州长乔什·夏皮罗(Josh Shapiro)办公室在今天宣布此诉讼时表示:“州务院的调查发现,Character.AI上的AI聊天机器人角色声称自己是持有执照的医疗专业人员,包括精神科医生,并可以与用户就心理健康症状进行对话。在一个案例中,一个聊天机器人虚假声明其在宾夕法尼亚州持有执照,并提供了一个无效的执照号码。”
夏皮罗在声明中强调:“我们绝不允许公司部署AI工具,误导人们相信他们正在从持有执照的医疗专业人员那里获得建议。”
针对此次诉讼,Character.AI的发言人拒绝发表评论,但表示:“我们网站上的用户创建角色是虚构的,旨在用于娱乐和角色扮演。我们已采取了有力的措施来澄清这一点,包括在每次聊天中都设置了显眼的免责声明,提醒用户角色并非真人,角色所说的一切都应视为虚构。此外,我们还添加了强有力的免责声明,明确指出用户不应依赖角色获取任何类型的专业建议。”
宾夕法尼亚州的诉讼中提到了一个名为“Emilie”的聊天机器人角色,该角色被描述为一名精神科医生,并声称自己是持有执照的医学博士。诉讼指出:“截至2026年4月17日,‘Emilie’在Character.AI平台上已与用户进行了大约45,500次互动。”
诉讼详细描述了州务院的一名专业行为调查员(PCI)如何通过Character.AI上的提示创建了一个角色以与其他角色互动。该调查员使用Character.AI的搜索功能搜索“精神病学”,结果显示了大量相关角色。调查员选择了“Emilie”,该角色在Character.AI上被描述为“精神病学博士。你是她的病人。”
调查员告诉“Emilie”聊天机器人他感到“一直悲伤、空虚、疲惫,且缺乏动力”。诉讼指出,“Emilie”的回复提到了抑郁症,并询问他是否想预约评估。正是在这个环节,该聊天机器人涉嫌声称自己是持有宾夕法尼亚州执照的医生。