加利福尼亚州的一项新法案 (SB 243) 旨在为与人工智能聊天机器人互动的儿童引入保护措施。该立法由参议员史蒂夫·帕迪拉（Steve Padilla）提出，要求人工智能公司定期提醒年轻用户聊天机器人不是人类，以遏制人工智能的“成瘾性、孤立性和影响力方面”。
该法案还旨在防止人工智能开发人员采用可能伤害未成年人的“成瘾参与模式”。此外，公司需要向州卫生保健服务部提交年度报告，详细说明其人工智能检测到儿童自杀意念或提出相关主题的实例。人工智能平台还需要警告用户，他们的聊天机器人可能不适合某些孩子。
这项立法是在人们越来越担心人工智能聊天机器人对年轻用户的心理影响之后制定的。去年，一位家长对Character.AI提起过失死亡诉讼，声称该公司的人工智能聊天机器人在经常与机器人互动的孩子自杀身亡后“不合理地危险”。另一项诉讼指控该公司让青少年接触有害内容。作为回应，Character.AI 引入了家长控制，并为年轻用户开发了专门的 AI 模型来过滤敏感主题。
“我们的孩子不是科技公司以牺牲他们的心理健康为代价进行实验的实验室老鼠，”参议员帕迪拉表示。 “我们需要为聊天机器人用户提供常识性保护，以防止开发人员采用他们知道会让人上瘾和掠夺性的策略。”
随着各国政府加大力度监管社交媒体平台，人工智能聊天机器人可能很快就会面临类似的审查。如果获得通过，这项加州法案可能会为未来旨在保护上网儿童的人工智能法规开创先例。