Bunn (@BunnHack) 在 OpenAI 内部 Lily 项目曝光:人工审核 ChatGPT 用户聊天记录以优化大模型 中发帖
众所周知,ChatGPT 这类平台的对话日志会被用来优化模型。但在此之前,这套处理机制一直是个谜。404 Media 刚刚发布了一份报道,披露了 OpenAI 对聊天记录开展人工审核的整套流程,介绍了审核如何运作,以及审核人员有时会读到用户私人信息这一情况。
OpenAI 内部这项评估项目代号为莉莉计划(Project Lily)。该媒体获取到了该项目的操作指引文档、Slack 工作群组记录、真实的 ChatGPT 对话样本,还有用于给对话分级的评分体系。从事这项工作的人员被称作“提示词审核员”。他们的工作内容并不复杂:查看经过匿名化处理的真实用户聊天记录,评判 ChatGPT 回复的质量;评估回答是否切题,同时检查回复文本是否过度出现“AI 式话术”、居高临下的说教语气、表情符号、谄媚口吻等问题。回复禁止拟人化表述,也不允许编造“个人经历”。也就是说,ChatGPT 可以说“我查到了一...