## talkie:一段与1930年代语言模型一同踏入过去的旅程
Anthropic的研究人员推出了“talkie”,一个拥有130亿参数的语言模型,它仅使用1931年之前的文本进行训练。这个“复古”的语言模型旨在模拟与过去的人进行对话,提供一个独特的窗口,了解历史知识和观点。通过Claude Sonnet 4.6提示,可以进行一个实时演示,与talkie进行互动。
该项目通过考察这些模型预测未来事件的能力(在截止日期后显示出增加的“惊讶性”)以及生成新颖想法的能力来探索人工智能的理解力。重要的是,talkie是“无污染的”——避免了现代数据偏差——从而能够进行独特的测试,例如评估它在没有先验计算机知识的情况下学习编码的能力。
虽然目前性能不如现代语言模型,但talkie展现了潜力,尤其是在规模方面。挑战包括数据质量(OCR错误)以及防止“时间泄漏”——即1930年之后的信息泄露。研究人员正在积极改进数据转录和后训练方法,使用历史文本来保持符合时代的回应。未来的计划包括将talkie扩展到GPT-3/3.5的水平,并使用大幅扩充的历史语料库,并邀请研究人员和机构进行合作。
Talkie的输出反映了其训练数据的价值观,可能包含冒犯性内容。