自由软件基金会欧洲分会 (FSFE) 已永久删除其在 X(前身为 Twitter)上的账户,理由是其价值观与该平台的理念不符,尤其是在自由和去中心化方面。 最初加入该平台是为了扩大受众并推广自由软件,但 FSFE 发现该平台在埃隆·马斯克的所有权下,日益充斥着敌意、虚假信息和以盈利为导向的控制。
FSFE 认为 X 的算法现在优先考虑负面内容,并引发了日益增长的隐私问题。 虽然为了更广泛的传播,该组织仍会在 *某些* 专有平台上保持存在,但它积极鼓励用户加入 Fediverse——一个去中心化的网络,提供更大的用户控制权、透明度和弹性。
FSFE 敦促支持者在 Mastodon 和 Peertube 上与他们联系,倡导从集中式、以盈利为中心的社交媒体转向更具赋权性和尊重自由的数字环境。
## Transformer 作为情境化机器
本文提出将 Transformer 不仅仅视为下一个词预测器,而是作为**情境化机器**来理解。虽然预测下一个词是其*目标*,但理解 Transformer 的*运作方式*需要不同的思维模型。作者认为,每一层都通过“残差链”主干为词嵌入添加情境信息,微妙地丰富隐藏状态。
这个框架解释了几个观察结果。更大的词汇量,如“过度标记的 Transformer”论文所示,通过在每个词内实现更大的*预情境化*来提高性能。分词器的怪癖以及由此产生的越狱行为,是因为拼写错误迫使模型花费更多的层来*情境化*噪声输入,从而可能绕过安全机制——这一点得到了研究的支持,研究表明拒绝是由嵌入空间中的特定方向介导的。
此外,注意力机制提供*局部*情境化,而前馈层通过将嵌入与整个训练数据分布关联起来,提供*全局*情境化。这个模型也为多词预测和多跳推理提供了见解,表明模型会逐步情境化词,首先识别实体,然后利用关于实体的知识。最终,作者认为 Transformer 的力量在于其通过分层情境化不断提炼和丰富词义的能力。