Kolibri——技术报告 [pdf]
Kolibri – Tech Report [pdf]

原始链接: https://aleph-alpha.com/downloads/tech-report.pdf

(内容为无法直接翻译的 PDF 二进制数据。)

Hacker News 的一篇帖子分享了 Aleph Alpha 的 Kolibri 技术报告。Kolibri 是一种英德双语混合专家 Transformer,总参数量为 78.1B,每个 token 激活 3.46B 参数,并依据 Apache 2.0 许可证发布。它专为满足主权要求的专用部署而设计,尤其适用于德语场景以及公共行政、工业和航空航天等受监管领域,并支持对数据、架构、训练基础设施、后训练和评估进行控制。 该帖子最初被标记为此前一篇 Kolibri 讨论的重复内容。提交者认为,这份 PDF 对模型训练和基础设施提供了独特且全面的说明。版主解释说,判断是否为重复内容,取决于该提交能否引发实质上不同的讨论,而不是取决于 URL 是否不同。随后,版主合并了这两个讨论,并将该报告添加到了原讨论中。
相关文章

原文
%PDF-1.5 % 6574 0 obj << /Linearized 1 /L 3465511 /H [ 5972 2091 ] /O 6578 /E 106238 /N 189 /T 3425783 >> endobj 6575 0 obj << /Type /XRef /Length 184 /Filter /FlateDecode /DecodeParms << /Columns 5 /Predictor 12 >> /W [ 1 3 1 ] /Index [ 6574 756 ] /Info 959 0 R /Root 6576 0 R /Size 7330 /Prev 3425784 /ID [<2ad815111a55b40b47bc75e2190c6ea3><854f8214ef04633e35e773a0bcb2bd11>] >> stream xԿ as^OHHYM\+LnO,F(n(ey.@z;˯Stq*R'"'Xy@lLS{X_R t-j3}vLj/w0S{O3ݕfx^! endstream endobj 6576 0 obj << /Names 7329 0 R /OpenAction 7131 0 R /Outlines 6806 0 R /PageMode /UseOutlines /Pages 6805 0 R /Type /Catalog >> endobj 6577 0 obj << /Filter /FlateDecode /S 4258 /O 4541 /Length 1999 >> stream xX{PSW?!b,"1GCA$I`C5QbQ t:vg6vNۉ:c;NV۝q7-.;밂cuw;snn=7Pߙ^ $Cq@!
联系我们 contact @ memedata.com