本项目展示了个人进行高性能大语言模型(LLM)训练已成为可能。作者通过采用严格的软件工程方法(特别是配置驱动框架),以低于 1000 美元的成本训练了一个 38 亿参数的模型,其性能显著超越了 OpenAI 2019 年的 GPT-2(15 亿参数)。
**关键技术要点:**
* **优化:** 模型采用了 FP8 训练、词表填充和融合交叉熵(fused cross-entropy)来最大化吞吐量。切换为“梯形”学习率调度策略,避免了训练后期出现的性能停滞。
* **Muon 优化器:** 在矩阵参数上使用 Muon 优化器表现优于传统的 AdamW,尽管增加了计算成本,但加速了收敛。
* **基础设施:** 将训练过程视为“三行 YAML 差异(diff)”而非手动修改代码,从而实现了快速实验与调试。
* **值嵌入(Value Embeddings):** 增加查找表带来了明显的性能提升,且对训练吞吐量的影响微乎其微。
* **经验总结:** 当使用个人资金时,吞吐量至关重要;如使用 `bf16` 主权重或积极管理批量大小等简单调整,极大地延长了预算的使用寿命。
本项目证实,现代硬件和优化技术已将 LLM 研究的“前沿”从大型实验室带到了个人工程师手中,证明了小规模、有条理的训练也能产生令人惊叹的强大成果。
由于乌克兰和伊朗冲突带来的地缘政治持续不确定性,石油交易商正越来越多地避开长期期货,转而青睐短期头寸。摩根士丹利的布伦丹·罗斯(Brendan Ross)表示,这种转变反映了交易商为降低风险并避免暴露于不可预测的市场波动之中,从而导致长期合约的流动性下降。
与此同时,投机者对汽油和柴油等成品油持强烈的看涨态度。对冲基金已转为净多头头寸,押注燃料市场将出现供应紧张,因为全球产能难以弥补来自俄罗斯和中东的潜在供应中断。由于美国的这些燃料库存已处于低位,分析师预计这种看涨情绪将持续下去,因为市场目前尚无法轻易弥补损失的产量。
英矽智能(Insilico Medicine)利用人工智能设计的药物 **rentosertib**,在针对特发性肺纤维化(IPF)和生物衰老方面展现出良好的潜力。该药物最初旨在治疗肺部纤维化,其作用机制是通过抑制与纤维化及衰老相关的 TNIK 酶。
在一项涉及 42 名受试者的 IIa 期临床试验中,研究人员对患者的血样应用了六种不同的“衰老时钟”。结果显示,与安慰剂组相比,所有六种模型均检测到受试者的生物学年龄有所下降。此外,患者的肺功能(通过用力肺活量 FVC 衡量)也得到了显著改善。
虽然该研究尚未明确证明 rentosertib 能延长人类寿命,但结果表明,人工智能可以有效识别治疗靶点,并设计出针对衰老标志物的分子。目前,该药物已进入涉及 320 名患者的 III 期临床试验,以进一步评估其治疗 IPF 的安全性和有效性。如果获得成功,rentosertib 将成为人工智能驱动药物研发的一个里程碑,验证了一种通过同时靶向特定疾病和潜在衰老生物标志物来治疗年龄相关疾病的新方法。
NextEra Energy 已获得美国能源部 19 亿美元的贷款,用于重启位于爱荷华州、装机容量为 615 兆瓦的杜安·阿诺德(Duane Arnold)核电站。该设施因 2020 年的强风暴受损而关闭,预计将在与谷歌签订为期 25 年的购电协议(PPA)后,于 2029 年恢复运营。
这一举措是超大规模科技公司为满足数据中心巨大电力需求而寻求核能这一广泛趋势的一部分。微软(三哩岛核电站)、Meta(克林顿清洁能源中心)和亚马逊云科技(Susquehanna 核电站)近期也达成了类似的协议。
美国能源部的这笔投资是同类核电重启项目中的第三笔,反映了联邦政府振兴美国核电储备的意图。通过修复杜安·阿诺德核电站,政府旨在降低电力成本、创造就业机会,并提供可靠的基荷电力,以支持国家日益增长的再工业化进程和能源需求。
MSC工业公司高管玛蒂娜·麦克伊萨克(Martina McIsaac)警告称,严重的钨供应短缺正持续推高北美工业工具的成本。受中国出口限制及其近乎垄断的生产地位(去年占全球产量的79%)影响,钨基原材料的价格已飙升了高达500%。
尽管钨价已开始企稳,但由于制造商仍在传导滞后的成本上涨,供应链中的“涟漪效应”依然存在。MSC预计价格上涨将持续至2026年初。这场危机凸显了西方制造业和国防供应链的关键脆弱性:中国自2025年2月起实施的出口许可要求导致全球供应量大幅下降,并引发了恐慌性囤货。
这种情况已促使西方各国竞相寻求非中国产的钨源。分析人士强调,随着各行业努力推动供应链与中国“脱钩”,那些能够向市场提供替代供应的企业(例如正在提高产量的韩国相关企业)将获得显著的竞争优势。
一个联邦上诉小组似乎倾向于支持华盛顿特区的《清洁建筑法案》。该法案要求到2027年新建建筑必须达到零能耗标准,这实际上禁止了大多数天然气设备的使用。
这场法律斗争的核心是《能源政策与节能法》(EPCA),该法案授权能源部对设备能效进行监管。包括住宅建筑商和餐饮协会在内的行业团体认为,华盛顿特区的建筑规范是一种绕过联邦权力的变相手段。他们主张,如果联邦政府已经对这些设备进行了监管,地方司法管辖区就无权将其禁止。
此案凸显了联邦法院之间日益加剧的分歧。第九巡回法院此前曾否决了加利福尼亚州伯克利市的一项类似禁令,裁定地方政府不得通过限制燃料来源的方式来规避联邦设备标准。相反,第二巡回法院最近支持了纽约类似的限制措施,裁定EPCA并未阻止各州全面禁止特定设备。
由于华盛顿特区巡回法院对挑战者持怀疑态度,天然气行业正面临着碎片化的监管环境。最终裁决将决定华盛顿特区的2027年标准能否维持,以及第九巡回法院的先例在关于能源政策中地方与联邦权力之争的辩论中,是否会继续成为一个特例。
高盛位于达拉斯的新园区占地80万平方英尺,目前已接近一个重要里程碑:大楼外观即将完工,内部装修工程即将启动。这个耗资5亿美元的项目计划于2028年1月开放,届时将把该公司在当地的员工整合至其全球最大的办公空间,规模甚至超过了曼哈顿的总部。该基地设计可容纳超过5000名员工,反映了高盛在北得克萨斯州扩张的战略重心。
高盛的投资凸显了一个更广泛的趋势,即大型金融机构正纷纷迁往得克萨斯州,以利用该地区充满活力的经济优势。其他行业巨头也紧随其后:摩根士丹利计划在2031年前在达拉斯建立一个耗资5.87亿美元的枢纽,而阿波罗全球管理公司等机构则在奥斯汀进行扩张。此外,随着得克萨斯证券交易所的筹建,该州的金融基础设施也得到进一步加强。在纽约等传统金融中心员工增长停滞之际,得克萨斯州已成为金融企业寻求长期增长与创新的首选目的地。
华盛顿大学计算机科学教授斯图尔特·雷格斯(Stuart Reges)在经历了一场漫长的宪法第一修正案法律诉讼后,与校方达成了一项 60 万美元的和解协议。冲突始于雷格斯拒绝在他的教学大纲中加入校方推荐的“原住民土地致谢词”,转而发表了一份异议声明,引用约翰·洛克的劳动财产理论,质疑海岸萨利希人(Coast Salish)对该土地的历史主张。
作为回应,校方称其声明具有“冒犯性”,将其从教学大纲中删除,并向他的学生发送电子邮件,就其观点表示道歉,同时提供了投诉指南。校方还进一步设立了一个“影子”课程班,以便学生避开他的讲座。
雷格斯提起诉讼,指控校方存在观点歧视和报复行为。第九巡回上诉法院最终裁定其胜诉,认定大学管理人员侵犯了他的言论自由权。尽管该和解协议结束了诉讼,并保护雷格斯免受进一步报复,但作者指出,没有任何管理人员因公共资金的巨额支出或对学术自由的压制而承担个人责任。该案件是对高等教育中盛行的意识形态正统文化的一次显著但孤立的挑战。
在这个项目中,“LabGuy”旨在利用 Eric Schlaepfer 设计的“Tiny TV Mark 2”光栅化板和高压驱动电路,在各种古老的静电式阴极射线管(CRT)上显示视频。
该项目凸显了将低压视频信号转换为驱动 CRT 偏转板和阳极所需的数千伏高压这一技术挑战。在整个过程中,LabGuy 尝试了多种老式显像管,包括 3JP7 雷达管、1EP1、3UP1 以及 1937 年产的史诗级 RCA 913,并探索了它们独特的荧光粉特性和接线要求。
该项目面临了诸多障碍,包括驱动组件损坏以及在调试过程中丢失了主要的示波器。为了克服这些问题,LabGuy 设计了自己的高压差分偏转放大器,从而实现了对不同类型显像管更好的信号控制和灵活性。尽管处理高压电路和老旧硬件存在固有复杂性,但该项目成功证明了这些已有近 80 年历史的古董 CRT 仍可用于矢量图形和视频显示。该项目是对老式 CRT 技术、荧光粉余晖以及模拟电子设计复杂性的一次深入研究。
美国一家上诉法院一致裁定,美国国税局(IRS)不得与美国移民及海关执法局(ICE)共享非法移民的地址。法院维持了地方法院的判决,认为国税局的数据共享政策违反了美国税法第6103条,该条款对纳税人信息的披露有着严格的规定。
法院驳回了政府的辩解,指出该数据共享协议未能达到法律标准。具体而言,法律要求请求方机构必须明确纳税人身份,并提供具体刑事调查的详细信息。合议庭发现,ICE的做法——包括将同一人列为超过128万份请求的联系人,且未能提供必要细节——无法确保请求数据的官员是“亲自且直接参与”相关调查的。
倡导团体称赞这一裁决是纳税人隐私保护的一项重大胜利。尽管美国国土安全部对该裁决表示不赞同,但声明称,这一裁决不会阻碍他们定位和驱逐持有最终遣返令人员的整体工作。
随着中期选举临近,数据中心的迅速扩张已成为一个充满争议的政治议题。以众议员亚历山大·奥卡西奥-科尔特斯(Alexandria Ocasio-Cortez)和参议员伯尼·桑德斯(Bernie Sanders)为首的进步派议员提议实施全国性暂停令,而特朗普总统和副总统候选人万斯(JD Vance)则主张数据中心是推动经济增长和国家安全的关键动力。
地方层面的抵制浪潮正在高涨,实施暂停令的地区从6月的92个攀升至夏末的374个。受电力成本、电网容量和用水量等问题的困扰,这种被比作以往反天然气运动的基层反对声浪,已导致多个项目严重延误或取消。包括摩根士丹利在内的主要金融分析师警告称,这种不稳定性正威胁到“人工智能交易”及长期基础设施投资。
尽管目前形势紧张,许多分析人士仍认为,这种敌意很大程度上是由选举驱动的,11月后可能会有所缓和。虽然数据中心建设的“无监管时代”即将结束,但专家指出,政府的介入最终可能会为负责任的项目创造一个更稳定的环境。然而,结果仍是一个关键风险因素,因为政治掌控权的重大更迭可能导致限制性政策出台,从而威胁到国内人工智能建设和整体经济增长。
由杰克·多西(Jack Dorsey)领导的支付公司 Block 已向美国货币监理署(OCC)提交申请,计划成立一家受联邦监管的全国性信托银行——“Builders Bank & Trust”。
与传统商业银行不同,该拟议机构将不接受存款也不发放贷款。其业务将专门专注于为比特币和稳定币提供托管及信托服务。Block 希望通过获取这一特许牌照,在扩大其数字资产业务规模的同时,获得统一的全国性监管框架。该银行将由 Block 数字资产战略负责人李·伍利(Lee Woolley)领导,并将借鉴该公司运营其现有工业银行 Square Financial Services 的经验。
Block 的这一举措反映了金融科技和加密货币公司寻求全国性信托牌照以实现业务合法化的行业大趋势。包括瑞波(Ripple)、Circle、BitGo、Kraken 和 ZeroHash 在内的其他公司也纷纷效仿,寻求或已获得此类牌照,以应对不断演变的监管环境。
俄罗斯联邦机构“俄罗斯合作署”新任署长伊戈尔·柴卡(Igor Chaika)在最近一场新闻发布会后,意外成为了网络红人。这位身材魁梧的官员在谈及俄罗斯与亚美尼亚紧张关系时,其照片在社交媒体上引发了一波嘲讽和迷因创作。
网民们将柴卡壮硕的体型与漫威反派“金并”(Kingpin)相提并论,并戏称俄罗斯总统普京恐怕很难将他“扔出窗外”——这暗指了俄罗斯官员在神秘情况下坠楼身亡的严峻现象。
尽管遭到网络嘲笑,但身为前总检察长尤里·柴卡之子的柴卡仍专注于简报内容。他否认了俄亚外交破裂的传言,称两国为“大家庭”,并宣布了在当地扩大俄罗斯文化影响力的计划。互联网对这位商人身材的痴迷是否会持续尚不得而知,一些用户甚至打趣地猜测他可能会转行。
全美 29 个医疗系统已宣布计划在 2026 年前终止与联邦医疗保险优势计划(Medicare Advantage,简称 MA)提供商的合同。包括李氏医疗(Lee Health)和费尔维尤医疗服务(Fairview Health Services)在内的知名机构指出,频繁的预先授权拒绝、付款纠纷以及过重的行政负担是做出这一决定的主要原因。
这些医疗系统认为,激进的拒付手段延误了患者必要的护理。例如,李氏医疗报告称,其与联合健康保险公司(UnitedHealthcare)之间存在超过 1 亿美元的争议或欠付索赔。尽管一些保险公司正针对行业压力做出回应——联合健康保险近期宣布计划取消 1,700 项医疗程序的预先授权要求——但双方关系依然紧张。
与此同时,由于利润率下降,各大 MA 承保商正在缩减业务覆盖范围,这标志着该行业已从快速扩张转向收缩。尽管联邦政府努力提高支付准确性和市场竞争,但该计划仍面临持续的动荡。目前,美国有超过 3,600 万人参加了 MA 计划。医疗提供商与保险公司之间在盈利能力和护理准入方面的矛盾日益加剧,给受益人带来了巨大的不确定性,他们未来几年可能会面临福利减少或医疗网络受限的问题。