开源 Dicer:Databricks 的自动分片器
Open sourcing Dicer: Databricks's auto-sharder

原始链接: https://www.databricks.com/blog/open-sourcing-dicer-databricks-auto-sharder

该网站正在使用安全服务来保护自身免受在线攻击。您刚才的操作触发了安全解决方案。 提交特定词语或短语、SQL命令或格式错误的数据等行为可能会触发此阻止。

Databricks 开源了“Dicer”,一种“自动分片器”,旨在管理大规模服务的内存状态。与传统数据分片不同,Dicer 专注于分配服务的*状态*,而不是它们处理的数据,以提高成本效益、延迟和吞吐量。 该系统利用应用 Pod 中的“Slicelet”库来接收并响应来自 Dicer 服务的分配更新。一位评论员指出,对于关键组件,更倾向于定期数据拉取而不是基于通知的更新,以避免潜在的故障。 Dicer 与 Google 的“Slicer”(由同一 Databricks 工程师开发)在概念上相似,但在架构和实现上存在显著差异。用例包括分片 Unity Catalog 的元数据、查询编排引擎和分布式远程缓存——所有这些都是 Databricks 平台内的关键组件。它特别适用于处理动态热点,并旨在通过 sidecar 部署实现最终一致性。
相关文章

原文

This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

联系我们 contact @ memedata.com