取消
加载中...
DeepSeek开源第五弹:3FS并行文件系统
Feng 2025-02-28 09:25

三言科技 2月28日消息,DeepSeek推出开源周第5弹:优化的并行策略。3FS、用于所有DeepSeek数据访问的推进器。


Fire-Flyer 文件系统 (3FS) 是一种利用现代 SSD 和 RDMA 网络的全部带宽的并行文件系统。


性能包括:


 180 节点集群中的聚合读取吞吐量为 6.6 TiB/s


25 节点集群中 GraySort 基准测试的吞吐量为 3.66 TiB/分钟


每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s


具有强一致性语义的分解架构


在 V3/R1 中进行训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索和 KVCache 查找以进行推理。



微信图片_2025-02-28_091013_834.png

Feng
文章总数
7226