Zhangzhe's Blog

The projection of my life.

0%

2025.02 DeepSeek 开源周第五弹 —— 3FS

URL

TL;DR

  • 3FS (Fire-Flyer File System) 是一个高性能的分布式文件系统,旨在提供低延迟和高吞吐量的存储解决方案,利用现代 SSDRDMA 网络带全宽的并行文件系统,解决 AI 训练和推理存储问题

Algorithm

效果

  • 集群高吞吐:在 180 节点集群中,3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量
  • 基准测试优异:在 25 节点集群的 GraySort 基准测试中,3FS 达到了 3.66 TiB /min 的吞吐量
  • 单节点高性能:每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s
  • 架构先进3FS 采用去中心化架构,并具备强一致性语义

系统介绍

Thoughts

  • 这种底层架构一般只有大厂可以做,deepseek 有点东西