URL
TL;DR
3FS (Fire-Flyer File System)是一个高性能的分布式文件系统,旨在提供低延迟和高吞吐量的存储解决方案,利用现代SSD和RDMA网络带全宽的并行文件系统,解决AI训练和推理存储问题
Algorithm
效果
- 集群高吞吐:在
180节点集群中,3FS实现了高达6.6 TiB/s的聚合读取吞吐量 - 基准测试优异:在
25节点集群的GraySort基准测试中,3FS达到了3.66 TiB /min的吞吐量 - 单节点高性能:每个客户端节点的
KVCache查找峰值吞吐量超过40 GiB/s - 架构先进:
3FS采用去中心化架构,并具备强一致性语义
系统介绍
- 还是看大佬讲吧,传送门
Thoughts
- 这种底层架构一般只有大厂可以做,
deepseek有点东西