URL
TL;DR
3FS (Fire-Flyer File System)
是一个高性能的分布式文件系统,旨在提供低延迟和高吞吐量的存储解决方案,利用现代SSD
和RDMA
网络带全宽的并行文件系统,解决AI
训练和推理存储问题
Algorithm
效果
- 集群高吞吐:在
180
节点集群中,3FS
实现了高达6.6 TiB/s
的聚合读取吞吐量 - 基准测试优异:在
25
节点集群的GraySort
基准测试中,3FS
达到了3.66 TiB /min
的吞吐量 - 单节点高性能:每个客户端节点的
KVCache
查找峰值吞吐量超过40 GiB/s
- 架构先进:
3FS
采用去中心化架构,并具备强一致性语义
系统介绍
- 还是看大佬讲吧,传送门
Thoughts
- 这种底层架构一般只有大厂可以做,
deepseek
有点东西