DeepSeek'in duyurusuna göre, Açık Kaynak Haftası'nın beşinci gününde Fire-Flyer dosya sistemi (3FS) resmen açık kaynaklı hale getirildi. Yüksek performanslı bir paralel dosya sistemi olarak 3FS, yüksek hızlı veri erişimi elde etmek ve AI model eğitimi ve muhakemesinin verimliliğini artırmak için modern SSD'leri ve RDMA ağlarını tam olarak kullanabilir. 3FS temel performans göstergeleri: 180 düğümlü bir kümede toplam 6,6 TiB/s okuma verimi; 25 düğümlü bir GraySort kıyaslamasında 3,66 TiB/dakika verim; Tek düğümlü KVCache sorgu tepe verimi 40+ GiB/s'yi aşıyor. 3FS ayrı bir mimari benimser, veri ön işlemeyi, veri kümesi yüklemeyi, kontrol noktası depolama/kurtarma, gömülü vektör arama ve KVCache sorgusu muhakemesini destekler ve güçlü tutarlılık semantiğine sahiptir. DeepSeek, 3FS veri yönetimi yeteneklerini daha da optimize etmek için aynı anda Smallpond veri işleme çerçevesini başlattı.
Tüm Yorumlar