湖仓系统 和 AI 训推
透明加速存储底座

KyteStore ecosystem: lakehouse systems use S3 access, AI systems use POSIX access, and both share a unified ChunkServer with object storage backing
架构

统一 ChunkServer 底座，支撑对象与文件访问

KyteStore architecture: clients enter through S3, POSIX, or future HDFS gateways, then use DataServer, S3 Subsystem, FS Subsystem, Chunk Server, MetaServer, FoundationDB, local SSD, and S3/COS/OSS
功能对比

KyteStore 与主流存储系统对比

KyteStore 适用于以下业务场景：

  • 写延迟敏感，希望数据写入后即安全。
  • 成本敏感，希望本地 SSD 能和远端 S3 数据进行灵活同步。
  • 扩展性敏感，希望性能能够近线性扩展。
Feature KyteStore Alluxio JuiceFS Ceph MinIO SeaweedFS
产品定位 透明加速底座 数据缓存层 POSIX 文件系统 分布式主存储 S3 主存储 对象+文件存储
读加速 本地 SSD 缓存 支持 客户端缓存 非加速层 非加速层 部分支持
写加速 写缓存，多副本 写缓存，无 HA 写缓存，无 HA 不支持 不支持 不支持
S3 协议 支持 支持 支持 支持 支持 支持
POSIX 协议 完全兼容 基本兼容 完全兼容 完全兼容 不兼容 基本兼容
HDFS 协议 正在开发 支持 支持 不支持 不支持 支持
远端 S3 后端 支持 支持 UFS 支持 非主要模式 非主要模式 云备份/分层
可靠性模型 多副本 可配置多副本 无本地 HA 多副本/EC EC EC/多副本
性能指标

实测性能数据

对象加速性能

基础吞吐
操作 并发数 QPS 吞吐量 平均延迟 P50/P90/P99
GET (64KB) 128 25,121 1570.07 MiB/s 3.0 ms 1.7 / 6.0 / 10.0 ms
PUT (64KB) 128 17,195 1447.8 MiB/s 4.9 ms 2.4 / 10.2 / 15.6 ms
基础延迟
操作 平均延迟 P50 P90 P99 对象速率
PUT 64KiB 1.00 ms 0.90 ms 1.30 ms 1.70 ms 986.45 obj/s
GET 64KiB range 0.50 ms 0.50 ms 0.70 ms 1.00 ms 1920.67 obj/s
HEAD 0.30 ms 0.30 ms 0.50 ms 0.60 ms 43979.64 obj/s
LIST 68.70 ms 68.40 ms 72.20 ms 82.30 ms 146256.01 obj/s
TPCDS 测试
方案 总数据量 算子并行数 Query 数量 总耗时 单 Query 平均耗时 最慢 Query 最慢 Query 耗时
S3 直连 1 GiB 32 99 43.99 s 187.28 ms Q64 477.29 ms
KyteStore 加速 1 GiB 32 99 19.04 s 89.54 ms Q67 314.67 ms

文件加速性能

DataServer 和 Client 单个节点是 8 CPU Core 和 16G DRAM。CWF 指 Create-Write-Finish，即完成 4KB 小文件的创建、写入和 Finish。

Op Topo QPS AVG US P99 US
4KB Create 1DS/1Replica 242,927 16,460 30,255
4KB Create 3DS/3Replica 568,390 7,031 15,072
4KB CWF 1DS/1Replica 90,745 129,769 191,461
4KB CWF 3DS/3Replica 196,981 60,439 93,121
联系我们

开始使用KyteStore

希望进一步了解KyteStore？欢迎联系我们，进行技术交流、商务合作或获取支持。

service@kytestore.com