产品概述
SandKV：面向 AI 推理的 KV Cache 加速存储
杉岩 AI 推理加速存储 SandKV 为推理集群提供全局共享的 KV Cache 存储层，以原生KV接口对接主流推理引擎，承接各节点卸载的 KV Cache 并跨节点复用，以存代算，扩展上下文容量，减少历史上下文的重复 Prefill 计算，提升Token生产力。
产品特性
以存代算，释放推理集群算力
原生 KV 接口｜RDMA 高速访问，读写时延更低
•推理缓存按 KV 块直接存取，免除文件协议转换开销；
•推理节点经 RDMA 高速网络访问，降低 KV Cache 加载时延。
全局复用｜KV Cache 全局共享，减少重复计算
•全局分布式架构，KV Cache 跨节点共享，提升缓存命中率；
•已计算的 KV Cache 持久保存，后续请求直接加载，免除重复 Prefill 计算。
弹性扩展｜NVMe 资源统一池化，部署方式灵活
•融合部署：池化 GPU 服务器本地 NVMe SSD，复用现有硬件资源；
•独立部署：存储与算力解耦，容量与性能随集群规模扩展。
生态集成｜适配主流推理框架，业务平滑接入
•适配 vLLM、SGLang 等主流推理引擎，降低引入门槛；
•通过主流开源 KV Cache 插件对接，沿用现有推理部署方式。
