运行时
Capsule
专为速度、效率和隐私设计的本地推理引擎 — 直接在您的硬件上运行 AI 模型，零网络遥测。
本地优先执行
在 CPU、GPU 或 NPU 后端上原生运行 GGUF、ONNX 和 CoreML 模型。
零拷贝内存模型
运行时与模型层之间的共享内存缓冲区消除了冗余分配。
流式与批处理
支持 token 流式生成和自适应批处理，以优化吞吐量。
Capsule
GPU
CPU
NPU
RAM
127 tok/s·0.0ms network
关于 Capsule
Capsule 是 Naviorx 生态系统的核心运行时引擎。它在您的硬件上本地执行 AI 模型 — 无云、无 API 密钥、无延迟。Capsule 专为生产级推理设计，支持多种模型格式（GGUF、ONNX、CoreML），并自动为您的硬件选择最优后端（CPU、GPU 或 NPU）。零拷贝内存架构消除了模型层之间的冗余分配，提供可与云端方案媲美的吞吐量 — 完全在您的设备上实现。
功能特性
- 多后端推理（CPU、GPU 通过 Metal/CUDA/Vulkan、NPU）
- 支持 GGUF、ONNX 和 CoreML 格式
- 可配置分块大小的 token 流式生成
- 自适应批处理以优化吞吐量
- 零拷贝内存架构
- CLI 和编程 API 接口
系统要求
操作系统支持
Windows, macOS
版本
0.1.0