ランタイム
Capsule
速度、効率、プライバシーのために設計されたローカル推論エンジン — ネットワークテレメトリなしで、あなたのハードウェア上で直接 AI モデルを実行します。
ローカルファースト実行
CPU、GPU、NPU バックエンドで GGUF、ONNX、CoreML モデルをネイティブ実行します。
ゼロコピーメモリモデル
ランタイムとモデルレイヤー間の共有メモリバッファが冗長な割り当てを排除します。
ストリーミングとバッチ処理
スループット最適化生成のための適応バッチ処理付きトークンストリーミング。
Capsule
GPU
CPU
NPU
RAM
127 tok/s·0.0ms network
概要 Capsule
Capsule は Naviorx エコシステムの中核ランタイムエンジンです。AI モデルをあなたのハードウェア上でローカルに実行します — クラウド不要、API キー不要、レイテンシ不要。プロダクショングレードの推論向けに設計された Capsule は、複数のモデル形式(GGUF、ONNX、CoreML)をサポートし、ハードウェア(CPU、GPU、NPU)に最適なバックエンドを自動選択します。ゼロコピーメモリアーキテクチャはモデルレイヤー間の冗長な割り当てを排除し、クラウドホストソリューションに匹敵するスループットを — 完全にあなたのデバイス上で実現します。
機能
- マルチバックエンド推論(CPU、GPU(Metal/CUDA/Vulkan)、NPU)
- GGUF、ONNX、CoreML 形式対応
- 設定可能なチャンクサイズでのトークンストリーミング
- スループット最適化のための適応バッチ処理
- ゼロコピーメモリアーキテクチャ
- CLI およびプログラム API インターフェース
システム要件
OS 対応
Windows, macOS
バージョン
0.1.0