すべての更新
Capsule v0.3.0
Capsule v0.3.0
改善点
- マルチバックエンド推論対応 — CPU、GPU（Metal/CUDA/Vulkan）、NPU の自動バックエンド選択
- 設定可能なチャンクサイズでのストリーミングトークン生成
- ランタイムとモデルレイヤー間の共有バッファによるゼロコピーメモリモデル
- GGUF、ONNX、CoreML 形式サポートの拡張
パフォーマンス改善
- ゼロコピーメモリアーキテクチャにより GPU バックエンドでの推論スループットが 32% 向上
- 最適化された重みマッピングによりモデル読み込み時間を 45% 短縮
バグ修正
- 大きすぎるコンテキストウィンドウによる GGUF 読み込みクラッシュ問題を修正
- Metal バックエンドのスレッド同期の競合状態を修正
💙 コントリビューターに感謝
- @user123 — GGUF 読み込みクラッシュ問題の報告
- @ml-researcher — Snapdragon X Elite での NPU バックエンドのテスト