套件概覽
一個輕量級的本機推理引擎，適用於FlutterGemma，使用Dart:ffi，支援五個原生平台與Web。透過可選的提供者整合，利用LiteRT C API嵌入後端實現高效能的本機大型語言模型推理。專為低延遲、注重隱私的生成式AI應用設計，可直接在裝置上執行，無需依賴雲端服務。此套件簡化了在Android、iOS、Linux、macOS、Windows及Web環境中的部署。
適用情境
- 設備端語言模型推論
- 保護隱私的聊天應用
- 離線AI驅動的應用程式
- 用於大語言模型的邊緣運算
- 輕量級 LLM 移動與桌面端部署
主要特色
- 原生平台支援（5+ 平台）
- 透過 Dart:ffi 實現 Web 相容性
- 選擇性啟用 InferenceEngineProvider
- LiteRT C API 嵌入式後端
- 最小的執行時開銷
- 跨平台一致性
適合對象
- 開發離線大型語言模型應用的開發者
- 需要資料隱私的應用程式
- 行動與桌面AI原型
- 資源有限的邊緣AI專案
- 使用 Flutter 進行生成式 AI 的團隊
使用建議
- 需要原生程式碼編譯
- 僅限與 LiteRT 相容的模型
- Web 支援取決於 WASM 的可用性
- 效能因裝置硬體而異
- 無內建的模型管理或快取