LiteRT-LM (.litertlm) 是用於 flutter_gemma 的裝置端推論引擎,透過 dart:ffi(5 個原生平台)+ web 實作。可選擇性使用 InferenceEngineProvider。同時提供 LiteRT C API 嵌入式後端(LiteRtEmbeddi [...]
一個輕量級的本機推理引擎,適用於FlutterGemma,使用Dart:ffi,支援五個原生平台與Web。透過可選的提供者整合,利用LiteRT C API嵌入後端實現高效能的本機大型語言模型推理。專為低延遲、注重隱私的生成式AI應用設計,可直接在裝置上執行,無需依賴雲端服務。此套件簡化了在Android、iOS、Linux、macOS、Windows及Web環境中的部署。
適用情境
設備端語言模型推論
保護隱私的聊天應用
離線AI驅動的應用程式
用於大語言模型的邊緣運算
輕量級 LLM 移動與桌面端部署
主要特色
原生平台支援(5+ 平台)
透過 Dart:ffi 實現 Web 相容性
選擇性啟用 InferenceEngineProvider
LiteRT C API 嵌入式後端
最小的執行時開銷
跨平台一致性
適合對象
開發離線大型語言模型應用的開發者
需要資料隱私的應用程式
行動與桌面AI原型
資源有限的邊緣AI專案
使用 Flutter 進行生成式 AI 的團隊
使用建議
需要原生程式碼編譯
僅限與 LiteRT 相容的模型
Web 支援取決於 WASM 的可用性
效能因裝置硬體而異
無內建的模型管理或快取
原始 README
以下為關聯原始碼儲存庫的 README 原文快照,最新內容請造訪原始碼儲存庫。
Flutter Edge AI
On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any
model a registered engine runs, or the model the operating system already ships,
with text, vision, audio, function calling, embeddings, RAG and speech. No
server, no cloud.
The core package is small: it installs models and hands them to engines. Every
runtime, store and feature is a separate opt-in package, so an app ships only
what it uses. Start with the core README
or Getting started.