LiteRT-LM (.litertlm) 是用于 flutter_gemma 的本地推理引擎,通过 dart:ffi(5 个原生平台)+ web 实现。可选择性地使用 InferenceEngineProvider。同时提供 LiteRT C API 嵌入式后端(LiteRtEmbeddi [...]
一个轻量级的本地推理引擎,用于FlutterGemma,基于Dart:ffi,支持五个原生平台和Web。通过可选的提供者集成,利用LiteRT C API嵌入后端实现高效的本地大语言模型推理。专为低延迟、注重隐私的生成式AI应用设计,可在设备上直接运行,无需依赖云服务。该包简化了在Android、iOS、Linux、macOS、Windows和Web环境中的部署。
适合场景
设备端语言模型推理
保护隐私的聊天应用
离线AI驱动的应用程序
用于大语言模型的边缘计算
轻量级 LLM 移动端和桌面端部署
主要特点
原生平台支持(5+ 平台)
通过 Dart:ffi 实现 Web 兼容性
选择性启用 InferenceEngineProvider
LiteRT C API 嵌入式后端
最小的运行时开销
跨平台一致性
适合对象
开发离线大语言模型应用的开发者
需要数据隐私的应用程序
移动和桌面AI原型
资源有限的边缘AI项目
使用 Flutter 进行生成式 AI 的团队
使用建议
需要原生代码编译
仅限与 LiteRT 兼容的模型
Web 支持依赖于 WASM 的可用性
性能因设备硬件而异
无内置的模型管理或缓存
原始 README
以下为关联源码仓库的 README 原文快照,最新内容请访问源码仓库。
Flutter Edge AI
On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any
model a registered engine runs, or the model the operating system already ships,
with text, vision, audio, function calling, embeddings, RAG and speech. No
server, no cloud.
The core package is small: it installs models and hands them to engines. Every
runtime, store and feature is a separate opt-in package, so an app ships only
what it uses. Start with the core README
or Getting started.