插件概览
一个轻量级的本地推理引擎，用于FlutterGemma，基于Dart:ffi，支持五个原生平台和Web。通过可选的提供者集成，利用LiteRT C API嵌入后端实现高效的本地大语言模型推理。专为低延迟、注重隐私的生成式AI应用设计，可在设备上直接运行，无需依赖云服务。该包简化了在Android、iOS、Linux、macOS、Windows和Web环境中的部署。
适合场景
- 设备端语言模型推理
- 保护隐私的聊天应用
- 离线AI驱动的应用程序
- 用于大语言模型的边缘计算
- 轻量级 LLM 移动端和桌面端部署
主要特点
- 原生平台支持（5+ 平台）
- 通过 Dart:ffi 实现 Web 兼容性
- 选择性启用 InferenceEngineProvider
- LiteRT C API 嵌入式后端
- 最小的运行时开销
- 跨平台一致性
适合对象
- 开发离线大语言模型应用的开发者
- 需要数据隐私的应用程序
- 移动和桌面AI原型
- 资源有限的边缘AI项目
- 使用 Flutter 进行生成式 AI 的团队
使用建议
- 需要原生代码编译
- 仅限与 LiteRT 兼容的模型
- Web 支持依赖于 WASM 的可用性
- 性能因设备硬件而异
- 无内置的模型管理或缓存