插件概览
Flutter_Gemma 是一个 Flutter 插件，可在 Android、iOS、Web 和桌面平台上本地运行 Gemma 及其他大型语言模型（LLMs）。它支持高级功能，如多模态输入（视觉和音频）、函数调用、思维模式、GPU 加速、文本嵌入以及设备端检索增强生成（RAG）。专为注重隐私的应用程序设计，可在设备上完全离线运行模型，无需依赖云服务。非常适合需要实时、安全且离线运行能力的 AI 应用开发。
适合场景
- 离线AI聊天应用
- 注重隐私的内容生成
- 多模态图像和音频处理
- 设备端RAG系统
- 应用中的实时函数调用
- 本地 LLM 推理用于移动和桌面
主要特点
- 在所有平台上本地运行大语言模型
- 支持视觉和音频多模态输入
- GPU 加速以提升性能
- 函数调用和思维模式
- 文本嵌入和设备端RAG
- 安全、保护隐私的推理
适合对象
- 开发私有 AI 应用的开发者
- 需要离线大语言模型功能的团队
- 需要低延迟推理的应用程序
- 专注于数据隐私的项目
- 跨平台人工智能解决方案
使用建议
- 大型模型的内存使用量过高
- 需要兼容的硬件以获得最佳性能
- 模型大小影响应用包大小
- 仅限支持的模型架构
- 初始设置可能需要特定于平台的配置