一个 Flutter 包，支持离线优先的 AI 应用，具备本地驻留的大语言模型推理、本地 RAG（检索增强生成）和自主代理功能。它提供符合 Material 3 标准的聊天界面，实现无缝的用户交互体验。专为注重隐私、低延迟的 AI 使用场景设计，无需互联网连接即可运行。该框架支持 Android、iOS 和 Windows 平台，非常适合安全的设备端 AI 工作流。
适合场景
- 离线AI助手
- 私有文档查询
- 设备端代理自动化
- 安全的企业聊天应用
- 低延迟AI交互
主要特点
- 本地大模型推理
- 本地RAG实现
- 自主代理逻辑
- Material 3 聊天 UI
- 跨平台支持
适合对象
- 隐私敏感的应用程序
- 离线可用的AI工具
- 设备端推理系统
- 移动和桌面AI客户端
- 寻求本地 LLM 集成的开发者
使用建议
- 设备资源使用率过高
- 需要大型模型文件
- 仅限支持的平台
- 模型优化需要
- 初始加载期间的潜在延迟