套件概覽
一個 Flutter 套件，支援離線優先的 AI 應用，具備本機駐留的大語言模型推論、本地 RAG（檢索增強生成）與自主代理功能。它提供符合 Material 3 標準的聊天介面，實現無縫的使用者互動體驗。專為注重隱私、低延遲的 AI 使用情境設計，無需網路連接即可運行。此框架支援 Android、iOS 與 Windows 平台，非常適合安全的裝置端 AI 工作流程。
適用情境
- 離線AI助手
- 私有文件查詢
- 設備端代理自動化
- 安全的企业聊天應用
- 低延遲AI互動
主要特色
- 本地大模型推理
- 本地RAG實現
- 自主代理邏輯
- Material 3 聊天 UI
- 跨平台支援
適合對象
- 隱私敏感的應用程式
- 離線可用的AI工具
- 設備端推理系統
- 行動和桌面AI客戶端
- 尋求本地 LLM 集成的開發者
使用建議
- 設備資源使用率過高
- 需要大型模型文件
- 僅限支援的平台
- 模型優化需要
- 初始加載期間的潛在延遲