套件概覽
Flutter_Gemma 是一個 Flutter 插件，可在 Android、iOS、Web 和桌面平台本地執行 Gemma 及其他大型語言模型（LLMs）。它支援進階功能，如多模態輸入（視覺與音訊）、函數呼叫、思考模式、GPU 加速、文字嵌入以及設備端檢索增強生成（RAG）。專為注重隱私的應用設計，可在設備上完全離線運行模型，無需依賴雲端服務。非常適合開發需要即時、安全且離線功能的 AI 應用。
適用情境
- 離線AI聊天應用
- 注重隱私的內容生成
- 多模態圖像和音頻處理
- 設備端RAG系統
- 應用中的即時函數呼叫
- 本地 LLM 推理用於移動和桌面
主要特色
- 在所有平台本地運行大語言模型
- 支援視覺和音頻多模態輸入
- GPU 加速以提升效能
- 函數呼叫與思考模式
- 文本嵌入和設備端RAG
- 安全、保護隱私的推論
適合對象
- 開發私人 AI 應用的開發者
- 需要離線大語言模型功能的團隊
- 需要低延遲推理的應用程式
- 專注於資料隱私的專案
- 跨平台人工智慧解決方案
使用建議
- 大型模型的記憶體使用量過高
- 需要相容的硬體以獲得最佳效能
- 模型大小影響應用程式封裝大小
- 僅限支援的模型架構
- 初始設定可能需要平台特定的設定