概要
FlutterGemma用の軽量でデバイス内推論エンジン。Dart:ffiを活用し、5つのネイティブプラットフォームとWebをサポート。オプションのプロバイダ統合により、LiteRT C API埋め込みバックエンドを通じて効率的なローカルLLM推論を実現。クラウドサービスに依存せずに、低遅延かつプライバシー重視の生成型AIアプリケーションをデバイス上で直接実行するための設計。Android、iOS、Linux、macOS、Windows、Web環境における展開を簡素化。
用途
- デバイス内での言語モデル推論
- プライバシーを守るチャットアプリケーション
- オフラインAI対応アプリ
- LLM向けエッジコンピューティング
- モバイルおよびデスクトップでの軽量な LLM デプロイ
主な機能
- ネイティブプラットフォーム対応（5+ プラットフォーム）
- Dart:ffi を通じた Web 互換性
- オプトイン InferenceEngineProvider
- LiteRT C API エンベッドバックエンド
- 最小の実行時オーバーヘッド
- クロスプラットフォームの一貫性
適している対象
- オフラインLLMアプリを開発する開発者
- データプライバシーを必要とするアプリ
- モバイルおよびデスクトップAIプロトタイプ
- リソースが限られたエッジAIプロジェクト
- 生成型AIにFlutterを使用するチーム
注意事項
- ネイティブコードのコンパイルが必要です
- LiteRT と互換性のあるモデルに限定
- WebサポートはWASMの利用可能性に依存します
- パフォーマンスはデバイスのハードウェアによって異なります
- 組み込みのモデル管理またはキャッシュなし