パッケージ、リポジトリ、アプリカテゴリを検索

パッケージ詳細v1.8.6

flutter_gemma_litertlm

LiteRT-LM (.litertlm) は、dart:ffi(5つのネイティブプラットフォーム)+webを介してflutter_gemma向けのデバイス内推論エンジンです。オプトイン型のInferenceEngineProviderを提供します。また、LiteRT C API埋め込みバックエンド(LiteRtEmbeddi [...]

AndroidiOSLinuxmacOSWebWindows
30日間ダウンロード
3万
いいね数
0
Pub ポイント
130

パッケージをインストール

flutter pub add flutter_gemma_litertlm

パッケージ概要

公開情報に基づく選定ガイドです。参考としてご利用ください。

FlutterGemma用の軽量でデバイス内推論エンジン。Dart:ffiを活用し、5つのネイティブプラットフォームとWebをサポート。オプションのプロバイダ統合により、LiteRT C API埋め込みバックエンドを通じて効率的なローカルLLM推論を実現。クラウドサービスに依存せずに、低遅延かつプライバシー重視の生成型AIアプリケーションをデバイス上で直接実行するための設計。Android、iOS、Linux、macOS、Windows、Web環境における展開を簡素化。

用途

  • デバイス内での言語モデル推論
  • プライバシーを守るチャットアプリケーション
  • オフラインAI対応アプリ
  • LLM向けエッジコンピューティング
  • モバイルおよびデスクトップでの軽量な LLM デプロイ

主な機能

  • ネイティブプラットフォーム対応(5+ プラットフォーム)
  • Dart:ffi を通じた Web 互換性
  • オプトイン InferenceEngineProvider
  • LiteRT C API エンベッドバックエンド
  • 最小の実行時オーバーヘッド
  • クロスプラットフォームの一貫性

適している対象

  • オフラインLLMアプリを開発する開発者
  • データプライバシーを必要とするアプリ
  • モバイルおよびデスクトップAIプロトタイプ
  • リソースが限られたエッジAIプロジェクト
  • 生成型AIにFlutterを使用するチーム

注意事項

  • ネイティブコードのコンパイルが必要です
  • LiteRT と互換性のあるモデルに限定
  • WebサポートはWASMの利用可能性に依存します
  • パフォーマンスはデバイスのハードウェアによって異なります
  • 組み込みのモデル管理またはキャッシュなし

元の README

関連するソースリポジトリの README 原文のスナップショットです。最新の内容はリポジトリをご覧ください。

Flutter Edge AI

pub package License: MIT

On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any model a registered engine runs, or the model the operating system already ships, with text, vision, audio, function calling, embeddings, RAG and speech. No server, no cloud.

Website · Docs · Models · Codelabs · pub.dev

The core package is small: it installs models and hands them to engines. Every runtime, store and feature is a separate opt-in package, so an app ships only what it uses. Start with the core README or Getting started.

Packages

Package What it does Docs
flutter_edge_ai Core: model installation, the engine registry, sessions and chat. Required by every package except diagnostics and genkit_hybrid. pub.dev · site
Engines
flutter_edge_ai_litertlm LiteRT-LM (.litertlm) through dart:ffi on the five native platforms plus web; CPU, GPU and NPU; the LiteRT embedding backend. pub.dev · site
flutter_edge_ai_mediapipe MediaPipe (.task) on Android, iOS and web. Google's LLM Inference API is maintenance-only; new apps should use .litertlm. pub.dev · site
flutter_edge_ai_llama llama.cpp (.gguf) through llamadart on Android, iOS, macOS, Windows, Linux and web; native LoRA. pub.dev · site
flutter_edge_ai_onnx ONNX Runtime: GenAI inference and embeddings natively, Transformers.js and onnxruntime-web on web. pub.dev · site
flutter_edge_ai_builtin_ai The OS model, nothing to download: Gemini Nano (Android), Apple Foundation Models (iOS, macOS), Windows AI Foundry, the browser Prompt API. pub.dev · site
Embeddings and RAG
flutter_edge_ai_embeddings Embedding tokenizers (Gemma SentencePiece, BERT WordPiece) for .tflite and .onnx embedders. pub.dev · site
flutter_edge_ai_rag On-device RAG: RagIndex, embedding profiles, filters and the vector-store contract. pub.dev · site
flutter_edge_ai_sqlite SQLite (sqlite-vec) vector store on every platform, web included. pub.dev · site
flutter_edge_ai_qdrant Qdrant Edge vector store on native platforms. pub.dev · site
Speech, agents, diagnostics
flutter_edge_ai_speech Speech-to-text, text-to-speech and the VoiceSession voice loop. pub.dev · site
flutter_edge_ai_agent Agent skills (SKILL.md) the model picks and runs: text, JS, native intents and MCP tools. pub.dev · site
flutter_edge_ai_diagnostics Process memory diagnostics on Android, iOS, macOS, Linux and Windows. pub.dev · site
Genkit
genkit_flutter_edge_ai Genkit Dart plugin: on-device models and embedders as Genkit models. pub.dev · site
genkit_hybrid Hybrid routing for Genkit: on-device and cloud models behind one routing policy. Depends only on genkit. pub.dev · site

Which package you need for which task, and how they fit together: Packages and Capabilities.

Maintainers

Maintainer Looks after
Sasha Denisov (@DenisovAV) Lead maintainer: the core API, the engines, the native builds and every release
Jhin Lee (@leehack) flutter_edge_ai_llama
Francesco Vezzani (@kekko7072) flutter_edge_ai_builtin_ai
Samarthsinh Vala (@samarthsinh2660) flutter_edge_ai_diagnostics
Daisuke Majima (@john-rocky) The Hugging Face integration: installing a model straight from its repository

Everyone else who has contributed, and more about each maintainer: flutteredge.ai/contributors.

Repository

More: Migration guide · Desktop support · Contributing. The family shipped as flutter_gemma* up to core 1.11.4; those names stay published as they are.

License

MIT — see LICENSE.

カテゴリー

依存関係

依存関係一覧 7 件

ソースリポジトリ

このパッケージを使用しているプロジェクト

データはまだありません。

ランキング