Pakete, Repositories und App-Kategorien suchen

Paketdetailsv1.8.6

flutter_gemma_litertlm

LiteRT-LM (.litertlm) ist ein On-Device-Inferenz-Engine für flutter_gemma über dart:ffi (5 Native-Plattformen) + Web. Optionaler InferenceEngineProvider. Enthält außerdem die LiteRT C-API-Einbettungsbackend (LiteRtEmbeddi [...]

AndroidiOSLinuxmacOSWebWindows
30-Tage-Downloads
29.700
Likes
0
Pub-Punkte
130

Paket installieren

flutter pub add flutter_gemma_litertlm

Paketübersicht

Aus öffentlichen Paketdaten erstellte Orientierung.

Ein leichtgewichtiger, gerätebasierter Inferenzmotor für FlutterGemma mit Dart:ffi, der fünf native Plattformen und Web unterstützt. Er ermöglicht effiziente lokale LLM-Inferenz über die LiteRT C-API-Einbettungsschnittstelle mit optionaler Anbieterintegration. Speziell für generative AI-Anwendungen mit geringer Latenz und Datenschutzfokus auf Geräten ohne Abhängigkeit von Cloud-Diensten konzipiert. Das Paket vereinfacht die Bereitstellung auf Android, iOS, Linux, macOS, Windows und Web.

Anwendungsfälle

  • Gerätebasierte Sprachmodell-Inferenz
  • Datenschutzorientierte Chat-Anwendungen
  • Offline-AI-gestützte Apps
  • Edge Computing für LLMs
  • Leichte LLM-Bereitstellung auf Mobilgeräten und Desktop

Hauptmerkmale

  • Native Plattformunterstützung (5+ Plattformen)
  • Web-Kompatibilität über Dart:ffi
  • Opt-in InferenceEngineProvider
  • eingebetteter Backend der LiteRT C-API
  • Minimale Laufzeitüberhead
  • Plattformübergreifende Konsistenz

Geeignet für

  • Entwickler, die Offline-LLM-Apps entwickeln
  • Apps, die Datenschutz erfordern
  • Mobile und Desktop-KI-Prototypen
  • Edge-AI-Projekte mit begrenzten Ressourcen
  • Teams, die Flutter für generative KI verwenden

Hinweise

  • Benötigt die Kompilierung von nativem Code
  • Beschränkt auf Modelle, die mit LiteRT kompatibel sind
  • Die Web-Unterstützung hängt von der Verfügbarkeit von WASM ab
  • Die Leistung variiert je nach Gerätehardware
  • Kein integrierter Modell-Management- oder Caching

Original-README

Originaler README-Schnappschuss aus dem verknüpften Quell-Repository. Aktuelle Inhalte finden Sie im Repository.

Flutter Edge AI

pub package License: MIT

On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any model a registered engine runs, or the model the operating system already ships, with text, vision, audio, function calling, embeddings, RAG and speech. No server, no cloud.

Website · Docs · Models · Codelabs · pub.dev

The core package is small: it installs models and hands them to engines. Every runtime, store and feature is a separate opt-in package, so an app ships only what it uses. Start with the core README or Getting started.

Packages

Package What it does Docs
flutter_edge_ai Core: model installation, the engine registry, sessions and chat. Required by every package except diagnostics and genkit_hybrid. pub.dev · site
Engines
flutter_edge_ai_litertlm LiteRT-LM (.litertlm) through dart:ffi on the five native platforms plus web; CPU, GPU and NPU; the LiteRT embedding backend. pub.dev · site
flutter_edge_ai_mediapipe MediaPipe (.task) on Android, iOS and web. Google's LLM Inference API is maintenance-only; new apps should use .litertlm. pub.dev · site
flutter_edge_ai_llama llama.cpp (.gguf) through llamadart on Android, iOS, macOS, Windows, Linux and web; native LoRA. pub.dev · site
flutter_edge_ai_onnx ONNX Runtime: GenAI inference and embeddings natively, Transformers.js and onnxruntime-web on web. pub.dev · site
flutter_edge_ai_builtin_ai The OS model, nothing to download: Gemini Nano (Android), Apple Foundation Models (iOS, macOS), Windows AI Foundry, the browser Prompt API. pub.dev · site
Embeddings and RAG
flutter_edge_ai_embeddings Embedding tokenizers (Gemma SentencePiece, BERT WordPiece) for .tflite and .onnx embedders. pub.dev · site
flutter_edge_ai_rag On-device RAG: RagIndex, embedding profiles, filters and the vector-store contract. pub.dev · site
flutter_edge_ai_sqlite SQLite (sqlite-vec) vector store on every platform, web included. pub.dev · site
flutter_edge_ai_qdrant Qdrant Edge vector store on native platforms. pub.dev · site
Speech, agents, diagnostics
flutter_edge_ai_speech Speech-to-text, text-to-speech and the VoiceSession voice loop. pub.dev · site
flutter_edge_ai_agent Agent skills (SKILL.md) the model picks and runs: text, JS, native intents and MCP tools. pub.dev · site
flutter_edge_ai_diagnostics Process memory diagnostics on Android, iOS, macOS, Linux and Windows. pub.dev · site
Genkit
genkit_flutter_edge_ai Genkit Dart plugin: on-device models and embedders as Genkit models. pub.dev · site
genkit_hybrid Hybrid routing for Genkit: on-device and cloud models behind one routing policy. Depends only on genkit. pub.dev · site

Which package you need for which task, and how they fit together: Packages and Capabilities.

Maintainers

Maintainer Looks after
Sasha Denisov (@DenisovAV) Lead maintainer: the core API, the engines, the native builds and every release
Jhin Lee (@leehack) flutter_edge_ai_llama
Francesco Vezzani (@kekko7072) flutter_edge_ai_builtin_ai
Samarthsinh Vala (@samarthsinh2660) flutter_edge_ai_diagnostics
Daisuke Majima (@john-rocky) The Hugging Face integration: installing a model straight from its repository

Everyone else who has contributed, and more about each maintainer: flutteredge.ai/contributors.

Repository

More: Migration guide · Desktop support · Contributing. The family shipped as flutter_gemma* up to core 1.11.4; those names stay published as they are.

License

MIT — see LICENSE.

Kategorien

Abhängigkeiten

Abhängigkeiten 7 Einträge

Quell-Repository

Projekte, die dieses Paket verwenden

Noch keine Daten verfügbar.

Ranglisten