LiteRT-LM (.litertlm) ist ein On-Device-Inferenz-Engine für flutter_gemma über dart:ffi (5 Native-Plattformen) + Web. Optionaler InferenceEngineProvider. Enthält außerdem die LiteRT C-API-Einbettungsbackend (LiteRtEmbeddi [...]
Aus öffentlichen Paketdaten erstellte Orientierung.
Ein leichtgewichtiger, gerätebasierter Inferenzmotor für FlutterGemma mit Dart:ffi, der fünf native Plattformen und Web unterstützt. Er ermöglicht effiziente lokale LLM-Inferenz über die LiteRT C-API-Einbettungsschnittstelle mit optionaler Anbieterintegration. Speziell für generative AI-Anwendungen mit geringer Latenz und Datenschutzfokus auf Geräten ohne Abhängigkeit von Cloud-Diensten konzipiert. Das Paket vereinfacht die Bereitstellung auf Android, iOS, Linux, macOS, Windows und Web.
Anwendungsfälle
Gerätebasierte Sprachmodell-Inferenz
Datenschutzorientierte Chat-Anwendungen
Offline-AI-gestützte Apps
Edge Computing für LLMs
Leichte LLM-Bereitstellung auf Mobilgeräten und Desktop
Hauptmerkmale
Native Plattformunterstützung (5+ Plattformen)
Web-Kompatibilität über Dart:ffi
Opt-in InferenceEngineProvider
eingebetteter Backend der LiteRT C-API
Minimale Laufzeitüberhead
Plattformübergreifende Konsistenz
Geeignet für
Entwickler, die Offline-LLM-Apps entwickeln
Apps, die Datenschutz erfordern
Mobile und Desktop-KI-Prototypen
Edge-AI-Projekte mit begrenzten Ressourcen
Teams, die Flutter für generative KI verwenden
Hinweise
Benötigt die Kompilierung von nativem Code
Beschränkt auf Modelle, die mit LiteRT kompatibel sind
Die Web-Unterstützung hängt von der Verfügbarkeit von WASM ab
Die Leistung variiert je nach Gerätehardware
Kein integrierter Modell-Management- oder Caching
Original-README
Originaler README-Schnappschuss aus dem verknüpften Quell-Repository. Aktuelle Inhalte finden Sie im Repository.
Flutter Edge AI
On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any
model a registered engine runs, or the model the operating system already ships,
with text, vision, audio, function calling, embeddings, RAG and speech. No
server, no cloud.
The core package is small: it installs models and hands them to engines. Every
runtime, store and feature is a separate opt-in package, so an app ships only
what it uses. Start with the core README
or Getting started.