Übersicht
Ein leichtgewichtiger, gerätebasierter Inferenzmotor für FlutterGemma mit Dart:ffi, der fünf native Plattformen und Web unterstützt. Er ermöglicht effiziente lokale LLM-Inferenz über die LiteRT C-API-Einbettungsschnittstelle mit optionaler Anbieterintegration. Speziell für generative AI-Anwendungen mit geringer Latenz und Datenschutzfokus auf Geräten ohne Abhängigkeit von Cloud-Diensten konzipiert. Das Paket vereinfacht die Bereitstellung auf Android, iOS, Linux, macOS, Windows und Web.
Anwendungsfälle
- Gerätebasierte Sprachmodell-Inferenz
- Datenschutzorientierte Chat-Anwendungen
- Offline-AI-gestützte Apps
- Edge Computing für LLMs
- Leichte LLM-Bereitstellung auf Mobilgeräten und Desktop
Hauptmerkmale
- Native Plattformunterstützung (5+ Plattformen)
- Web-Kompatibilität über Dart:ffi
- Opt-in InferenceEngineProvider
- eingebetteter Backend der LiteRT C-API
- Minimale Laufzeitüberhead
- Plattformübergreifende Konsistenz
Geeignet für
- Entwickler, die Offline-LLM-Apps entwickeln
- Apps, die Datenschutz erfordern
- Mobile und Desktop-KI-Prototypen
- Edge-AI-Projekte mit begrenzten Ressourcen
- Teams, die Flutter für generative KI verwenden
Hinweise
- Benötigt die Kompilierung von nativem Code
- Beschränkt auf Modelle, die mit LiteRT kompatibel sind
- Die Web-Unterstützung hängt von der Verfügbarkeit von WASM ab
- Die Leistung variiert je nach Gerätehardware
- Kein integrierter Modell-Management- oder Caching