LiteRT-LM (.litertlm) flutter_gemma के लिए डिवाइस-पर निष्कर्ष इंजन है, dart:ffi (5 नेटिव प्लेटफॉर्म) + वेब के माध्यम से। वैकल्पिक InferenceEngineProvider का उपयोग करें। साथ ही LiteRT C API एम्बेडिंग बैकएंड (LiteRtEmbeddi [...]
सार्वजनिक जानकारी से बना चयन मार्गदर्शन। केवल संदर्भ हेतु।
FlutterGemma के लिए हल्का, डिवाइस-आधारित अनुमान इंजन जो Dart:ffi का उपयोग करता है, पांच मूल प्लेटफॉर्म और वेब का समर्थन करता है। ऑप्शनल प्रदाता एकीकरण के साथ LiteRT C API एम्बेडिंग बैकएंड के माध्यम से कुशल स्थानीय LLM अनुमान को सक्षम करता है। कम देरी वाले, गोपनीयता-केंद्रित जनरेटिव AI एप्लिकेशन के लिए डिज़ाइन किया गया है, जो बाहरी बादल सेवाओं पर निर्भर नहीं है। यह पैकेज Android, iOS, Linux, macOS, Windows और वेब वातावरणों में डेप्लॉयमेंट को सरल बनाता है।
उपयोग
डिवाइस-आधारित भाषा मॉडल निष्कर्ष
गोपनीयता-संरक्षित चैट एप्लिकेशन
ऑफलाइन एआई-संचालित एप्स
LLM के लिए किनारे की गणना
मोबाइल और डेस्कटॉप पर हल्का LLM डिप्लॉयमेंट
मुख्य विशेषताएँ
नेटिव प्लेटफॉर्म समर्थन (5+ प्लेटफॉर्म)
Dart:ffi के माध्यम से वेब संगतता
ऑप्ट-इन InferenceEngineProvider
LiteRT C API एम्बेडेड बैकएंड
न्यूनतम रनटाइम ओवरहेड
क्रॉस-प्लेटफॉर्म सुसंगतता
इनके लिए उपयुक्त
ऑफलाइन LLM एप्लिकेशन विकसित कर रहे डेवलपर्स
डेटा गोपनीयता की आवश्यकता वाले ऐप्स
मोबाइल और डेस्कटॉप एआई प्रोटोटाइप
सीमित संसाधनों वाले किनारे के AI परियोजनाएँ
जनरेटिव एआई के लिए फ्लटर का उपयोग करने वाली टीमें
विचार योग्य बातें
मूल कोड संकलन की आवश्यकता है
LiteRT के साथ संगत मॉडल तक सीमित
वेब समर्थन WASM उपलब्धता पर निर्भर करता है
प्रदर्शन उपकरण के हार्डवेयर पर निर्भर करता है
कोई निर्मित मॉडल प्रबंधन या कैशिंग नहीं
मूल README
संबंधित सोर्स रिपॉज़िटरी के मूल README का स्नैपशॉट। नवीनतम सामग्री के लिए रिपॉज़िटरी देखें।
Flutter Edge AI
On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any
model a registered engine runs, or the model the operating system already ships,
with text, vision, audio, function calling, embeddings, RAG and speech. No
server, no cloud.
The core package is small: it installs models and hands them to engines. Every
runtime, store and feature is a separate opt-in package, so an app ships only
what it uses. Start with the core README
or Getting started.