अवलोकन
FlutterGemma के लिए हल्का, डिवाइस-आधारित अनुमान इंजन जो Dart:ffi का उपयोग करता है, पांच मूल प्लेटफॉर्म और वेब का समर्थन करता है। ऑप्शनल प्रदाता एकीकरण के साथ LiteRT C API एम्बेडिंग बैकएंड के माध्यम से कुशल स्थानीय LLM अनुमान को सक्षम करता है। कम देरी वाले, गोपनीयता-केंद्रित जनरेटिव AI एप्लिकेशन के लिए डिज़ाइन किया गया है, जो बाहरी बादल सेवाओं पर निर्भर नहीं है। यह पैकेज Android, iOS, Linux, macOS, Windows और वेब वातावरणों में डेप्लॉयमेंट को सरल बनाता है।
उपयोग
- डिवाइस-आधारित भाषा मॉडल निष्कर्ष
- गोपनीयता-संरक्षित चैट एप्लिकेशन
- ऑफलाइन एआई-संचालित एप्स
- LLM के लिए किनारे की गणना
- मोबाइल और डेस्कटॉप पर हल्का LLM डिप्लॉयमेंट
मुख्य विशेषताएँ
- नेटिव प्लेटफॉर्म समर्थन (5+ प्लेटफॉर्म)
- Dart:ffi के माध्यम से वेब संगतता
- ऑप्ट-इन InferenceEngineProvider
- LiteRT C API एम्बेडेड बैकएंड
- न्यूनतम रनटाइम ओवरहेड
- क्रॉस-प्लेटफॉर्म सुसंगतता
इनके लिए उपयुक्त
- ऑफलाइन LLM एप्लिकेशन विकसित कर रहे डेवलपर्स
- डेटा गोपनीयता की आवश्यकता वाले ऐप्स
- मोबाइल और डेस्कटॉप एआई प्रोटोटाइप
- सीमित संसाधनों वाले किनारे के AI परियोजनाएँ
- जनरेटिव एआई के लिए फ्लटर का उपयोग करने वाली टीमें
विचार योग्य बातें
- मूल कोड संकलन की आवश्यकता है
- LiteRT के साथ संगत मॉडल तक सीमित
- वेब समर्थन WASM उपलब्धता पर निर्भर करता है
- प्रदर्शन उपकरण के हार्डवेयर पर निर्भर करता है
- कोई निर्मित मॉडल प्रबंधन या कैशिंग नहीं