अवलोकन
Sherpa-ONNX एक Flutter/Dart पैकेज है जो नए पीढ़ी के Kaldi के साथ ONNX Runtime का उपयोग करके ऑफलाइन बोली पहचान (ASR), बोली संश्लेषण (TTS), बोलने वाले के विभाजन और बोलने वाले की पहचान की अनुमति देता है। यह पूरी तरह से इंटरनेट के बिना काम करता है, जिससे यह गोपनीयता संवेदनशील या कम देरी वाले एप्लिकेशन के लिए आदर्श है। क्रॉस-प्लेटफॉर्म डिप्लॉयमेंट के लिए बनाया गया, यह Android, iOS, macOS, Windows और Linux का समर्थन करता है। पैकेज उपकरण-आधारित निष्कर्ष के लिए अनुकूलित ONNX मॉडल का उपयोग करता है, जिससे उपकरण पर तेज और सटीक ध्वनि प्रसंस्करण सुनिश्चित होता है।
उपयोग
- ऑफलाइन वॉइस असिस्टेंट
- रियल-टाइम ट्रांसक्रिप्शन ऐप्स
- मीटिंग में बोलने वाले की पहचान
- गोपनीयता-केंद्रित ऑडियो विश्लेषण
- प्रासंगिकता के लिए उपकरण-आधारित TTS
मुख्य विशेषताएँ
- पूरी तरह से ऑफलाइन संचालन
- क्रॉस-प्लेटफ़ॉर्म समर्थन
- कम लेटेंसी इन्फेरेंस
- ASR, TTS, डायराइजेशन और पहचान का समर्थन करता है
- ONNX Runtime के साथ अनुकूलित
इनके लिए उपयुक्त
- ऑफलाइन वॉइस ऐप्स बना रहे डेवलपर्स
- डेटा गोपनीयता की आवश्यकता वाले अनुप्रयोग
- किनारे कंप्यूटिंग परिदृश्य
- मोबाइल और डेस्कटॉप वॉइस टूल्स
- रियल-टाइम ऑडियो प्रोसेसिंग
विचार योग्य बातें
- बड़े मॉडल फ़ाइल आकार
- अनुमान के दौरान अधिक मेमोरी उपयोग
- मॉडल फ़ाइलों को बंडल करने की आवश्यकता है
- समर्थित मॉडल प्रकार तक सीमित
- कस्टम मॉडल के शुरुआती सेटअप कठिनाई