tiktoken

स्थापित करें

flutter pub add tiktoken

परिचय

tiktoken openai के मॉडल के साथ उपयोग के लिए bpe टोकनाइज़र है। यह टेक्स्ट को टोकन द्वारा संसाधित करने के लिए उपयोग की गई api को निर्वाहित करता है।

विवरण