Buscar pacotes, repositórios e categorias de apps

Detalhes do pacotev1.8.6

flutter_gemma_litertlm

LiteRT-LM (.litertlm) é um motor de inferência local para flutter_gemma via dart:ffi (5 plataformas nativas) + web. Fornecido opcionalmente como InferenceEngineProvider. Também inclui o backend de incorporação da API C do LiteRT (LiteRtEmbeddi [...]

AndroidiOSLinuxmacOSWebWindows
Downloads em 30 dias
29,7 mil
Curtidas
0
Pontos Pub
130

Instalar pacote

flutter pub add flutter_gemma_litertlm

Visão geral do pacote

Orientação gerada a partir de informações públicas. Apenas para referência.

Um motor de inferência leve e local para FlutterGemma usando Dart:ffi, com suporte a cinco plataformas nativas e web. Permite inferência eficiente de modelos de linguagem grandes (LLM) localmente por meio do backend de incorporação da API C LiteRT com integração opcional de provedores. Projetado para aplicações de IA gerativa de baixa latência e focadas na privacidade, diretamente nos dispositivos, sem depender de serviços em nuvem. O pacote simplifica a implantação em ambientes Android, iOS, Linux, macOS, Windows e web.

Casos de uso

  • inferência de modelo de linguagem no dispositivo
  • Aplicativos de bate-papo com preservação de privacidade
  • Aplicativos com IA off-line
  • Computação de borda para LLMs
  • Implantação leve de LLM em dispositivos móveis e desktop

Principais recursos

  • Suporte a plataforma nativa (5+ plataformas)
  • Compatibilidade com Web por meio do Dart:ffi
  • InferenceEngineProvider de opção
  • Backend embutido da API C do LiteRT
  • Sobrecarga mínima de tempo de execução
  • Consistência multiplataforma

Indicado para

  • Desenvolvedores construindo aplicativos de LLM offline
  • Aplicativos que exigem privacidade de dados
  • Protótipos de IA para dispositivos móveis e desktop
  • Projetos de IA em borda com recursos limitados
  • Equipes usando Flutter para IA generativa

Considerações

  • Requer compilação de código nativo
  • Limitado a modelos compatíveis com o LiteRT
  • O suporte a Web depende da disponibilidade do WASM
  • O desempenho varia conforme o hardware do dispositivo
  • Sem gerenciamento ou cache de modelo embutido

README original

Snapshot do README original do repositório-fonte vinculado. Consulte o repositório para o conteúdo mais recente.

Flutter Edge AI

pub package License: MIT

On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any model a registered engine runs, or the model the operating system already ships, with text, vision, audio, function calling, embeddings, RAG and speech. No server, no cloud.

Website · Docs · Models · Codelabs · pub.dev

The core package is small: it installs models and hands them to engines. Every runtime, store and feature is a separate opt-in package, so an app ships only what it uses. Start with the core README or Getting started.

Packages

Package What it does Docs
flutter_edge_ai Core: model installation, the engine registry, sessions and chat. Required by every package except diagnostics and genkit_hybrid. pub.dev · site
Engines
flutter_edge_ai_litertlm LiteRT-LM (.litertlm) through dart:ffi on the five native platforms plus web; CPU, GPU and NPU; the LiteRT embedding backend. pub.dev · site
flutter_edge_ai_mediapipe MediaPipe (.task) on Android, iOS and web. Google's LLM Inference API is maintenance-only; new apps should use .litertlm. pub.dev · site
flutter_edge_ai_llama llama.cpp (.gguf) through llamadart on Android, iOS, macOS, Windows, Linux and web; native LoRA. pub.dev · site
flutter_edge_ai_onnx ONNX Runtime: GenAI inference and embeddings natively, Transformers.js and onnxruntime-web on web. pub.dev · site
flutter_edge_ai_builtin_ai The OS model, nothing to download: Gemini Nano (Android), Apple Foundation Models (iOS, macOS), Windows AI Foundry, the browser Prompt API. pub.dev · site
Embeddings and RAG
flutter_edge_ai_embeddings Embedding tokenizers (Gemma SentencePiece, BERT WordPiece) for .tflite and .onnx embedders. pub.dev · site
flutter_edge_ai_rag On-device RAG: RagIndex, embedding profiles, filters and the vector-store contract. pub.dev · site
flutter_edge_ai_sqlite SQLite (sqlite-vec) vector store on every platform, web included. pub.dev · site
flutter_edge_ai_qdrant Qdrant Edge vector store on native platforms. pub.dev · site
Speech, agents, diagnostics
flutter_edge_ai_speech Speech-to-text, text-to-speech and the VoiceSession voice loop. pub.dev · site
flutter_edge_ai_agent Agent skills (SKILL.md) the model picks and runs: text, JS, native intents and MCP tools. pub.dev · site
flutter_edge_ai_diagnostics Process memory diagnostics on Android, iOS, macOS, Linux and Windows. pub.dev · site
Genkit
genkit_flutter_edge_ai Genkit Dart plugin: on-device models and embedders as Genkit models. pub.dev · site
genkit_hybrid Hybrid routing for Genkit: on-device and cloud models behind one routing policy. Depends only on genkit. pub.dev · site

Which package you need for which task, and how they fit together: Packages and Capabilities.

Maintainers

Maintainer Looks after
Sasha Denisov (@DenisovAV) Lead maintainer: the core API, the engines, the native builds and every release
Jhin Lee (@leehack) flutter_edge_ai_llama
Francesco Vezzani (@kekko7072) flutter_edge_ai_builtin_ai
Samarthsinh Vala (@samarthsinh2660) flutter_edge_ai_diagnostics
Daisuke Majima (@john-rocky) The Hugging Face integration: installing a model straight from its repository

Everyone else who has contributed, and more about each maintainer: flutteredge.ai/contributors.

Repository

More: Migration guide · Desktop support · Contributing. The family shipped as flutter_gemma* up to core 1.11.4; those names stay published as they are.

License

MIT — see LICENSE.

Categorias

Dependências

Lista de dependências 7 itens

Repositório-fonte

Projetos que usam este pacote

Ainda não há dados.

Rankings