Buscar pacotes, repositórios e categorias de apps

Detalhes do pacotev0.19.10

llamadart

Um plugin Dart/Flutter para llama.cpp - execute inferência de LLM em qualquer plataforma usando modelos GGUF

AndroidiOSWebmacOSWindowsLinux
Downloads em 30 dias
78,1 mil
Curtidas
58
Pontos Pub
160

Instalar pacote

flutter pub add llamadart

Visão geral do pacote

Orientação gerada a partir de informações públicas. Apenas para referência.

llamadart é um plugin Flutter/Dart que permite executar inferência de modelo de linguagem grande (LLM) em qualquer plataforma usando modelos GGUF por meio do llama.cpp. Ele permite que desenvolvedores integrem capacidades locais de LLM diretamente em aplicativos Flutter, suportando Android, iOS, Web, macOS, Windows e Linux. Ao aproveitar a eficiência dos modelos quantizados GGUF, ele oferece processamento de IA local sem depender de APIs externas. Ideal para aplicações de IA offline ou voltadas para privacidade, traz recursos avançados de IA gerativa para aplicativos móveis e desktop.

Casos de uso

  • Aplicativos de bate-papo de IA offline
  • inferência de LLM preservando privacidade
  • Implantação de modelo local em aplicativos Flutter
  • Computação em borda com LLMs
  • Assistentes de IA personalizados em múltiplas plataformas

Principais recursos

  • Suporta modelos GGUF
  • Compatibilidade multiplataforma
  • inferência de LLM no dispositivo
  • Integração leve com o Flutter
  • Construído sobre llama.cpp para desempenho

Indicado para

  • Desenvolvedores construindo aplicativos de IA offline
  • Equipes priorizando a privacidade de dados
  • Projetos Flutter que precisam de LLMs locais
  • Aplicações que exigem inferência de baixa latência
  • Projetos direcionados para múltiplos sistemas operacionais

Considerações

  • Requer modelos GGUF compatíveis
  • Uso de memória mais alto para modelos maiores
  • Limitado a arquiteturas compatíveis com o llama.cpp
  • O desempenho varia conforme o hardware do dispositivo
  • O carregamento do modelo pode levar tempo em dispositivos de baixa potência

Categorias

Dependências

Lista de dependências 12 itens

Projetos que usam este pacote

Rankings