Um pacote Flutter que permite aplicativos de IA com foco em offline, com inferência de LLM residente, RAG local (Geração Aumentada por Recuperação) e capacidades de agente autônomo. Possui uma interface de chat compatível com o Material 3 para interação fluida com o usuário. Projetado para experiências de IA com foco na privacidade e baixa latência, sem necessidade de conectividade à internet. O framework suporta plataformas Android, iOS e Windows, tornando-o ideal para fluxos de trabalho de IA seguros e locais no dispositivo.
Casos de uso
- Assistentes de IA offline
- Consulta de documento privado
- Automação de agente no dispositivo
- Aplicativos de chat empresarial seguros
- Interações de IA de baixa latência
Principais recursos
- inferência de LLM residente
- Implementação local de RAG
- Lógica de agente autônomo
- UI de bate-papo do Material 3
- Suporte multiplataforma
Indicado para
- Aplicações sensíveis à privacidade
- Ferramentas de IA com capacidade offline
- Sistemas de raciocínio no dispositivo
- Clientes de IA móveis e desktop
- Desenvolvedores procurando integração local de LLM
Considerações
- Alto uso de recursos do dispositivo
- Requer arquivos de modelo grandes
- Limitado a plataformas compatíveis
- Otimização do modelo necessária
- Latência potencial durante o carregamento inicial