Flutter_Gemma é um plugin Flutter que permite a execução local de modelos de linguagem grandes (LLMs), como o Gemma, em plataformas Android, iOS, Web e desktop. Ele oferece recursos avançados, como entrada multimodal (visão e áudio), chamada de funções, modo de pensamento, aceleração por GPU, embeddings de texto e geração aumentada por recuperação (RAG) diretamente no dispositivo. Projetado para aplicações focadas na privacidade, executa os modelos inteiramente no dispositivo, sem depender de serviços em nuvem. Ideal para desenvolvedores que constroem aplicativos com inteligência artificial com capacidades em tempo real, seguras e offline.
Casos de uso
- Aplicativos de bate-papo de IA offline
- Geração de conteúdo com foco na privacidade
- processamento multimodal de imagem e áudio
- Sistemas RAG no dispositivo
- Chamada de função em tempo real em aplicativos
- inferência de LLM local para dispositivos móveis e desktop
Principais recursos
- Executa LLMs localmente em todas as plataformas
- Suporta entrada multimodal de visão e áudio
- Aceleração por GPU para desempenho
- Chamada de função e modo de pensamento
- Embutidos de texto e RAG local
- inferência segura e preservadora de privacidade
Indicado para
- Desenvolvedores construindo aplicativos de IA privados
- Equipes que precisam de capacidades offline de LLM
- Aplicativos que exigem inferência de baixa latência
- Projetos focados na privacidade de dados
- Soluções de IA multiplataforma
Considerações
- Alto uso de memória para modelos grandes
- Requer hardware compatível para desempenho ideal
- O tamanho do modelo afeta o tamanho do pacote do aplicativo
- Limitado a arquiteturas de modelo compatíveis
- A configuração inicial pode exigir configurações específicas da plataforma