패키지, 저장소 및 앱 카테고리 검색

패키지 상세v1.8.6

flutter_gemma_litertlm

LiteRT-LM (.litertlm)는 dart:ffi(5개의 네이티브 플랫폼) + 웹을 통해 flutter_gemma용 온디바이스 추론 엔진입니다. 선택적 InferenceEngineProvider를 제공합니다. 또한 LiteRT C API 임베딩 백엔드(LiteRtEmbeddi [...]

AndroidiOSLinuxmacOSWebWindows
30일 다운로드
3만
좋아요
0
Pub 점수
130

패키지 설치

flutter pub add flutter_gemma_litertlm

패키지 개요

공개 정보를 바탕으로 생성한 선택 가이드입니다.

FlutterGemma용 가벼운 온디바이스 추론 엔진으로 Dart:ffi를 사용하며 다섯 가지 네이티브 플랫폼과 웹을 지원합니다. 선택적 제공자 통합을 통해 LiteRT C API 임베딩 백엔드를 활용하여 효율적인 로컬 LLM 추론을 가능하게 합니다. 클라우드 서비스에 의존하지 않고 장치 내에서 저지연, 개인정보 보호 중심의 생성형 AI 애플리케이션을 위한 설계입니다. Android, iOS, Linux, macOS, Windows 및 웹 환경에서의 배포를 간소화합니다.

사용 사례

  • 기기 내 언어 모델 추론
  • 개인정보 보호 채팅 애플리케이션
  • 오프라인 AI 기반 앱
  • LLM용 엣지 컴퓨팅
  • 모바일 및 데스크톱에서의 가벼운 LLM 배포

주요 기능

  • 네이티브 플랫폼 지원 (5개 이상의 플랫폼)
  • Dart:ffi를 통한 웹 호환성
  • 옵트인 InferenceEngineProvider
  • LiteRT C API 임베디드 백엔드
  • 최소의 런타임 오버헤드
  • 크로스 플랫폼 일관성

적합한 대상

  • 오프라인 LLM 앱을 개발하는 개발자
  • 데이터 프라이버시가 필요한 앱
  • 모바일 및 데스크톱 AI 프로토타입
  • 제한된 자원을 가진 엣지 AI 프로젝트
  • 생성형 AI에 플러터를 사용하는 팀

고려 사항

  • 네이티브 코드 컴파일이 필요합니다
  • LiteRT와 호환되는 모델에 한정
  • 웹 지원은 WASM 사용 가능 여부에 따라 달라집니다
  • 성능은 기기 하드웨어에 따라 달라집니다
  • 내장된 모델 관리 또는 캐싱 없음

원본 README

연결된 소스 저장소의 README 원문 스냅샷입니다. 최신 내용은 저장소에서 확인하세요.

Flutter Edge AI

pub package License: MIT

On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any model a registered engine runs, or the model the operating system already ships, with text, vision, audio, function calling, embeddings, RAG and speech. No server, no cloud.

Website · Docs · Models · Codelabs · pub.dev

The core package is small: it installs models and hands them to engines. Every runtime, store and feature is a separate opt-in package, so an app ships only what it uses. Start with the core README or Getting started.

Packages

Package What it does Docs
flutter_edge_ai Core: model installation, the engine registry, sessions and chat. Required by every package except diagnostics and genkit_hybrid. pub.dev · site
Engines
flutter_edge_ai_litertlm LiteRT-LM (.litertlm) through dart:ffi on the five native platforms plus web; CPU, GPU and NPU; the LiteRT embedding backend. pub.dev · site
flutter_edge_ai_mediapipe MediaPipe (.task) on Android, iOS and web. Google's LLM Inference API is maintenance-only; new apps should use .litertlm. pub.dev · site
flutter_edge_ai_llama llama.cpp (.gguf) through llamadart on Android, iOS, macOS, Windows, Linux and web; native LoRA. pub.dev · site
flutter_edge_ai_onnx ONNX Runtime: GenAI inference and embeddings natively, Transformers.js and onnxruntime-web on web. pub.dev · site
flutter_edge_ai_builtin_ai The OS model, nothing to download: Gemini Nano (Android), Apple Foundation Models (iOS, macOS), Windows AI Foundry, the browser Prompt API. pub.dev · site
Embeddings and RAG
flutter_edge_ai_embeddings Embedding tokenizers (Gemma SentencePiece, BERT WordPiece) for .tflite and .onnx embedders. pub.dev · site
flutter_edge_ai_rag On-device RAG: RagIndex, embedding profiles, filters and the vector-store contract. pub.dev · site
flutter_edge_ai_sqlite SQLite (sqlite-vec) vector store on every platform, web included. pub.dev · site
flutter_edge_ai_qdrant Qdrant Edge vector store on native platforms. pub.dev · site
Speech, agents, diagnostics
flutter_edge_ai_speech Speech-to-text, text-to-speech and the VoiceSession voice loop. pub.dev · site
flutter_edge_ai_agent Agent skills (SKILL.md) the model picks and runs: text, JS, native intents and MCP tools. pub.dev · site
flutter_edge_ai_diagnostics Process memory diagnostics on Android, iOS, macOS, Linux and Windows. pub.dev · site
Genkit
genkit_flutter_edge_ai Genkit Dart plugin: on-device models and embedders as Genkit models. pub.dev · site
genkit_hybrid Hybrid routing for Genkit: on-device and cloud models behind one routing policy. Depends only on genkit. pub.dev · site

Which package you need for which task, and how they fit together: Packages and Capabilities.

Maintainers

Maintainer Looks after
Sasha Denisov (@DenisovAV) Lead maintainer: the core API, the engines, the native builds and every release
Jhin Lee (@leehack) flutter_edge_ai_llama
Francesco Vezzani (@kekko7072) flutter_edge_ai_builtin_ai
Samarthsinh Vala (@samarthsinh2660) flutter_edge_ai_diagnostics
Daisuke Majima (@john-rocky) The Hugging Face integration: installing a model straight from its repository

Everyone else who has contributed, and more about each maintainer: flutteredge.ai/contributors.

Repository

More: Migration guide · Desktop support · Contributing. The family shipped as flutter_gemma* up to core 1.11.4; those names stay published as they are.

License

MIT — see LICENSE.

카테고리

의존성

의존성 목록 7 개

소스 저장소

이 패키지를 사용하는 프로젝트

아직 데이터가 없습니다.

순위