FlutterGemma용 가벼운 온디바이스 추론 엔진으로 Dart:ffi를 사용하며 다섯 가지 네이티브 플랫폼과 웹을 지원합니다. 선택적 제공자 통합을 통해 LiteRT C API 임베딩 백엔드를 활용하여 효율적인 로컬 LLM 추론을 가능하게 합니다. 클라우드 서비스에 의존하지 않고 장치 내에서 저지연, 개인정보 보호 중심의 생성형 AI 애플리케이션을 위한 설계입니다. Android, iOS, Linux, macOS, Windows 및 웹 환경에서의 배포를 간소화합니다.
사용 사례
기기 내 언어 모델 추론
개인정보 보호 채팅 애플리케이션
오프라인 AI 기반 앱
LLM용 엣지 컴퓨팅
모바일 및 데스크톱에서의 가벼운 LLM 배포
주요 기능
네이티브 플랫폼 지원 (5개 이상의 플랫폼)
Dart:ffi를 통한 웹 호환성
옵트인 InferenceEngineProvider
LiteRT C API 임베디드 백엔드
최소의 런타임 오버헤드
크로스 플랫폼 일관성
적합한 대상
오프라인 LLM 앱을 개발하는 개발자
데이터 프라이버시가 필요한 앱
모바일 및 데스크톱 AI 프로토타입
제한된 자원을 가진 엣지 AI 프로젝트
생성형 AI에 플러터를 사용하는 팀
고려 사항
네이티브 코드 컴파일이 필요합니다
LiteRT와 호환되는 모델에 한정
웹 지원은 WASM 사용 가능 여부에 따라 달라집니다
성능은 기기 하드웨어에 따라 달라집니다
내장된 모델 관리 또는 캐싱 없음
원본 README
연결된 소스 저장소의 README 원문 스냅샷입니다. 최신 내용은 저장소에서 확인하세요.
Flutter Edge AI
On-device AI for Flutter on Android, iOS, Web, macOS, Windows and Linux. Run any
model a registered engine runs, or the model the operating system already ships,
with text, vision, audio, function calling, embeddings, RAG and speech. No
server, no cloud.
The core package is small: it installs models and hands them to engines. Every
runtime, store and feature is a separate opt-in package, so an app ships only
what it uses. Start with the core README
or Getting started.