개요
FlutterGemma용 가벼운 온디바이스 추론 엔진으로 Dart:ffi를 사용하며 다섯 가지 네이티브 플랫폼과 웹을 지원합니다. 선택적 제공자 통합을 통해 LiteRT C API 임베딩 백엔드를 활용하여 효율적인 로컬 LLM 추론을 가능하게 합니다. 클라우드 서비스에 의존하지 않고 장치 내에서 저지연, 개인정보 보호 중심의 생성형 AI 애플리케이션을 위한 설계입니다. Android, iOS, Linux, macOS, Windows 및 웹 환경에서의 배포를 간소화합니다.
사용 사례
- 기기 내 언어 모델 추론
- 개인정보 보호 채팅 애플리케이션
- 오프라인 AI 기반 앱
- LLM용 엣지 컴퓨팅
- 모바일 및 데스크톱에서의 가벼운 LLM 배포
주요 기능
- 네이티브 플랫폼 지원 (5개 이상의 플랫폼)
- Dart:ffi를 통한 웹 호환성
- 옵트인 InferenceEngineProvider
- LiteRT C API 임베디드 백엔드
- 최소의 런타임 오버헤드
- 크로스 플랫폼 일관성
적합한 대상
- 오프라인 LLM 앱을 개발하는 개발자
- 데이터 프라이버시가 필요한 앱
- 모바일 및 데스크톱 AI 프로토타입
- 제한된 자원을 가진 엣지 AI 프로젝트
- 생성형 AI에 플러터를 사용하는 팀
고려 사항
- 네이티브 코드 컴파일이 필요합니다
- LiteRT와 호환되는 모델에 한정
- 웹 지원은 WASM 사용 가능 여부에 따라 달라집니다
- 성능은 기기 하드웨어에 따라 달라집니다
- 내장된 모델 관리 또는 캐싱 없음