개요
Flutter_Gemma는 Android, iOS, 웹 및 데스크톱 플랫폼에서 Gemma 및 기타 대규모 언어 모델(LLM)을 로컬로 실행할 수 있도록 해주는 Flutter 플러그인입니다. 다중 모달 입력(시각 및 오디오), 함수 호출, 사고 모드, GPU 가속, 텍스트 임베딩, 그리고 디바이스 내 검색 기반 증강 생성(RAG)과 같은 고급 기능을 지원합니다. 클라우드 서비스에 의존하지 않고 디바이스 내에서 모델을 완전히 실행하기 때문에 개인정보 보호 중심 애플리케이션에 적합합니다. 실시간, 안전하고 오프라인에서도 작동하는 AI 기반 앱 개발에 이상적입니다.
사용 사례
- 오프라인 AI 채팅 애플리케이션
- 개인 정보 보호를 우선시하는 콘텐츠 생성
- 다중모달 이미지 및 오디오 처리
- 기기 내 RAG 시스템
- 앱에서의 실시간 함수 호출
- 모바일 및 데스크톱용 로컬 LLM 추론
주요 기능
- 모든 플랫폼에서 로컬로 LLM 실행
- 시각 및 음성 다중 모달 입력을 지원합니다
- 성능을 위한 GPU 가속
- 함수 호출 및 사고 모드
- 텍스트 임베딩 및 디바이스 내 RAG
- 안전하고 개인정보를 보호하는 추론
적합한 대상
- 개인용 AI 앱을 개발하는 개발자
- 오프라인 LLM 기능이 필요한 팀
- 낮은 지연 시간 추론이 필요한 앱
- 데이터 프라이버시에 중점을 둔 프로젝트
- 크로스플랫폼 AI 솔루션
고려 사항
- 대규모 모델에 대한 높은 메모리 사용량
- 최적의 성능을 위해 호환되는 하드웨어가 필요합니다
- 모델 크기는 앱 번들 크기에 영향을 미칩니다
- 지원되는 모델 아키텍처에 제한됨
- 초기 설정에는 플랫폼별 구성이 필요할 수 있습니다