개요
ONNX Runtime의 네이티브 바인딩을 제공하는 가벼운 플러터 플러그인으로, 안드로이드, 아이오스, 웹, 맥OS, 윈도우, 리눅스에서 머신러닝 모델의 효율적인 추론을 가능하게 합니다. 개발자들이 플러터 앱 내에서 ONNX 호환 모델을 직접 실행할 수 있게 하며, 클라우드 서비스에 의존하지 않고 디바이스 내에서 AI 처리를 지원합니다. 낮은 지연 시간과 높은 성능의 추론을 최소한의 오버헤드로 구현하여 이미지 인식, 자연어 처리, 생성형 AI 작업 등 실시간 애플리케이션에 이상적입니다. 기존 플러터 워크플로우와 원활하게 통합되며, 모델 로딩, 텐서 조작 및 실행을 지원합니다.
사용 사례
- 기기 내 AI 추론
- 실시간 이미지 및 음성 처리
- 모바일 앱에서의 LLM 및 생성형 AI
- 크로스 플랫폼 모델 배포
- 오프라인 기계 학습 응용 프로그램
주요 기능
- 여러 플랫폼을 지원합니다
- 경량 네이티브 래퍼
- ONNX 모델 실행
- 텐서 입력/출력 처리
- 저지연 추론
적합한 대상
- 모바일 및 데스크톱 AI 앱
- ONNX 모델을 사용하는 개발자
- 오프라인 AI 기능이 필요한 앱
- 성능에 민감한 애플리케이션
- 크로스 플랫폼 ML 통합
고려 사항
- ONNX 호환 모델이 필요합니다
- 플랫폼별 설정이 필요할 수 있습니다
- ONNX Runtime 기능에 제한됨
- 모델 크기는 앱 번들에 영향을 미칩니다
- 내장 모델 학습 지원 없음