Differences
This shows you the differences between two versions of the page.
Next revision | Previous revision | ||
on-device:ai-model-file-format [2020/02/22] – created gomida | on-device:ai-model-file-format [2022/07/03] (current) – removed gomida | ||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== On-device AI 모델 파일 포맷과 연산자 ====== | ||
- | ===== February 22, 2020 ===== | ||
- | |||
- | < | ||
- | <sq> | ||
- | On-Device AI를 위한 모델의 배포에 있에서 컨테이너 파일 포맷의 중요성은 의외로 높다. TensorFlow 또는 Caffe 에서 주로 사용하는 Proto-Buffer 포맷의 파일(.pb)은 연산자(Operator) 정의가 너무 유연하기 때문에 배포를 위한 좋은 포맷은 되기 어렵다. 특히 학습 과정에서 사용되는 수많은 연산자들을 비롯하여, | ||
- | </sq> | ||
- | |||
- | < | ||
- | <sq> | ||
- | 반면 Google을 제외한 나머지 회사들은 ONNX (.onnx) 포맷 진영에 참여하였고, | ||
- | </sq> | ||
- | |||
- | < | ||
- | <sq> | ||
- | 디바이스 상에서 AI 모델 파일(.tflite, | ||
- | </sq> | ||
- | |||
- | < | ||
- | <sq> | ||
- | 한편, 여러 회사에서 On-Device AI를 위한 NPU (Neural Processing Unit or Tensor Processing Unit) 제품이 쏟아지고 있는데, 연산자가 표준화되지 않아 서로 다른 모델 커버리지를 가지는 문제가 발생하고 있다. 특히 TVM 처럼 NPU에 최적화된 실행 코드를 미리 생성하여 배포하는 컴파일 방식을 채택하고 있어 AI 모델 배포를 위한 표준화는 요원하기만 하다. TensorFlow-Lite를 제안한 Google 마저도 Edge TPU 지원을 위해서 오프라인에서 컴파일한 특수한 .tflite 파일을 필요로 하는 실정이다. 그나마 Khronos 그룹에서 OpenVX의 Neural Network Extension을 공개하여 CNN(Convolution Neural Network)에 한정하면 어느정도 표준화 가능성이 보여지고 있지만, 범용 표준으로서 성공적이라고 말하기는 아직 어려울 것 같다. | ||
- | </sq> | ||
Copyright © 2010-2024. Sunwoong Joo. All rights reserved.
Powered by DokuWiki.