HackMD - Collaborative Markdown Knowledge Base

강의후기

(준호) “양자화” - 내용 자체는 딥러닝에 있어 협소한 부분이라고 생각되어서 편하게 들었는데, 토이 코드로 실습하는 부분에서 연산 속도가 비약적으로 감소하는 걸 보고 생각보다 필수적이고 유용한 스킬이라는 생각이 들었습니다. 간단한 딥러닝 프로젝트를 웹으로 구성했을 때, 예측이 3~4초 걸리는 것을 1초 미만으로 줄일 수 있다고 생각하니 중요하다고 와닿았습니다.
(준배) 양자화와 지식 증류로 넘어가면서 확실히 더 어렵고 복잡한 내용이 많아졌습니다. 양자화는 부동소수점부터해서 큰 컨샙은 알겠지만, 더 깊게 내용을 이해하지는 못했습니다. 아무래도 많은 논문과 내용을 가볍게 소개하시는 정도로 하시기때문에 이후에 좀더 내용을 이해하고싶고 공부하고싶으면 깊게 공부해야 할거 같습니다.
(지원) 오늘도 역시 ‘이런 게 있구나’ 정도만 받아들인 것 같다. 잠자리를 잡는지는 잘 모르겠지만, 잠자리를 뿌려주는 것도 쉽게 만날 수 없는 기회이기 때문에, 잘 기억해 놨다가 두고 두고 봐야 겠다는 생각을 했다.
(현우) 제가 알고 있는 양자는 확률론이라고 생각했지만, 경량화에서 강의 내용이 달라서 헷갈립니다. 마스터님의 코드를 해석하면서 오늘의 강의를 이해하고 있습니다.

(현우) 물리학에서 양자와 강의에서 말한 양자화의 차이?
- (준호) 연속적인 분포를 discrete한 (나눌 수 없는) 단위로 나눈다는 점에서, "나눌 수 없는 최소 단위"라는 개념은 비슷한 것 같다.
- (준배)
- (지원) 물리학에서 양자 -> 더이상 나눌 수 없는 에너지의 최소량의 단위
- (현우)

인공지능 경량화 분야만 요구하는 업체는 별로 없다고 들었습니다. 마스터님의 생각하는 현재의 인공 지능 경량화 시장은 어떻다고 생각하시나요?
경량화를 잘 하려면 C 언어를 잘해야 하는지 궁금합니다.
Pytorch에서 ARM64, AMD GPU 등 다양한 하드웨어를 지원할 예정이라고 들었습니다. 현재 독점적으로 사용되는 CUDA 플랫폼에 미칠 영향이 클지 알고 싶습니다.
Edge 디바이스의 발전과 경량화의 상관 관계를 알고 싶습니다.