오늘 강의

소감

• (준호) 마스터님 강의 스타일이 독특해서 내용을 정리하기 힘들었는데, 흥미로운 부분만 캐치하자는 마음으로 편하게 들어서 괜찮았다. Compression을 Acceleration과 비교하는 점이 흥미로웠다 (각각 space complexity, time complexity). Iterative prunning 알고리즘이 생각보다 복잡해서 (특히 masking) 더 알아봐야겠다고 느꼈다.
• (지원) GPU를 비롯해서 '가속화’라는 말을 많이 들어 왔는데, 개괄적이더라도 살펴 볼 수 있어서 좋았다. 흥미를 가지고 더 읽어봐야 할 것 같다는 생각을 했지만, 점심 먹고 너무 많이 쉬어서 다 읽지는 못했습니다. Pruning으로 어떻게 경량화가 되는지는 잘 이해하지 못한 것 같습니다.
• (준배) 가속화는 가속화내용보다는 cpu의 세부적인 내용과 컴파일러종류가 무엇이 있는지를 알 수 있었다. pruning은 가지치는 방식이있고 내부적으로 제대로 동작하는 방식은 잘 모르지만 전체적인 개념을 알 수 있었다.
• (현우) 가속화는 칩에서 포팅의 개념으로 생각하고 있습니다. 실질적으로 실습을 하려면, 별도의 장비가 필요하여 직접 코딩하지 못하여 아쉽게 생각하고 있습니다. 오늘 수업으로 파이썬에서 C 로 연동하는 프로그램을 작성하는 부분을 더 깊게 연구하려고 합니다.
• (성익) Pruning 파트는 다른 마스터님들의 강의같이 평이했다. 다른 강의는 아직 잘 모르겠다. 경량화에는 수학이 아주 많이 필요할 줄 알았는데 공부할수록 컴퓨터공학이라는 느낌이 든다.

어제 강의/세션/과제 리뷰

• 현우 : 굳이 왜 student 모델을 만드는지? 굳이 colab에서 student 모델을 만들 필요 없잖아요.

  • (준호) 경량화는 그냥 PC에서 해도 좋은것 아닐까요? (학습 시간이 줄거나, forward만 해서 예측만 할 때도 시간이 훨씬 줄기 때문에)
  • (지원) 이거 자체가 경량화 아닐까요? pretrain된 이미지를 가져와서 더 작은 모델로 만드는거니까?
  • (준배)
  • (현우)
  • (성익) teacher 기존에 학습된 파일 사용하는거 아니에요? pretrained 사용하는거 아닌거같은데… 근데 막상 사용하는 부분도 없네요. 띠용.

• 어제 과제

  • 하이퍼파라미터
    • weight_decay
      • (성익) 0.9->0.2로 내렸어요. underfitting 될까봐.
      • (지원)weight-decay 블로그 글
      • (준호) weight_decay라는건 $\lambda$ 이야기하는것 아닌가요? L2-norm이라고 되어있는데… 앤드류 응 강의에서는 1/2은 계산 편의를 위한 상수라고 이야기했어요.
        • L += L_0 + w라서, w를 loss에 넣으면 Loss가 커지게 되니까 w가 너무 커지지 않도록(즉, 너무 overfitting되지 않도록)되게 하려는거 같아요.

잡담

• 롯데 AI 경진대회
  • 데이터 augmentation을 기본으로 깔고 가는것같아요(test data > train+val data)
  • Colab CPU가 GPU보다 느린것같아요
  • training acc, test acc 실시간 visualization (matplotlib)