(성익) 툭툭 던져주는 기분이었다. 잠자리채보단 붕어뜨는채 같았다. cross-entropy/entropy나 kl-divergence 파트가 너무 수학적이지 않아서 조금 더 이해가 되었다.
(현우) 강의의 흐름이 어디로 가는지가 모르겠습니다. 각자 느꼈던 강의의 목표는 아마도 엔트로피 쪽이었던 것 같은데, 저는 그쪽은 알고있었어서 tf.lite쪽을 어떻게 뜯어보아야하는지가 궁금해졌습니다. 우려되는것은 마스터님이 그걸 설명을 다 해주실 지, 그냥 선문답을 하실지 궁금합니다.
(준배) 확실히 목표를 정확히 말하고 하시는 스타일이 아닌 듯 하다. entropy 이야기가 처음에는 이해되지 않았는데, 뒤로 가니까 이해가 되었다. 그런데 중간에 미래/과거와 연관하여 엔트로피 이야기를 한것은 이해가 잘 되지 않았다. Compression 부분은 조금 더 이해가 잘 되지 않았다. 한줄로 요약가능할 것 같은데 너무 많은 정보를 주셔서…
(준호) 큰 메시지는 이해하지 못했지만 어제에 비해서 더 좋은 강의였습니다. 모델이 high entropy에서 low entropy로 바꾸어주는 역할을 한다는 것이 크게 와닿았습니다. 강의보다는 컨퍼런스 발표를 보는 느낌이어서, 흥미로운 새로운 정보들의 키워드만 정리하는 식으로 듣고 있습니다.
(지원) 듣기는 들었는데 잠자리가 잡혔는지 모르겠습니다. 첫번째 강의는 시공간이었는데, 정보 이론을 비유로 잘 설명해주신것 같아서 좋았고, 제대로 이해하려면 논문을 하나씩 봐야겠다는 생각이 들었습니다. 두번째 강의는 압축이었는데, 이런 게 있구나~ 정도로는 되겠지만 역시 논문을 보지 않으면 안될것 같다는 생각이 들었습니다. 마스터님이 설명하시는 방식이 지금은 이해가 안되어도 이번 주가 끝날때쯤 되면 조금은 이해가 될 것 같습니다.
성익 : surrogate 모델이 왜 가우시안 프로세스고, 가우시안 프로세스가 왜 저비용 고효율인지?
(성익)
(현우)
(준배)
(준호) surrogate 모델이 하이퍼파라미터 탐색을 하는 과정에서 어떻게 하면 조금 더 iteration을 덜돌면서 탐색할 수 있을까? 사람이 하는 것은 운이나 직관에 따르게 되는데, surrogate 모델은 머신이니까 좀 더 확실한 방법으로 찾을 수 있다? 가우스 과정 (통계 용어)
피어세션기록(8주차, 03.16 화)
오늘 강의/세션/과제
질문
성익 : entropy, cross-entropy, KL-divergence 의미
성익 : surrogate 모델이 왜 가우시안 프로세스고, 가우시안 프로세스가 왜 저비용 고효율인지?
어제 과제
(준호, 준배, 지원) subplot 코드공유
정보공유
조교님께 질문 할 것