피어세션기록(3주차, 02.04 목)

Github Orgianization

• team repo 팠고 브랜치파서 본인 코드 올리기!

어제 강의 / 과제 / 퀴즈

• (현우) ResNet에서 층을 왜 skip하는건지? 이렇게하면 학습이 안되는 거 아닌지?
  • (준호) 층을 그냥 skip하는게 아니라, 입력값을 그대로 convolution 이후에 더해주는것. 그래서 최소 기울기가 1 이상이 되므로 vanishing gradient를 막을 수 있음.

오늘 강의 / 과제 / 퀴즈

• (준배) Multi Head Attention 개념이 잘 이해되지 않는다.

• (준호) BPTT 수식이 잘 이해가 안됩니다.

  • 수식 유도를 조금 짧게 하셔서 이해가 잘 되지 않았음.
  • 최성준 교수님 강의에서도 같은 파트를 설명하심

• (성익) $H_t$가 어떻게 고정적인 길이죠?

  • (지원) 데이터 차원이 고정되어있다. $H_t$안에 계속해서 데이터가 중첩해서 쌓인다.
  • (준호) 재귀랑 dp의 차이처럼 생각하시는거같은데, 여기서는 dp처럼 기존의 식의 값을 사용하는 것일 뿐일듯.
    • LSTM에서는 그렇게 생각하면 이해되는데… RNN에서도 그게 적용되나요?
      • RNN에서는 이전 input이 $H_t$로 들어가는것임.

• (지원) Transformer 개념이 이해하는게 조금 어려웠음.

조교님과의 질의응답

• Github Discussion 참조

기록할 것

• 피어세션 시간 조금 뒤로 미루면 좋겠다… 지금은 너무 강의를 얼마 못들은 상태에서 피어세션을 하는거 같습니다…

• 조교님께 일찍 시간을 잡아드리면 좋을것같습니다.