피어세션기록(3주차, 02.05 금)

마스터클래스

• 교수님이 시니컬하시던데요 ㅎㅎ

• 교수님 생각을 솔직하게 말씀해주셔서 좋았습니다.

어제 오늘 강의 / 과제 / 퀴즈

• (상진) 오늘 강의는 적어서 그나마 괜찮았던 것 같아요.

• (준배) 첫번째 강의는 괜찮았는데, 두번째강의는 머릿속에 정리가 안되는거같습니다.

• (성익) transformer부터 다 이해안되는거같아서 받아적고 있습니다.

• (지원) 귀로는 들었는데 머리가 이해가 안됩니다.

  • (준호) 통계학 잘하실거같은데…
  • 못해서 책을 사서 보고있습니다 사두기만 했습니다
  • 너무 위로받아서 놀았더니…

• (준호) transformer가 정말 어렵네요.

  • NLP 들어가면 대부분다 transformer일텐데 걱정되네요.
  • 어제 힐링타임에서 느꼈던것처럼 좋아하는 도메인은 좀 열심히 파고, 아닌건 가벼운 마음으로…

• (성익) CNN, RNN은 이제 사용안되는건가요?

  • (지원,준배) 원리 토대로 지금도 계속 발전하고있는거같아요.
  • RNN 코드가 직관적이지 않았다.
  • 진짜 따로 공부해야겠더라구요…

• (지원) 강의 빈칸 부분은 이해할 수 있을거같은데… 나머지 부분은… 어려움.

  • (성익) 강의 빈칸부분은 안보고 넣을 수 있으실까요?
    • 파라미터 힌트 보고는 할수 있는데…
    • RNN부터는 힘듬.

질문

• (준호) markov assumption 수식 이해하셨나요?

  • 수식이 잘못된 줄 알았는데, 괄호 넣으면 좀 이해가 더 쉬움
  • 코세라 강의 Probabilistic Graphical Models 보면 이해가 좀 잘됨
  • \(X_1,\dots,X_{i-1} = X_{1:i-1}\)
  • 스크린샷 공유

• (성익) bianry pixel에서의 필요파라미터 개수

  • (준호) CNN에서의 파라미터 수는 독립이 가정되어있음

  • 근데 독립이 가정되어있지 않은 상태에서 파라미터 개수를 구하면

  • 한 픽셀이 그 이전까지의 픽셀 파라미터를 모두 받아야하므로 i번째 픽셀은 1부터 i-1까지를 다 고려해서 \(2^i-1\)

  • 그럼 RGB는?

    • (상진) 6면체 주사위에서 파라미터가 5개 필요함. 나머지 하나는 [1-나머지변수들]로 표현가능
    • (준호) 가질 수 있는 변수의 개수가 R,G,B 당 255개인건가요…? 그건 좀 이상한데
      • (상진) R의 값의 범위가 0-255
      • (지원) 어떤 픽셀이 특정 색깔을 가질 경우의 수가 256x256x256

  • 파라미터 수는 변수의 개수인건가?

    • -> 질문으로 올려보기!

  • RGB와 binary image에서 파라미터의 의미가 뭔가요?

    • 변수의 개수인가요? 확률 변수 \(p_k\)인가요?

  • 파라미터가 변수의 개수가 아니라 범위의 크기라면 256x256x256-1을 해야하는거 아닌지?

• (준배) Pixel RNN

  • Row LSTM
  • Diagonal BiLSTM
  • 레퍼런스

• (지원) generation 모델 자체가 이가 안된다. 왜 discriminator로 쓸수 있는지?

  • (성익) generation을 하려면 일단 비슷한 이미지임을 판단해야하는데, 그 판단능력 자체가 discriminator가 될 수 있는것.
  • (준호) GAN에 관심있어서 찾아본 적 있는데, 진짜 비슷한것이 나오는데, 수치화해서 알수가 없다.

• (준배) Explicity, tractable

  • 학습데이터의 분포를 몰라도 생성할 수 있다고 하는데 이거 강의에서 설명하셨나요?
    • (성익) 강의에서 말한건 explicit model인데 두 개가 같은건지는 잘 모르겠다
  • tractable은 뭔가요?
    • (준호) 내부 로직, 값 등을 볼 수 있다.
    • (성익) Variational Inference에서 ELBO가 tractable하다고 하는걸로 봐서, ‘계산가능하다’ ‘구할수있다’ 정도의 의미인듯>

• (지원) \(p_\theta(D)\) 식 이해가 안갑니다.

  • 레퍼런스
  • 질문하기로!

정보공유

• 깃허브 레포에 풀리퀘올리거나 디스커션 올려서 코드 올리면, 좀 리뷰해주세요!

프로젝트 아이디어

• (준호) 포토샵 처리한 사진 원상복구
  • Pixel RNN같은걸로…

회고

• (상진) 열심히 복습해오겠습니다.
• (준배) 기초쌓고있는데, 코딩 연습해오겠습니다
• (성익) 욕심 안부리고 배운것만 다지겠습니다
• (지원) 딥러닝 세계 넓군요… 공부 많이해오겠습니다
• (준호) 수학 주보다 어려워서 놀랐습니다. 파이토치 튜토리얼 끝내겠습니다