Boostcamp AI Tech (P1 - Day06)

생각해볼 부분 (continued)

transform 적용시 augmentation 되는 건가? (ex. grayscale transform 시 이미지가 1000 $\rightarrow$ origin 1000 + gray 1000 되는 건지)
- 피어세션에서 토의한 결과, origin image가 포함되지 않고 (파라미터 p 비율 만큼) transform 된 1000장만 feed됨. transform 자체로 이미지 개수가 증가하지는 않음. 하지만 데이터가 다양화되기 때문에, 데이터의 분포는 넓어짐.
- 하지만 나는 grayscale된 이미지와 color 이미지를 동시에 feed하고 싶기 때문에, dataset class에서 이미지 path를 input으로 이미지를 불러올 때 2개 (혹은 이상) transform 된 이미지를 출력하도록 알고리즘을 수정할 예정 (1000 $\rightarrow$ n x 1000)

AutoAugment

  from autoaugment import ImageNetPolicy

  transform = transform.Compose(
      [ImageNetPolicy(),
      ...])

(종현님)
- 3개 모델 따로 학습
  - 3개 예측을 따로 한 후 최종 예측
- sampler 활용해 imbalance 데이터 인덱스 중복 샘플링
  - f1 score 향상됨
- f1 loss 계산시 직접 구현하거나 다른 라이브러리에서 불러올 경우, GPU 연산에서 CPU 연산을 거쳐 다시 돌아오기 때문에 오래 걸림
(재환님)
- unsupervised labeling 활용해볼까 생각중
  - 피드백: eval 폴더 내의 데이터는 test set이기 때문에 사용하면 안되는 걸로 알고 있습니다
- soft-f1 loss 사용할 예정
(기호님) multi task learning 사용해, 하나의 backbone에 3 branches로 학습할 예정
- 잘못 레이블링 된 데이터도 그대로 사용했음. adversarial training: 잘못 레이블링 된 데이터가 일반화 성능 향상에 도움을 줄 수 있기 때문에 일부러 학습에 사용하기도 함
  - my: 일반화라는게 정말 다양한 방법으로 가능하네요. 학습에 태클만 걸면 다 어느 부분에서 일반화 성능이 되기는 할듯.
- focal loss & class-weights 차이점
  - focal loss: 예측 (확률) 기반으로, 확률 (비중)이 낮은 레이블에 loss 가중치 더 줌
  - class-weights: 실제 레이블링 된 클래스 기반으로, 비중이 낮은 클래스에 loss 가중치 더 줌
(재희님) oversample 시 노인 데이터만 애초에 데이터 불러올 때 조건 지정해서 2번 불러오는 식으로 구현
- 실제로 성능 향상 있었음