Project1 Wrap up Report

Result

• Leaderboard
  • F1 score: 0.7235
  • Rank: 109/224

Task

• 4500명 x 7장 image data
• 18 classes multi-label classification
  • 마스크 착용 여부(3), 성별(2), 나이(3) 기준

• Main Issues

  • Data imbalance
    • 클래스 조건별 imbalance 존재, 특히 '나이’에서 ‘60세 이상’ class에 해당하는 데이터가 7% 정도로 매우 적음
  • Noisy label
    • 잘못 labelling된 데이터 존재 (최소 10장 이상)
  • Dependent classes
    • 독립된 18개의 class가 아니라, 세 가지 기준에 의해 경우의 수로 나뉜 class들이기 때문에 독립분포 가정 위배

Approaches

Dealing with Data Imbalance

1. Age class의 imbalance를 완화하기 위해 Age class 기준점을 변경
   • 변경 전: 30 미만 ,30-59, 60 이상
   • 변경 후: 30 미만, 30-57, 58 이상
2. 예측 확률이 낮은 class에 대해 더 높은 loss를 부여하는 Focal loss 사용
   • Default 값이 2인 gamma를 0.8 까지 낮춰, loss 가중치를 너무 과하지 않게 부여함 (gamma=0일 때 CrossEntropy와 동일함)

Generalization

1. Train-validation set을 사람을 단위로 split
   • 같은 사람의 데이터가 train, validation set에 각각 들어가 validation accuracy가 과대평가되는 것을 방지
2. Light한 모델 사용
   • Overfitting 되는 것을 방지하기 위해, 매우 가벼운 EfficientNet b0로 시작해 한 단계씩 높여가며 실험 진행 (최종적으로는 가볍다고 하기 애매한 b4까지 가긴 함)
3. Early stopping
   • Train loss와 validation loss를 텐서보드를 이용해 그래프로 비교해가며, train loss는 계속해서 감소하는데 validation loss가 다시 증가하는 구간에서 학습 중단
4. Data augmentation
   • 여러가지 transformation을 활용해 데이터의 state, case를 다양화
   • 여러 실험을 거쳐서 성능 향상에 도움이 되는 transformation만 남김 (centercrop, resize, normalize)
5. Batchsize 최대화
   • Batch normalization 단계에서 최대한 일반화된 분포를 기준으로 normalization할 수 있도록, GPU 용량과 성능이 감당하는 한에서 최대화 (batchsize=128)
   • Resize를 많이 주어 batchsize를 더 올릴 수 있게 함
6. AdamW optimizer 사용
   • 수렴이 빠르고 대체적으로 다양한 task에서 높은 성능을 보이는 Adam의 단점으로, SGD에 비해 낮은 일반화 성능이 언급됨 (L2 regularization이 Adaptive optimizer에서 일반화 효과가 적어짐)
   • Adam의 일반화 성능을 높이기 위한 방법으로, weight update 시 weight decay를 적용하는 AdamW를 사용함
7. Pseudo Cross-validation
   • 마지막 제출 시 validation set 없이 train set 100%로 학습 진행
   • 최적의 epoch를 max epoch로 지정 후 최종 모델을 활용해 제출

Model & Hyperparameters

• Model
  • EfficientNet b4
• Hyperparameters
  • Optimizer: AdamW
  • Loss: Focal loss
    • gamma: 0.8
  • Learning rate: 3e-4
  • LR scheduler: StepLR
    • stepsize=2
    • gamma=0.2
  • Epoch: 4
  • Batchsize: 128
  • Transform
    • RandomRotation(10) (train only)
    • CenterCrop((450, 360)) (train only)
    • Resize(200, 200)
    • Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])

Lessons

Failures

• Oversampling
  • weighted ramdom sampler를 사용해 시도했지만, 오히려 f1 score가 떨어짐
  • class 별로 적절하게 중복 sampling할 비율을 지정하는 방식이 아니라, class 별 비중을 계산한 뒤 모든 데이터에 대해서 weight를 계산한 후 거기 맞춰서 random sampling하는 방식
  • 이번 task에서는 data가 지나치게 imbalance 되어 있었기 때문에, 강제로 1 : 1 : 1 : … 비율로 맞추면 오히려 역효과가 나는 것 같음
  • 실패 후에 비슷한 목적으로 이용 가능한 focal loss를 시도해 성능 향상을 보았음
  • class 별로 지정한 비율로 sampling할 수 있도록 구현한다면 성능 향상에 도움이 될 수도 있을 것 같음
• Grayscale, horizontal flip
  • 너무 단순하게도 “다양한 색의 마스크를 헷갈리지 않게 잘 분류하도록” grayscale을 전부 적용했지만, 오히려 transforms에서 제외했을 때 성능이 더 좋았음
  • validation, test set의 transfroms에 포함할 때와 하지 않을 때 모두 마찬가지였음
  • Hyperparameters를 공개한 규진님의 토론 게시물을 봤는데, transform을 전혀 사용하지 않은 것을 보고 충격 받고 insight를 얻어서 실험 후 발견함

Ideas might have been helpful

• Resize 적당히
  • batchsize를 높이는 것에 초점을 맞춰서 resize를 (200, 200)까지 줬는데, 오히려 정보 손실로 오는 성능 하락이 더 컸던 것 같다.
• Stratified split
  • 층화추출을 사용해 validation set과 train set에 클래스별 비율을 어느 정도 맞췄더라면 더 성능이 향상되었을 것 같다.
• 더 무거운 모델 혹은 multi branch 모델 사용
  • 일반화에 너무 치중해서 EfficientNet b0 부터 시작해 b4에서 모델 상향화를 멈췄는데, b8로 하신 분이 score가 잘 나온 걸 보니 실험을 더 진행해서 더 무거운 모델을 사용해봤으면 좋았을 것 같다.
  • 1 backbone + 3 branches model 모델을 사용해 3 가지 기준의 레이블을 각각 loss로 계산해 학습시켰다면 성능 향상에 도움이 되었을 것 같다.
• Loss에 대한 다양한 실험
  • CrossEntropy 대신 data imbalance 문제에 도움이 될 수 있는 Focal loss를 사용해 성능향상을 보았지만, 막상 상위권 분들의 시도를 보니 여러 가지 loss를 더해서 새로 만들거나, (1 - f1 score) 등의 텀을 추가한다거나 등의 색다른 것들이 많았다.
• Cutmix
  • 마스크 정보를 잃어버리지 않도록 윗부분과 아랫부분을 잘라 붙이지 않고, 좌우로만 이미지를 갈라서 사용. 수가 매우 부족한 노인 데이터를 oversampling하는 효과를 동시에 낼 수 있도록 한쪽은 60세 이상 데이터만 삽입. 가장 인상적이었던 것은, 좌(사람1의 왼쪽 얼굴) + 우(사람2의 오른쪽 얼굴) 시 성능 향상이 별로 없었고, 좌(사람1의 왼쪽 얼굴) + 우(사람2의 왼쪽 얼굴) 시 성능 향상이 컸다는 사실. 역시 실험을 해보기 전에 판단하면 안 된다.
• Ensemble
  • 시간이 부족해서 시도하지 못했는데, 성능향상이 보장되는 방법. 각 모델의 확률벡터들을 가중합하는 Weighted ensemble도 있다는 것을 기억할 것.
• Terminal 환경에서 실험-friendly 한 설계
  • 하이퍼파라미터 값을 바꾸기 간편하고, 실험을 빠르고 한눈에 확인하기 쉽게 구성할 수 있음.
• Learning rate를 backbone 부분과 classifier (final FC layer) 부분을 다르게 설정
  • backbone은 pretrained 사용 시 learning rate를 더 적게 (0.1배 등) 설정하면 freeze 효과를 부분적으로 볼 수 있음.
• 외부 데이터셋 활용 + 새로운 데이터셋 생성

Thoughts

무엇보다도 Dataset class, Data loader 등의 모듈과 파이프라인을 온전히 내 힘으로 task에 알맞게 구현해내고, 계획한 아이디어에 맞게 아키텍처를 구성해 end-to-end 모델을 완성했다는 것이 정말 뿌듯하다.

직접 밑바닥부터 코딩을 해보면서 왜 딥러닝 framework들이 그렇게 OOP를 중요하게 생각하는지 몸소 체험할 수 있었고, 새로운 아이디어를 적용할 때 내 custom class들에 맞게끔 내부 로직을 수정하는 요령도 생겼다.

다양한 아이디어를 적용하고 실험해보면서, "대개 이런 경우에 이런 방법이 있다"고 하는 ML/DL 지식이 생각보다 그대로 적용되는 경우가 잘 없다는 것을 느꼈다. 앞으로는 실험을 할 때 조금 더 체계적인 tool과 logging을 사용하면서, 정확히 하나의 변수만 변화시켜가면서 진행해야겠다. 또한, 크게 성능 향상에 기여할 것 같지 않다고 생각되는 아이디어들도 그냥 지나쳐버리지 않고, 작게나마 실험을 구성해 직접 검증한 뒤에 판단해야겠다.