모델 일반화를 위한 데이터 전처리 기법

 

• Bias & Variance
  • 학습이 너무 안됐거나, 학습이 너무 됐거나
  • High Bias : Underfitting
  • High Variance : Overfitting
• Train / Validation
  • 학습 데이터셋 중 일정 부분을 따로 분리 → valid set으로 활용
  • 학습에 이용되지 않은 데이터셋을 사용하여 일반화됐는지 확인!
• Data Augmentation
  • 주어진 데이터가 가질 수 있는 Case, State를 다양하게 만들어봄
  • 낮에 찍힌 자동차 사진 → 밤으로 변경, 폭우인 날로 변경 등등
  • 문제가 만들어진 배경과 모델의 쓰임새로부터 힌트 얻을 수 있음!
  • torch vision.transforms
    • 이미지에 적용할 수 있는 다양한 함수 제공 (ex. RandomCrop, Flip)
  • Albumentations
    • transforms보다 더 빠르고 다양한 기능 제공

GitHub - albumentations-team/albumentations: Fast image augmentation library and an easy-to-use wrapper around other libraries.