train만 width//2, height//2 로 바꾸는 실수를 했는데 (원래는 valid도 수정을..했어야하는데..) 지금 Valid sentence acc 가 0.4를 넘었음 (올라가는중)
속도는 이전의 60%시간만 소모.(00:39:00 -> 00:24:00)
데이터상의 문자 크기가 편차가 크지않다고 생각함.(위의 모델이 학습 되는걸 보면)
image concatenate를 해볼려고 하는데 아무리 봐도 공백을.. 어떻게 해결해야할지 모르겠음.예를 들면 a + b = c d = e + f 를 저 중간을 공백을 라벨링을 어떻게 해야할지도 모르겠고. 공백없이 라벨링을 하기에는 학습을 이상하게 할것처럼 보이고…
inference 해본결과 공백을 이상하게 잡음..
글자 크기가 다르면 예측이 이상해짐.
resize하면서
배철환
드디어 SRN 완성, 학습 돌리는 중 (시험삼아 5 에폭 정도만)
근데 1에폭에 1시간 실화..?
인코더 크기를 줄인다
아니면 디코더에서 차원을 줄인다
Mixed Precision을 넣으니까 loss가 NaN이 뜸 (왜지?)
일반적으로는 lr을 줄인다
이제 뭐하지?
만약 잘되면 -> 외부 데이터를 끌고 와봐야 할 듯 + 이미지 binarization 정도?
만약 안되면 -> 할 수 있는게 코드 분석밖에 없는듯? -> 간단한 인풋정도로 한바퀴 쭉 돌려보기
서버야 아프지마 제발.. 좋은말할때.. :disappointed_relieved:
서준배
50에폭 골짜기는 재학습으로 인해서 나오는 듯. 쭉 50+에폭으로 돌리니까 현상 유지
성능은 예전보다 낮음
시드 문제인듯 합니다.
시드 하나 고정안된 문제로보임(기본 코드는 seed고정 하나가 빠짐 -어제 나온 torch.cuda.manual_seed(options.seed))
윤준호
50에폭 골짜기 문제를 해결하기 위해 scheduler 변경 후 재학습 중
cosine annealing 사용 후 골짜기 문제 사라짐
김현우
inference 에서 발생하는 문제점 분석중
서버에서 pip 패키지를 설치할때는 requirements.txt 에 모듈을 추가해야 함
기존에 있는 버전 업데이트는 문제가 없으나, 다른 모듈과의 호환성 예를 들어 numpy 와 scikit_image 호환성에서 버전 오류가 발생
버전을 맞춰도 albumentation 에서 에러 발생 -> inference.py에서 from train import id_to_string 를 제거하고 , inference.py에서 선언
shell =
AttributeError: module "scipy.fft" has no attribute "next_fast_len"
sagemaker-training-toolkit ERROR ExecuteUserScriptError:
albumentation 제거했지만 모 캠퍼님 모델에서 sentence accuary 0 이라는 “멋진 결과”가 발생
조호성
서버 저장이 안되는 문제 -> cudatoolkit update?
version 맞추고있음(전에 보다 버전이 낮아서 load 안됨)
해볼일
한 줄 수식 데이터 2개 cutmix로 -> 2줄 수식 데이터 (라벨링 + ‘\’) 생성 가능.
