목록Pre-training (2)

Anti Math Math Club

Improving Knowledge Tracing via Pre-training Question Embeddings

IJCAI 2020에서 발표된 Knowledge Tracing관련 pre-training에 대해서 다룬 Improving Knowledge Tracing via Pre-training Question Embedding라는 논문입니다. 지금 다니고 있는 회사의 테크 블로그에 리뷰를 써 놓아서, 링크만 걸어두고 따로 추가적으로 리뷰는 하지 않겠습니다. 링크 본문을 참고해주시길 바랍니다! (clap도 많이 눌러주세요 ㅎㅎ)
Machine Learning & Deep Learning/Others 2020. 11. 27. 12:50
Generative Pretraining from Pixels

이번 포스팅에서는 ICLR 2020 Honorable Mention Award를 받은 Generative Pretraining from Pixels라는 논문에 대해서 알아보도록 하겠습니다. Computer Vision에서는 ImageNet을 이용한 pre-training & fine-tuning이 거의 표준으로 자리잡고 있는 반면, NLP에서는 Wikipedia같은 거대한 corpus가 있다고 해도 sentiment나 POS tag같은 label이 붙어 있는 데이터는 많지 않기 때문에 pre-training을 하는 것이 쉽지 않습니다. 하지만, GPT와 BERT를 기점으로 한 self-supervised learning은 이러한 데이터를 활용해서 모델을 똑똑하게 pre-train하는 것을 가능하게 해 주..
Machine Learning & Deep Learning/Computer Vision 2020. 9. 19. 23:38
이전 Prev 1 Next 다음