일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Pre-training
- ICML
- 표현론
- math
- Knowledge Tracing
- 동형암호
- Transformer
- 머신러닝
- Machine Learning
- Copilot
- Model Compression
- bert
- Knowledge Distillation
- Deep learning
- attention
- Natural Language Processing
- Residual Connection
- 딥러닝
- Computer Vision
- GPT
- KT
- 자연어처리
- Private ML
- Github Copilot
- Language Modeling
- NLP
- AI
- matrix multiplication
- Homomorphic Encryption
- Data Augmentation
Archives
- Today
- Total
목록KT (2)
Anti Math Math Club
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/nHgJy/btqOn0Lsmkk/PRSvs3zlsS4BX2UiNKoNy0/img.png)
IJCAI 2020에서 발표된 Knowledge Tracing관련 pre-training에 대해서 다룬 Improving Knowledge Tracing via Pre-training Question Embedding라는 논문입니다. 지금 다니고 있는 회사의 테크 블로그에 리뷰를 써 놓아서, 링크만 걸어두고 따로 추가적으로 리뷰는 하지 않겠습니다. 링크 본문을 참고해주시길 바랍니다! (clap도 많이 눌러주세요 ㅎㅎ)
Machine Learning & Deep Learning/Others
2020. 11. 27. 12:50
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/c7UoQe/btqF16l66ae/YJEe2sDwghiFszTqN2Dz8K/img.png)
이번 포스트에서는 qDKT: Question-centric Deep Knowledge Tracing에 대해서 알아보도록 하겠습니다. DKT, DKVMN등을 비롯한 대부분의 Knowledge Tracing 모델들은 학생의 knowledge를 skill-level로써 모델링합니다. 즉, 학생의 과거의 interaction = (skill_id, correctness)를 바탕으로 다음 문제의 skill에 해당하는 정오답을 예측합니다. 하지만, 같은 skill을 가지는 문제일지라도 문제 자체는 다르기 같은 skill의 서로 다른 문제들을 하나로 엮는 것은 정보를 잃는다고 생각할 수 있습니다. 또한, 문제의 skill이라는 것이 모든 데이터셋에 대해서 항상 존재한다고 볼 수도 없습니다. (일반적으로 skill은 ..
Machine Learning & Deep Learning/Others
2020. 7. 27. 00:04