일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- bert
- math
- Transformer
- Private ML
- Residual Connection
- Model Compression
- Homomorphic Encryption
- matrix multiplication
- ICML
- KT
- attention
- Natural Language Processing
- NLP
- Computer Vision
- AI
- Copilot
- Machine Learning
- Language Modeling
- 자연어처리
- 동형암호
- Data Augmentation
- Pre-training
- Github Copilot
- GPT
- Deep learning
- 머신러닝
- 표현론
- 딥러닝
- Knowledge Distillation
- Knowledge Tracing
Archives
- Today
- Total
목록Knowledge Tracing (2)
Anti Math Math Club
Improving Knowledge Tracing via Pre-training Question Embeddings
IJCAI 2020에서 발표된 Knowledge Tracing관련 pre-training에 대해서 다룬 Improving Knowledge Tracing via Pre-training Question Embedding라는 논문입니다. 지금 다니고 있는 회사의 테크 블로그에 리뷰를 써 놓아서, 링크만 걸어두고 따로 추가적으로 리뷰는 하지 않겠습니다. 링크 본문을 참고해주시길 바랍니다! (clap도 많이 눌러주세요 ㅎㅎ)
Machine Learning & Deep Learning/Others
2020. 11. 27. 12:50
qDKT: Question-centric Deep Knowledge Tracing
이번 포스트에서는 qDKT: Question-centric Deep Knowledge Tracing에 대해서 알아보도록 하겠습니다. DKT, DKVMN등을 비롯한 대부분의 Knowledge Tracing 모델들은 학생의 knowledge를 skill-level로써 모델링합니다. 즉, 학생의 과거의 interaction = (skill_id, correctness)를 바탕으로 다음 문제의 skill에 해당하는 정오답을 예측합니다. 하지만, 같은 skill을 가지는 문제일지라도 문제 자체는 다르기 같은 skill의 서로 다른 문제들을 하나로 엮는 것은 정보를 잃는다고 생각할 수 있습니다. 또한, 문제의 skill이라는 것이 모든 데이터셋에 대해서 항상 존재한다고 볼 수도 없습니다. (일반적으로 skill은 ..
Machine Learning & Deep Learning/Others
2020. 7. 27. 00:04