| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Knowledge Distillation
- matrix multiplication
- 동형암호
- Knowledge Tracing
- 머신러닝
- 표현론
- math
- Residual Connection
- bert
- Model Compression
- Language Modeling
- KT
- Computer Vision
- Natural Language Processing
- attention
- Deep learning
- 자연어처리
- Copilot
- Pre-training
- Data Augmentation
- Machine Learning
- Homomorphic Encryption
- NLP
- ICML
- 딥러닝
- Transformer
- Private ML
- AI
- Github Copilot
- GPT
Archives
- Today
- Total
목록Model Compression (1)
Anti Math Math Club
Patient Knowledge Distillation for BERT model compression
이번 포스팅에서는 EMNLP 2019에 accept된 Patient Knowledge Distillation for BERT model compression이라는 논문을 리뷰하도록 하겠습니다. Knowledge Distillation(KD)이란 커다란 모델(teacher model)의 학습된 '지식'을 작은 모델(student model)로 '증류'하는 방법으로 모델의 크기를 줄이는 것을 말합니다. Hinton의 Distilling the Knowledge in a Neural Network라는 논문에서 처음 제안되었는데, 다음과 같은 순서로 진행합니다. 먼저 teacher model을 학습시킵니다. student model을 학습시킬 때, loss를 실제 학습에 사용되는 loss(예를들어, BCE lo..
Machine Learning & Deep Learning/Natural Language Processing
2021. 3. 25. 23:44