| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- attention
- 자연어처리
- matrix multiplication
- Language Modeling
- NLP
- Machine Learning
- AI
- Residual Connection
- GPT
- ICML
- Deep learning
- Data Augmentation
- Pre-training
- Natural Language Processing
- Homomorphic Encryption
- Github Copilot
- Model Compression
- Computer Vision
- Private ML
- Knowledge Tracing
- Knowledge Distillation
- Copilot
- 머신러닝
- 표현론
- 딥러닝
- KT
- bert
- 동형암호
- Transformer
- math
Archives
- Today
- Total
목록Knowledge Distillation (1)
Anti Math Math Club
Patient Knowledge Distillation for BERT model compression
이번 포스팅에서는 EMNLP 2019에 accept된 Patient Knowledge Distillation for BERT model compression이라는 논문을 리뷰하도록 하겠습니다. Knowledge Distillation(KD)이란 커다란 모델(teacher model)의 학습된 '지식'을 작은 모델(student model)로 '증류'하는 방법으로 모델의 크기를 줄이는 것을 말합니다. Hinton의 Distilling the Knowledge in a Neural Network라는 논문에서 처음 제안되었는데, 다음과 같은 순서로 진행합니다. 먼저 teacher model을 학습시킵니다. student model을 학습시킬 때, loss를 실제 학습에 사용되는 loss(예를들어, BCE lo..
Machine Learning & Deep Learning/Natural Language Processing
2021. 3. 25. 23:44