| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Natural Language Processing
- GPT
- Pre-training
- matrix multiplication
- bert
- 자연어처리
- Homomorphic Encryption
- 표현론
- AI
- Private ML
- Machine Learning
- Copilot
- ICML
- Github Copilot
- Residual Connection
- Computer Vision
- attention
- 동형암호
- Model Compression
- Language Modeling
- Data Augmentation
- Deep learning
- 딥러닝
- Knowledge Tracing
- 머신러닝
- Transformer
- NLP
- math
- KT
- Knowledge Distillation
Archives
- Today
- Total
목록Knowledge Distillation (1)
Anti Math Math Club
Patient Knowledge Distillation for BERT model compression
이번 포스팅에서는 EMNLP 2019에 accept된 Patient Knowledge Distillation for BERT model compression이라는 논문을 리뷰하도록 하겠습니다. Knowledge Distillation(KD)이란 커다란 모델(teacher model)의 학습된 '지식'을 작은 모델(student model)로 '증류'하는 방법으로 모델의 크기를 줄이는 것을 말합니다. Hinton의 Distilling the Knowledge in a Neural Network라는 논문에서 처음 제안되었는데, 다음과 같은 순서로 진행합니다. 먼저 teacher model을 학습시킵니다. student model을 학습시킬 때, loss를 실제 학습에 사용되는 loss(예를들어, BCE lo..
Machine Learning & Deep Learning/Natural Language Processing
2021. 3. 25. 23:44