| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Computer Vision
- Pre-training
- Copilot
- 동형암호
- attention
- Homomorphic Encryption
- 머신러닝
- bert
- 표현론
- 자연어처리
- KT
- AI
- Machine Learning
- matrix multiplication
- Knowledge Tracing
- Transformer
- Deep learning
- Language Modeling
- Model Compression
- NLP
- Knowledge Distillation
- 딥러닝
- GPT
- Data Augmentation
- Natural Language Processing
- Github Copilot
- Residual Connection
- ICML
- Private ML
- math
Archives
- Today
- Total
목록Model Compression (1)
Anti Math Math Club
Patient Knowledge Distillation for BERT model compression
이번 포스팅에서는 EMNLP 2019에 accept된 Patient Knowledge Distillation for BERT model compression이라는 논문을 리뷰하도록 하겠습니다. Knowledge Distillation(KD)이란 커다란 모델(teacher model)의 학습된 '지식'을 작은 모델(student model)로 '증류'하는 방법으로 모델의 크기를 줄이는 것을 말합니다. Hinton의 Distilling the Knowledge in a Neural Network라는 논문에서 처음 제안되었는데, 다음과 같은 순서로 진행합니다. 먼저 teacher model을 학습시킵니다. student model을 학습시킬 때, loss를 실제 학습에 사용되는 loss(예를들어, BCE lo..
Machine Learning & Deep Learning/Natural Language Processing
2021. 3. 25. 23:44