| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- Model Compression
- Copilot
- KT
- 딥러닝
- AI
- matrix multiplication
- Deep learning
- Machine Learning
- 표현론
- Language Modeling
- attention
- bert
- Pre-training
- NLP
- Knowledge Distillation
- Knowledge Tracing
- 동형암호
- Computer Vision
- GPT
- Github Copilot
- Residual Connection
- ICML
- 머신러닝
- Transformer
- Natural Language Processing
- Private ML
- Data Augmentation
- math
- 자연어처리
- Homomorphic Encryption
Archives
- Today
- Total
목록ICML (1)
Anti Math Math Club
지극히 주관적인 Interesting papers in ICML 2021 (1) - Transformers and Attentions
몇주전에 올해 ICML에 accept된 논문들이 발표되었습니다. 그중엔 이미 다른 venue에서 봤었던 논문도 있고 (Synthesizer가 ICLR에서는 떨어졌지만 ICML에 붙었네요) 이름이 익숙한 논문(DeiT)들도 있습니다. 이 중에서 지극히 주관적이고 개인적인 판단에 의해서 오로지 제목만을 보고 재미있어보이는 논문들을 골라서 키워드별로 간단히 정리를 해보려고 했고, 가장 처음으로 검색해본 키워드가 "Transformer"와 "Attention"인데, 이 둘의 키워드를 포함하는 논문만 무려 37개가 있었습니다. ("Transformer"라는 키워드로 검색했을때는 19개가 나오는데, 여기에 "Attention"이라는 키워드로 검색하면 또 22개의 논문이 나옵니다) 원래는 글 하나에 키워드별로 간략하..
Machine Learning & Deep Learning/Others
2021. 7. 14. 21:29