| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Pre-training
- 동형암호
- Private ML
- NLP
- Homomorphic Encryption
- Knowledge Tracing
- Github Copilot
- Computer Vision
- Residual Connection
- Natural Language Processing
- Data Augmentation
- matrix multiplication
- Transformer
- GPT
- 머신러닝
- 표현론
- Model Compression
- ICML
- Copilot
- Deep learning
- Machine Learning
- bert
- 자연어처리
- Language Modeling
- math
- Knowledge Distillation
- 딥러닝
- attention
- KT
- AI
Archives
- Today
- Total
목록ICML (1)
Anti Math Math Club
지극히 주관적인 Interesting papers in ICML 2021 (1) - Transformers and Attentions
몇주전에 올해 ICML에 accept된 논문들이 발표되었습니다. 그중엔 이미 다른 venue에서 봤었던 논문도 있고 (Synthesizer가 ICLR에서는 떨어졌지만 ICML에 붙었네요) 이름이 익숙한 논문(DeiT)들도 있습니다. 이 중에서 지극히 주관적이고 개인적인 판단에 의해서 오로지 제목만을 보고 재미있어보이는 논문들을 골라서 키워드별로 간단히 정리를 해보려고 했고, 가장 처음으로 검색해본 키워드가 "Transformer"와 "Attention"인데, 이 둘의 키워드를 포함하는 논문만 무려 37개가 있었습니다. ("Transformer"라는 키워드로 검색했을때는 19개가 나오는데, 여기에 "Attention"이라는 키워드로 검색하면 또 22개의 논문이 나옵니다) 원래는 글 하나에 키워드별로 간략하..
Machine Learning & Deep Learning/Others
2021. 7. 14. 21:29