| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
- math
- Pre-training
- Homomorphic Encryption
- 머신러닝
- AI
- Natural Language Processing
- 표현론
- ICML
- KT
- Data Augmentation
- 자연어처리
- Knowledge Distillation
- 딥러닝
- matrix multiplication
- Deep learning
- Transformer
- Knowledge Tracing
- Computer Vision
- Private ML
- Residual Connection
- Github Copilot
- attention
- Model Compression
- NLP
- Copilot
- bert
- 동형암호
- GPT
- Language Modeling
- Machine Learning
- Today
- Total
목록AI (2)
Anti Math Math Club
Advancing mathematics by guiding human intuition with AI
저번 포스팅에서는 Copilot을 이용해서 학부 수준의 수학 문제를 푸는 AI에 대해서 소개를 했습니다. 이번에는 AI가 실제로 학부 수준을 넘어선, 연구 수준의 문제를 푸는 데에 도움을 준 케이스에 대해서 이야기하고자 합니다. (저번처럼 문제를 푼게 아니라, 푸는데에 도움을 주었다는것이 중요합니다. 제 생각에는 실제로 연구 수준의 증명을 생성하는 AI가 나오려면 최소 10년은 더 있어야 할 것 같습니다.) 보통 사람들이 생각하는 AI는 스스로 생각하고 걸어다니고(?) 사람을 지배하는(??)걸 떠올리는 경우가 많은데, 실상은 몇년 전까지만 해도 강아지와 고양이 사진을 잘 분류해내는 숫자 덩어리에 불과했습니다. 이제는 고화질의 이미지와 비디오를 만들어내고 번역도 하고 글도 쓰고 작곡도 하고... 할 수 있..
지극히 주관적인 Interesting papers in ICML 2021 (1) - Transformers and Attentions
몇주전에 올해 ICML에 accept된 논문들이 발표되었습니다. 그중엔 이미 다른 venue에서 봤었던 논문도 있고 (Synthesizer가 ICLR에서는 떨어졌지만 ICML에 붙었네요) 이름이 익숙한 논문(DeiT)들도 있습니다. 이 중에서 지극히 주관적이고 개인적인 판단에 의해서 오로지 제목만을 보고 재미있어보이는 논문들을 골라서 키워드별로 간단히 정리를 해보려고 했고, 가장 처음으로 검색해본 키워드가 "Transformer"와 "Attention"인데, 이 둘의 키워드를 포함하는 논문만 무려 37개가 있었습니다. ("Transformer"라는 키워드로 검색했을때는 19개가 나오는데, 여기에 "Attention"이라는 키워드로 검색하면 또 22개의 논문이 나옵니다) 원래는 글 하나에 키워드별로 간략하..