목록Machine Learning & Deep Learning (24)

Anti Math Math Club

Advancing mathematics by guiding human intuition with AI

저번 포스팅에서는 Copilot을 이용해서 학부 수준의 수학 문제를 푸는 AI에 대해서 소개를 했습니다. 이번에는 AI가 실제로 학부 수준을 넘어선, 연구 수준의 문제를 푸는 데에 도움을 준 케이스에 대해서 이야기하고자 합니다. (저번처럼 문제를 푼게 아니라, 푸는데에 도움을 주었다는것이 중요합니다. 제 생각에는 실제로 연구 수준의 증명을 생성하는 AI가 나오려면 최소 10년은 더 있어야 할 것 같습니다.) 보통 사람들이 생각하는 AI는 스스로 생각하고 걸어다니고(?) 사람을 지배하는(??)걸 떠올리는 경우가 많은데, 실상은 몇년 전까지만 해도 강아지와 고양이 사진을 잘 분류해내는 숫자 덩어리에 불과했습니다. 이제는 고화질의 이미지와 비디오를 만들어내고 번역도 하고 글도 쓰고 작곡도 하고... 할 수 있..
Machine Learning & Deep Learning/Others 2022. 1. 27. 12:10
A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More

최근에 현생(?)을 사느라 좀 바쁘기도 했고, Vision Transformer가 나온 이후로 너무 Transformer 관련 논문만 쏟아지는 것 같아서 한동안 딥러닝 논문을 안 읽고 있었는데, 최근에 대학 수준의 수학문제를 딥러닝으로 풀었다는 논문이 나왔다고 해서 블로그를 켰습니다. 구글이나 페이스북같은 기업에서 쓴 논문이 아니고 MIT, Columbia, Harvard, Waterloo에서 쓴 논문인데, 저자 중에서 유일하게 눈에 들어오는 사람은 가장 마지막에 있는 Gilbert Strang이었습니다. 학부때 봤던 선형대수 교재를 쓴 MIT 교수님인데 요즘 이쪽으로 관심을 갖고 계시다는 소식은 어디선가 들었지만 여기서 보게 되니 신기하네요. 처음에 논문을 다운받으니 114페이지라고 해서 이걸 리뷰해야..
Machine Learning & Deep Learning/Others 2022. 1. 3. 23:31
Multiplying Matrices Without Multiplying

오랜만에 논문 리뷰 글을 쓰네요. 페이스북을 하다가 도저히 지나칠 수 없는 제목의 논문을 발견해서 읽어보았습니다. 제목은 Multiplying Matrices Without Multiplying, 즉 곱하기 안쓰고 행렬 곱하기인데, 이게 뭔 개소린가 싶어서 abstract를 읽어보니 (결과만 보면) 100배정도 더 빨라졌다고 하여 좀 더 자세히 읽어보았습니다. 이 논문에서의 문제 상황은 정말 일반적인 두 행렬을 곱하는 상황이 아닌, 조금 더 특수하지만 그래도 머신러닝을 하다보면 많이 접할 수 밖에 없는 상황을 가정합니다. 그리고 정확한 곱을 계산하는게 아닌 approximate matrix multiplication을 다룹니다(가장 대표적인 approximate matrix multiplication 알..
Machine Learning & Deep Learning/Algorithms 2021. 9. 11. 16:44
지극히 주관적인 Interesting papers in ICML 2021 (1) - Transformers and Attentions

몇주전에 올해 ICML에 accept된 논문들이 발표되었습니다. 그중엔 이미 다른 venue에서 봤었던 논문도 있고 (Synthesizer가 ICLR에서는 떨어졌지만 ICML에 붙었네요) 이름이 익숙한 논문(DeiT)들도 있습니다. 이 중에서 지극히 주관적이고 개인적인 판단에 의해서 오로지 제목만을 보고 재미있어보이는 논문들을 골라서 키워드별로 간단히 정리를 해보려고 했고, 가장 처음으로 검색해본 키워드가 "Transformer"와 "Attention"인데, 이 둘의 키워드를 포함하는 논문만 무려 37개가 있었습니다. ("Transformer"라는 키워드로 검색했을때는 19개가 나오는데, 여기에 "Attention"이라는 키워드로 검색하면 또 22개의 논문이 나옵니다) 원래는 글 하나에 키워드별로 간략하..
Machine Learning & Deep Learning/Others 2021. 7. 14. 21:29
Privacy Preserving Machine Learning (3) - Homomorphic Encryption

이전 포스트에서 Privacy를 보존하며 머신러닝을 할 수 있는 기법의 예시로 Federated Learning과 Differential Privacy에 대해서 알아보았습니다(혹시 이전 글을 읽어보시지 않았다면 한번쯤 읽어보는것을 추천드립니다). 시리즈의 마지막이 될 이번 글에서는 Homomorphic Encryption(동형암호)에 대해서 소개하도록 하겠습니다. 암호에 대해서는 많이들 들어보셨을거라고 생각합니다. 보안이라는 개념에 대해서 가장 많이들 떠올리는 예시가 바로 암호이며, 암호는 우리가 공개하고 싶지 않은 정보를 숨길 수 있도록 도와줍니다. 암호는 크게 대칭키 암호와 공개키 암호로 나눌 수 있는데, 예시를 들어 설명하자면 다음과 같습니다. 살다보니 갑자기 하늘에서 다이아 여러개가 떨어져서(?)..
Machine Learning & Deep Learning/Privacy Preserving ML 2021. 6. 16. 22:21
Privacy Preserving Machine Learning (2) - Differential Privacy

지난번 포스트에서는 Federated Learning에 대해서 알아보았습니다. 이번에는 Private Machine Learning 시리즈의 두번째, Differential Privacy에 대해서 소개하겠습니다. 먼저, 저희가 데이터 과학자가 되었다고 생각해봅시다. (이미 데이터 과학자이신가요? 축하드립니다!) 저희가 다룰 데이터는 민감한 정보를 포함하고 있는 의료 데이터로, 각 환자들의 진료 기록이나 설문 기록등을 담고 있습니다. 이 데이터를 이용해서 여러가지 분석을 하고 모델을 만드려고 하는데, 데이터 하나하나에 직접 접근하는것은 불가능하다고 가정합시다. 대신, 우리는 이 데이터들이 있는 DB에 여러가지 쿼리(query)를 날려서 그 결과를 얻을 수 있습니다. 예를 들어, 특정 환자의 질병 유무를 물..
Machine Learning & Deep Learning/Privacy Preserving ML 2021. 6. 13. 18:11
Privacy Preserving Machine Learning (1) - Federated Learning

머신러닝과 딥러닝이 각광을 받으면서 그에 대한 수요 역시 급증하게 되었는데요, (방대한) 데이터에 기반을 두고 있는 ML/DL 기술들을 이용함에 있어서 데이터의 보안에 대해서 한번쯤은 생각해 볼 필요가 있습니다. ImageNet과 같은 공개된 벤치마크 데이터셋의 경우 모든 연구자들이 자유롭게 연구에 사용할 수 있는 반면에, 의료 인공지능에서 사용되는 환자들의 데이터나 GPT-3와 같은 거대한 언어 모델을 사전학습 시키는데에 사용된 말뭉치(text corpus)의 경우 개인정보와 관련된 민감한 데이터가 포함되어있기 때문에 쉽게 구할수도, 구했다고 해도 쉽게 사용할 수도 없습니다. 작년에 발표된 Extract Training Data from Large Language Models라는 논문에서는 사전학습된 ..
Machine Learning & Deep Learning/Privacy Preserving ML 2021. 5. 31. 21:10
Constructions in combinatorics via neural networks

이번에는 기존에 이 블로그에서 리뷰하던 대부분의 딥러닝 논문들과는 성격이 좀 다르지만 굉장히 흥미로운 결과를 담고 있는 논문을 리뷰하고자 합니다. 저는 지금은 인공지능 관련 일을 하고 있지만 본업은 수학이며 학위를 진행중인 상태입니다. 그래서인지 인공지능 공부를 하면서 가장 궁금했던것은 인공지능이 정말로 논리적인 '사고'라는것을 할 수 있는지, 특히 수학적인 명제에 대한 '증명'을 스스로 할 수 있는지에 대해서 의문을 자주 가졌습니다. 예전에는 정말 머나먼 이야기라고 생각했지만, 요즘에는 생각이 조금씩 바뀌고 있습니다. 최근에 Lean이라는 언어를 이용해 수학의 매우 기본적인 공리들부터 시작해서 최신 이론들까지 컴퓨터로 formalize하려는 시도가 여러 사람들에 의해서 이루어지고 있고, 이 프로젝트의 ..
Machine Learning & Deep Learning/Others 2021. 5. 2. 14:22
이전 Prev 1 2 3 Next 다음