일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- ICML
- math
- Model Compression
- Computer Vision
- 머신러닝
- Copilot
- Natural Language Processing
- Language Modeling
- 동형암호
- GPT
- Knowledge Distillation
- 자연어처리
- 딥러닝
- Github Copilot
- Transformer
- 표현론
- KT
- Data Augmentation
- Knowledge Tracing
- AI
- NLP
- Machine Learning
- bert
- Deep learning
- Homomorphic Encryption
- Private ML
- attention
- matrix multiplication
- Pre-training
- Residual Connection
- Today
- Total
목록Machine Learning & Deep Learning/Privacy Preserving ML (3)
Anti Math Math Club
이전 포스트에서 Privacy를 보존하며 머신러닝을 할 수 있는 기법의 예시로 Federated Learning과 Differential Privacy에 대해서 알아보았습니다(혹시 이전 글을 읽어보시지 않았다면 한번쯤 읽어보는것을 추천드립니다). 시리즈의 마지막이 될 이번 글에서는 Homomorphic Encryption(동형암호)에 대해서 소개하도록 하겠습니다. 암호에 대해서는 많이들 들어보셨을거라고 생각합니다. 보안이라는 개념에 대해서 가장 많이들 떠올리는 예시가 바로 암호이며, 암호는 우리가 공개하고 싶지 않은 정보를 숨길 수 있도록 도와줍니다. 암호는 크게 대칭키 암호와 공개키 암호로 나눌 수 있는데, 예시를 들어 설명하자면 다음과 같습니다. 살다보니 갑자기 하늘에서 다이아 여러개가 떨어져서(?)..
지난번 포스트에서는 Federated Learning에 대해서 알아보았습니다. 이번에는 Private Machine Learning 시리즈의 두번째, Differential Privacy에 대해서 소개하겠습니다. 먼저, 저희가 데이터 과학자가 되었다고 생각해봅시다. (이미 데이터 과학자이신가요? 축하드립니다!) 저희가 다룰 데이터는 민감한 정보를 포함하고 있는 의료 데이터로, 각 환자들의 진료 기록이나 설문 기록등을 담고 있습니다. 이 데이터를 이용해서 여러가지 분석을 하고 모델을 만드려고 하는데, 데이터 하나하나에 직접 접근하는것은 불가능하다고 가정합시다. 대신, 우리는 이 데이터들이 있는 DB에 여러가지 쿼리(query)를 날려서 그 결과를 얻을 수 있습니다. 예를 들어, 특정 환자의 질병 유무를 물..
머신러닝과 딥러닝이 각광을 받으면서 그에 대한 수요 역시 급증하게 되었는데요, (방대한) 데이터에 기반을 두고 있는 ML/DL 기술들을 이용함에 있어서 데이터의 보안에 대해서 한번쯤은 생각해 볼 필요가 있습니다. ImageNet과 같은 공개된 벤치마크 데이터셋의 경우 모든 연구자들이 자유롭게 연구에 사용할 수 있는 반면에, 의료 인공지능에서 사용되는 환자들의 데이터나 GPT-3와 같은 거대한 언어 모델을 사전학습 시키는데에 사용된 말뭉치(text corpus)의 경우 개인정보와 관련된 민감한 데이터가 포함되어있기 때문에 쉽게 구할수도, 구했다고 해도 쉽게 사용할 수도 없습니다. 작년에 발표된 Extract Training Data from Large Language Models라는 논문에서는 사전학습된 ..