Search
Log In
Subscribe
Oliver Buchannon
Jason Lee

#efficient_models #foundation_models #generation #optimization #DDPM #GAN #Langevin dynamics #U-Net #compression #denoising score matching #diffusion #diffusion model #generative model #noise schedule #progressive lossy compression

노이즈에서 이미지를 되살리다🔄 - DDPM

Apr 14, 2026

•

4 min read

노이즈에서 이미지를 되살리다🔄 - DDPM

사진을 먼지로 갈아버린 뒤, 그 먼지에서 다시 원래 사진을 복원하는 법을 배우면 — 아무 먼지에서도 새 사진을 만들 수 있다는 것을 증명한 논문

Jason Lee
Jason Lee

#efficient_models #foundation_models #generation #object_detection #optimization #segmentation #COCO #ImageNet #Imagen #ResNet #batch normalization #bottleneck #deep CNN #degradation problem #identity mapping #

깊이의 벽을 허문 지름길🛣️ - ResNet

Apr 13, 2026

•

5 min read

깊이의 벽을 허문 지름길🛣️ - ResNet

신경망이 깊어질수록 오히려 성능이 떨어지는 역설을, '지름길(shortcut)'이라는 단순한 아이디어 하나로 해결하고 152층짜리 네트워크를 학습시킨 논문

Jason Lee
Jason Lee

#efficient_models #foundation_models #generation #optimization #vision_transformer #CLS #token #Imagen #ViT #Vision #Transformer #attention #image #classification #image #patch #embedding #inductive #bias #large-scale #pre-training #position #embedding

이미지를 문장처럼 읽는 법🌌👀 - ViT

Apr 12, 2026

•

5 min read

이미지를 문장처럼 읽는 법🌌👀 - ViT

NLP의 왕좌를 차지한 Transformer를 컴퓨터 비전에 데려와, 이미지를 16x16 퍼즐 조각으로 쪼개 문장처럼 읽게 만든 논문

Jason Lee
Jason Lee

#efficient_models #foundation_models #GPT #GPT-3 #autoregressive transformer #emergent #emergent abilities #few-shot learning #fine-tuning #in-context learning #language model #prompt engineering #scaling laws #sparse attention #zero-shot

크기가 곧 능력이다: GPT-3 💪

Apr 7, 2026

•

4 min read

크기가 곧 능력이다: GPT-3 💪

1,750억 개의 뉴런을 가진 언어 모델에게 예시 몇 개만 보여주면, 별도의 훈련 없이도 번역·요약·코딩까지 해내는 '만능 학습자'가 탄생한다는 것을 증명한 논문

Jason Lee
Jason Lee

#foundation_models #self_supervised #BERT #Masked Language Model #Next Sentence Prediction #Transformer #WordPiece #bidirectional #fine-tuning #pre-training #self-attention #transfer learning

BERT: 언어를 양방향으로 읽는 법👈👉

Apr 7, 2026

•

4 min read

BERT: 언어를 양방향으로 읽는 법👈👉

문장을 왼쪽에서 오른쪽으로만 읽던 AI에게, 빈칸 채우기 퀴즈를 내서 문맥 전체를 이해하게 만든 논문

Jason Lee
Jason Lee

#foundation_models #optimization #Encoder-Decoder #GPU #Machine Translation #Multi-Head Attention #Positional Encoding #Scaled Dot-Product Attention #Self-Attention #Sequence-to-Sequence #Transformer #attention

Attention만으로 충분하다☝️ Attention Is All You Need

Apr 6, 2026

•

4 min read

Attention만으로 충분하다☝️ Attention Is All You Need

번역기에서 순차 처리하는 통역사를 해고하고, 문장 전체를 한눈에 조망하는 감독관으로 대체한 논문 — 그리고 그 감독관이 현대 AI의 뇌가 되었습니다.

Jason Lee
Jason Lee

#efficient_models #foundation_models #multimodal #optimization #robotics_embodied #Chain-of-Thought #GRPO #GUI agent #RLVR #SFT #Zoom-in mechanism #agent #dense reward #function calling #grounding

3B로 24배 큰 모델을 이기다 💪

Apr 3, 2026

•

4 min read

3B로 24배 큰 모델을 이기다 💪

스마트폰 안에 살면서 화면을 '보고' 직접 버튼을 눌러주는, 클라우드 없이 작동하는 초소형 AI 비서를 만든 애플 머신러닝 리서처의 성과

Jason Lee
Jason Lee

#EfficientAI #FoundationModels #Optimization #A/Btesting #AppStoreranking #LLM #LLMasajudge #NDCG

작은 고추가 맵다🥵, AI도?

Mar 19, 2026

•

2 min read

작은 고추가 맵다🥵, AI도?

3B 파라미터 모델이 30B 거대 모델을 F1 스코어로 압도했습니다. Apple이 앱스토어 검색에 적용한 '작지만 똑똑한' 데이터 증강 전략, 그 비밀을 파헤칩니다.

Jason Lee
Jason Lee

#3DVision #FoundationModels #Generation #Optimization #Segmentation #Video #DLLM #Dream #LLaDA #denoising #denoisingdynamics #3D

AI의 거짓말🤫과 치아🦷, 의외의 공통점

Mar 19, 2026

•

3 min read

AI의 거짓말🤫과 치아🦷, 의외의 공통점

Jason Lee
Jason Lee
AI도 눈속임👀의 달인?

Mar 18, 2026

•

3 min read

AI도 눈속임👀의 달인?

Jason Lee
Jason Lee
AI도 역발상💁‍♂️이 통하네요?

Mar 17, 2026

•

3 min read

AI도 역발상💁‍♂️이 통하네요?

Jason Lee
Jason Lee