Ⅰ. Latex github, gitblog, VSC Markdown Preview 모두 math expression을 mathjax라는 JavaScript display engine for mathematics을 사용한다. 해당 mathjax engine은 LaTex와 MathML 등 다양한 문서 작성 도구를 사용하는데, 그 중 블로그 글을 ...

Git을 다루고는 있지만 Git branch를 어떻게 운용해야하는 지에 대한 내용은 잘 모르던 찰나 아래와 같은 git branch 전략을 소개하는 영상을 보고 흥미를 가지게 되어 정리하게 되었습니다. Ⅰ. Git Branch strategy Git Branch 전략은 팀이 협업하고 소스 코드를 관리하는 방법을 정의하는 것으로 영상에서는...

2021년에 Microsoft 연구팀에서 “LoRA: Low-Rank Adaptation of Large Language Models”라는 논문을 통해 대규모 언어 모델을 효율적으로 조정할 수 있는 기술을 제안하였습니다. 이는 사전 학습된 모델의 가중치를 고정(freeze)시키고, 학습 가능한 분해 행렬을 주입함으로써 작동합니다. GPT-3와 비교하여...

ResNet은 2015년에 microsoft 연구원들에 의해 제안된 “Deep Residual Learning for Image Recognition” 논문을 통해 제안된 아케텍쳐입니다. 현재까지 20만회가 넘어가는 인용수를 가지는 논문인 만큼 딥러닝 모델의 주요 기법 중 하나로 그래디언트 소실 문제와 신경망의 성능을 혁신적으로 개선하였습니다. ...

딥 러닝 모델의 발전으로 하드웨어적인 요구 사항도 높아져 모델 배포 측면에서 이러한 요구사항을 갖추지 못한 곳에서는 큰 제약이 따르게 되었습니다. 이러한 제약을 극복하고자 모델을 압축하는 다양한 방법들이 개발되었는데, 해당 내용들을 다루어 보겠습니다. Ⅰ. Model Compression Methods 상용 LLM 모델 중 하나인 “GPT-...

GPT3에서 사용된 few-shot learning의 이해를 돕고자 그 원리를 조금 더 이해해보고자 합니다. Ⅰ. Meta Learning 메타러닝은 다양한 학습 에피소드(즉, Task)가 주어졌을때 학습 방법 그 자체를 향상시키는데 초점을 둡니다. 해당 논문을 통해 메타러닝을 정의하고 분류체계를 알아보도록 하겠습니다. 메타러닝은 다양한 ...

이전 포스팅에서 explicit regluarization을 소개했습니다. 다음으로 Implicit regularization으로 흔히 사용되는 Data augmentation, EarlyStopping, Batch Normalization, Dropout 등을 소개하겠습니다. Label Smoothing(라벨 스무딩은 모델이 너무 확신하기 쉬운 예측...

다시한번 멀티모달에 대해 간략히하면 최근에 대두된 멀티모달은 Large scale의 데이터들로 LLM 기반의 모델들이 주를 이룬다고 합니다. 관련되어 ‘24년에 Large Multimodal Agent(LMA)에 관한 survey가 있어 짧게 요약하며 시작하겠습니다. Figure 1 : Top AI conference에 발표된 LMAs의 Miles...

ViT는 기존의 CNN을 대체하여 이미지에 트랜스포머 아키텍처를 적용하는 milestone이기에 관련된 내용을 한번 다루어 보겠습니다. 트랜스포머 아키텍처가 사실상 NLP 작업의 표준이 되는 동안, CV에서는 제한적인 적용을 보였습니다. 이미지의 전체적인 구조를 유지하면서 어텐션 매커니즘을 컨볼루션 네트워크와 결합하거나 대체하는 방식으로 CNN에 대...

OpenAI에서 2021년에 “Learning Transferable Visual Models From Natural Language Supervision”라는 이름으로 발표한 논문에서 CLIP이라는 모델을 소개합니다. Figure 1 : Overall CLIP Arcitectures 기존의 CV 시스템들은 추가적인 데이터의 레이블이 필요한 지도...