해당 챕터에서는 같이 스터디를 진행한 종원님의 발표를 기반으로 총 세가지의 융합 기술로 Early, Joint, Late Fusion을 소개합니다. Ⅰ. Fusion Methodology ⅰ. Early Fusion Figure 1 : Early Fusion overview 해당 융합 방법은 멀티모달 입력 데이터를 초기(Earl...

멀티모달에서는 아래와 같이 두 가지 주요 과제가 있습니다. 입력을 수적 표현을 어떻게 하는가 머달리티를 어떻게 결합하는가 그 중 첫번째 과제를 다루기 위해 일반적인 딥러닝에서는 이미지나 텍스트를 잠재공간의 벡터로 임베딩하여 수치적으로 표현합니다. 이렇게 수치적인 표현을 가능하게 하려면 데이터셋이 필요하고, 언어모델과는 다르게 Visual...

2018년 BERT의 성공은 NLP 분야에서 “Gold rush”를 일으켰으며 OpenAI의 세 번쨰 GPT 아키텍처인 GPT-3가 큰 주목을 받았습니다. 원래의 GPT 아키텍처는 12개의 레이어로 구성된 Transformer 디코더로 구성되어 있습니다. 이러한 트랜스포머 언어 모델은 사전 학습된 모델 위에서 softmax 분류기를 초기화하고 미세조...

2018년에 구굴의 연구팀에 의해 발표된 BERT(Bidirectional Encoder Representations from Transforemr)는 Transfer learning을 통해 NLP에서 SOTA의 결과를 이끌어낸 아키텍처 중 하나입니다. 양방향으로 context를 받아 언어 모델링에 자연스럽게 맞지 않는 이유입니다. 이러한 목적에 관...

2018년에 context를 고려한 단어 표현을 학습할 수 있는 ELMo(Embeddings from Language Models)가 발표되었습니다. 이는 이전의 Word2Vec, GloVe의 context-independent한 단일 표현과 다르게 맥락을 고려하는 단어 표현을 임베딩한다는 것에 큰 의미가 있었습니다. Ⅰ. Introducti...

2016년에 Facebook에서 발표된 논문으로 단어 벡터를 풍부하게 만드는 새로운 임베딩 방법인 FastText1를 발표했습니다. 큰 규모의 라벨링 되지 않은 데이터에서 학습되는 단어 표현 벡터는 많은 NLP 작업에서 유용합니다. 유명한 모델들(GloVe, Word2Vec)은 각 단어로 구별하는 표현 벡터로 형태(?)\(_{morphology}\...

2014년에 나온 GloVe1(Global Vectors for Word Representation)이라는 논문을 통해 단어의 의미를 벡터 공간에 임베딩 하여 단어 간의 유사성과 관계를 표현할 수 있는 Word2Vec과 같은 기존의 기법과 마찬가지로 최근 자연어 처리 분야에서 큰 성공을 거두고 있습니다. 단어를 벡터 공간의 표현으로 변환하는 방법은 ...

NLP의 초기 발전 중 하나는 단어 내부의 표현을 학습하는 것입니다. 이전에 기계학습 알고리즘은 구조화되고 잘 정의된 고정된 길이의 입력을 선호하고, 텍스트보다 숫자가 더 잘 작동합니다. 따라서 기본적인 방법으로 원핫 인코딩이나 bag-of-words로 text를 숫자의 equivalent vector로 정보 손실없이 변환하였습니다. Figure...

이전에 Graph 스터드를 진행하면서 ~한 논문 소개를 보면서 각 모달리티가 가지는 특징 벡터를 활용하여 멀티모달 모델을 만드는 것을 보면서 멀티모달과 최근 트렌드들을 접하면서 멀티모달에 관심이 생겼었습니다. 운이 좋게도 가짜연구소에서 “Multimodal이 가진 Infinite Dimensions 살펴보기”라는 스터디에 참가하게 되었습니다. 멀티...

정규화\(_{Regularization}\)이라고 불리는 해당 방법은 모델이 학습 데이터에 대해 과하게 적합되는 현상을 방지해 일반화 성능을 높이기 위한 방법이라고 합니다. 학습 데이터를 외우는 것을 방지하고 학습이 보다 안정적이고 빠르게 만들어 줍니다. 이번 포스팅을 통해 이전부터 궁금했던 정규화 기법에 대해 공부한 내용을 정리하도록 하겠습니다. ...