해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. 앞선 포스트에서 Graph를 사용하는 이유와 표현하는 방법을 배웠었고, 이번에는 그래프에서 데이터의 특징을 살펴보자. I. Feature Design 효과적인 특징 \(x\)를 사용하는 것이 모델의 성능을 이끌어내는 중요한 key이다. 이전의 전통적인 ML 파이프...

개인적인 정리를 위한 내용으로 해당 도서에서는 다양한 예시를 통해 상세하고 직관적인 이해가 가능합니다. Chapter 1. 소개 해당 도서를 관통하는 주제는 지능적 에이전트로 인공지능이라는 것은 "환경으로부터 지각을 받고 동작을 수행하는 에이전트의 연구"로 정의된다고 한다. 1. 인공지능이란? 인공지능이 과연 무엇이고, 역사적으로 연구자들은...

해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. Standford 대학교에서 진행한 온라인 강의 ‘CS224W: Machine Learning with Graphs : Winter 2021’를 수강하며 정리하고자 포스트를 작성하게 되었습니다. I. Why Graphs? Figure 1:many type of g...

Transformer에서 self-supervised learning으로 어텐션 매커니즘이 활용되었습니다. 이러한 방법은 토큰(데이터)에 포함된 구조와 패턴을 이용하여 모델을 학습시키는 것으로 최근에 트랜스포머 기반의 다양한 모델들이 나왔습니다. 따라서, Meta Research의 발행된 내용을 참고하여 해당 내용에 대한 더 자세한 이해를 돕고자 합...

2017년에 Google Brain 팀에서 발표한 “Attention is all you need”에서 Transformer 기반의 구조를 제안했습니다. 트랜스포머는 NLP에서 대성공을 거두었고, seq2seq 모델. 즉, 순서가 있고, 출력 그 자체가 시퀀스인 모든 문제에 적합하여 DALL-E, GPT3 같은 언어모델의 기반이 되기도 합니다. ...

트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 “Attention is all you need”에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델입니다. 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서도 RN...

우리는 이전 포스트를 통해 DBN의 학습에 대해 배웠으며 DBN의 pre-trained 부분은 AutoEncoder 형식의 구조로 구성되었다는 것을 알게 되었습니다. 그런데 여기서 AutoEncoder 방식을 정확히 이해하고자 해당 포스트를 작성하게 되었습니다. AutoEncoder는 비지도 학습 방법인 신경망 기반의 기계학습 모델로 차원축소와 최대...

Restricted Boltzmann Machine(이하 RBM)은 심층 확률 모형을 구축하는 데 가장 흔이 사용되는 요소이며 ANN, DNN, CNN, RNN 등과 같은 타겟과 가설 간의 차이를 줄여서 오차를 줄이는 것이 목표인 결정적\(_{Deterministic}\) 모델들과는 다르게 확률 밀도 함수를 모델링 하는 것이 목표이다. Ⅰ. R...

이전에 Vanilla RNN 포스트 다음으로 RNN의 장기 의존성 구조 파악의 단점을 보완한 LSTM에 대해 포스팅을 해보려고 합니다. Ⅰ. LSTM(Long Short Term Memory) LSTM은 “Long Short-Term Memory”이라는 논문으로 1997년에 Hochreiter와 Jürgen Schmidhuber에 의해 개...

자연어 처리 과정을 몇몇 경험해보긴 했었지만, 정확히 자연어 처리가 무엇인지 어떻게 분류되는 지 이해하지 못하고 있었다. 따라서 이번 포스팅을 통해 NLP에 대한 기초적인 개요를 정확히 짚고 넘어가고자 한다. Ⅰ. NLP(Natural Language Processing) 자연어란? 사람들이 일상적으로 쓰는 언어(ex. 영어, 한국...