이전에 프로덕트를 배포하고 난 후 효과를 측정하기 위한 방법을 고민하다가 인과추론에 대해 접하게 되었고, 간략히 정리한 내용을 작성해보려고 합니다. “상관관계가 인과관계를 설명하지 않는다” 라는 말을 자주 접했으며 이러한 내용으로 ‘심슨의 역설’, ‘Spurious correlation’, ‘Confounder’ 등의 현상과 변수가 생깁니다. 그렇다...

“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer” 논문은 google research 팀에서 발표한 내용으로 Text-To-Text Transfer Transformer(T5)는 전이 학습 기술을 찾는 경험적 연구들의 인사이트에 관한 내용입니다. ...

OpenAI에서 2018년에 발표한 “Improving Language Understanding by Generative Pre-Training”은 GPT(Generative Pre-trained Transformer)라고 불리는 언어 모델을 소개합니다. Ⅰ. Introduction unlabeled data에서 언어의 정보를 얻는 모델은 ...

드디어 해보고 싶었던 홈서버를 만들게 되었습니다. 기존의 노트북으로 WSL2를 실행하여 Linux 환경에서 블로그나 코드들을 관리해왔으나 노트북에서만 접속이 가능하고, 파일 관리가 용이치 않아 홈서버를 생각하고 있었습니다. 그러던 얼마전 Mac mini 14 late를 운좋게 얻게 되어 작성하게 되었습니다. Ⅰ. Ubuntu 현재까지 사...

출처 : 교보문고 머리말 초중고대까지 올라가는 삶을 살다가 사회에대해가알려준거처럼 ㄷ,ㅇ떠밀린다 하지만 삶을 살아가는법을 배우지못했고 다른계기들을 체통해 이것만이길이아니라는것을 깨닫는다. 이러한 청소년기아후의 ㅋ 방황하는 삶을 퉈터라이프라 칭하고 저자는 두종류위 ㅌ쿼터라이퍼의 종류와 목표를설명하고 발달과정을 설명한다. 자기ㅏㄴ의길을 찾으려는...

해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. I. GNN pre-training GNN은 아래의 반복적으로 이웃의 정보를 종합하여 노드 임베딩을 얻고, 노드 임베딩을 풀링하여 글래프 임베딩을 얻는 두 단계를 통해 전체 그래프에 대한 임베딩을 얻는다. Figure 1 : 분자 그래프에서 그래프 임베딩을 얻기 위한 과...

해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. I. Computational Biology GNN으로 질병이나 단백질 문제 같이 생물학에서 세포들이 네트워크의 형태로 상호 연관되어 있어 좋은 성능을 보입니다. 단백질 구조에서 특정 질병을 유발하는 군집이 존재하는 것을 Long-standing Paradigm Local...

해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. I. Scaling Up GNN to Large Graphs 현대에 그래프 적용은 추천 시스템, ML Task 유저 아이템 분류, 아이템 추천 등으로 많이 사용되는데 빅데이터 시대의 ML 모델은 large-data를 어떻게 학습시키는지 이야기합니다. Figure ...

해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. I. Limitations of GNNs GNN을 완벽히 정의하면 이웃 구조와 노드 임베딩 사이를 단사하는 함수라고 할 있다. 따라서, 완벽한 GNN은 아래와 같이 두가지 관점에서 설명이 가능하다. 두 노드가 같은 이웃 구조를 가지면 그들은 같은 임베딩을 가짐...

해당 내용은 개인적으로 정리한 내용임으로 틀린 부분이 있을 수 있습니다. 해당 챕터에서는 신경망을 이용해 그래프 생성 모델을 구축하는 것에 대해 배웁니다. I. ML for Graph Generation 그래프를 생성하는 Task에는 아래와 같이 두 가지가 존재합니다. 현실적인 그래프 생성 목표 지향 그래프 생성 이 중 첫...