JINWOOJUNG

본 포스팅은 서울대학교 강필성 교수님의 Transformer to LLaMA 강의자료 및 강의를 기반으로 공부한 내용을 정리하는 포스팅입니다. https://www.youtube.com/watch?v=Yk1tV_cXMMU&t=1021s08-2: Transformer Transformer는 Attention Mechanism을 바탕으로 NLP, CV 등 다양한 분야에 새로운 발전을 이끌어 낸 딥러닝 모델입니다. 본 포스팅에 앞서, Attnetion Mechanism을 공부하지 않은 경우 아래 포스팅에서 먼저 공부 하시는 것을 추천합니다.https://jinwoo-jung.tistory.com/148 [EECS 498] Lecture 17: Attention본 포스팅은 Michigan Univ.의 EECS..

PapaerVQA: Visual Question Answering IntroductionImage&Video Captioning 분야에서의 Computer Vision&Natural Language Processing&Knowledge Representation을 결합한한 연구는 최근들어 많이 진행되고 있다. 기존 Image Captioning Task의 경우 Image의 완벽한 이해 없이도 간단한 Word Statistics만으로도 SOTA 성능을 보이는 것으로 보아 이미지의 깊은 이해 및 추론 성능이 불필요함을 의미한다. 즉, Image Captioning Task가 생각보다 "AI-complete"하지 않음을 시사한다.Knowledge Representation : 인간의 지식, 정보 등을 기계가 ..

Vision Language Model(VLM)VLM은 Computer Vision과 Natural Language Processing을 결합한 모델로써, 이미지나 비디오와 같은 시각적 데이터와 텍스트 입력을 동시에 이해하고 처리할 수 있다. VLM TasksVisual Question Answering(VQA) & Visual ReasoningVQA는 시각 질의응답을 의미하며, 이미지와 질문을 동시에 입력받아 정답을 출력하는 태스크이다. 아래 그림과 같이, 그림과 질문을 입력으로 받아 단답형 정답을 도출하는 형태이며, 이 태스크의 초기 벤치마크로는 [VQA: Visual Question Answering (Antol et al., 2015)] 논문이 있다. VQA v1(2015) Benchmark는 ..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다. https://wikidocs.net/book/2155정규화 기법 중 동일한 의미지만 표기가 다른 단어를 통합하는 기법인 어간 추출(Stemming)과 표제어 추출(Lemmatization)에 대해서 알아보자. 표제어 추출(Lemmatization)표제어(Lemma)는 한국어로 '표제어','기본 사전형 단어'의 의미를 가진다. 표제어 추출은 단어들로부터 표제어를 찾아가는 과정으로, 단어들이 다른 형태를 가지더라도, 그 뿌리(기본) 단어를 찾아서 단어의 수를 줄이는 과정이다. 표제어 추출을 하는 가장 섬세한 방법은 단어의 형태학적 파싱을 먼저 진행하는 것이다. 형태소는 '의미를 가진 가장 작은 단위'라..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다. https://wikidocs.net/book/2155 Tokenization 전, 후에는 텍스트 데이터를 용도에 맞게 정제(Cleaning) 및 정규화(Normalization)을 수행하게 된다. 정제(Cleaning) : Corpus로 부터 Noise 제거정규화(Normalization) : 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만듦 Cleaning의 경우 Tokenization에 방해가 되는 요소를 제거하기 위해 Tokenization 전에도 사용되지만, 후에도 존재하는 Noise 제거 목적으로 사용된다. Cleaning불필요한 단어 제거Cleaning 에서의 Noise Data는 자..

들어가며하나의 Repository에서 여러명의 개발자가 개발하게 된다면, 일반적으로 각자의 Branch에서 개발한 뒤, main Branch로 병합하게 된다. 위 과정에서 가장 많이 일어나는 것이 충돌 문제이다. 이 과정에서 발생할 수 있는 문제들과 각각의 Branch에서 개발한 뒤 하나의 Branch로 병합(Merge) 하는 방법을 알아보자.  BranchBranch는 기존의 코드를 건드리지 않고 따로 개발할 수 있는 갈래를 의미한다. 일반적으로 main Branch에는 안정된 코드가 존재하고, 각각의 Branch에서 개발한 후 main Branch로 Merge하게 된다.  Branch 목록을 확인하기 위해서는 해당 Repository에서 git branch 명령어를 통해 확인할 수 있다. 현재 mai..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다.  https://wikidocs.net/book/21552D, 3D Data(Image, PCD)를 처리하는 과정에서 전처리가 요구되는 것처럼, 자연어 처리에서도 전처리가 필요하다. 자연어 처리에서의 전처리는 목적에 맞게 토큰화(Tokenization)&정제(Cleaning)&정규화(Normalization)을 수행하게 된다. 본 포스팅에서는 Tokenization에 대해서 알아보자. Word Tokenization자연어 처리에서 처리하는 데이터를 코퍼스(Corpus)라 한다. Corpus말뭉치자연어 처리에서 특정 목적에 따라 수집된 텍스트 데이터주어진 코퍼스에서 토큰(Token)이라 불리는 단위로 나누는..

본 포스팅은 [딥 러닝을 이용한 자연어 처리 입문]을 기반으로 공부한 내용을 정리하는 포스팅입니다.  https://wikidocs.net/book/2155 자연어 처리를 위한 텍스트 데이터를 전처리 하기 위해서는 몇몇 자연어 패키지가 요구된다. 이번 포스팅은 NLTK, KoNLPy 패키지를 설치 해 보자. 개발환경은 다음과 같다. 개발환경OS : Ubuntu 20.04GPU : NVIDIA GeForce RTX 4070 NLTKNLTK(Natural Language Tookit)은 자연어 처리를 쉽게 다룰 수 있는 라이브러리이다. Python 기반 라이브러리이기에 Python만 설치되어 있으면 설치하여 바로 사용이 가능하다. pip3 install nltk  NLTK를 통해 데이터 전처리는 NLTK T..