728x90 인공신경망(DL)/NLP4 Transformer / BERT, GPT Transformer의 장점과 주요 프로세스인 Self-Attention에 대해 이해하고 설명할 수 있다. 트랜스포머를 발표한 논문 제목은 왜 "Attention is All You Need"인지 설명할 수 있다. Positional Encoding을 적용하는 이유에 대해서 설명할 수 있다. Masked Self-Attention가 트랜스포머 구조 중 어디에 적용되며 어떤 역할을 하는지 설명할 수 있다. 기존 RNN과 비교하여 Transformer가 가지는 장점에 대해서 설명할 수 있다. GPT, BERT 그리고 다른 모델에 대해서 개략적으로 설명할 수 있다. GPT(Generative Pre-Training) 사전 학습된 언어 모델(Pre-trained LM)의 Pre-training과 Fine-tun.. 2021. 8. 22. Recurrent Neural Network, RNN 언어 모델 (Language Model) 통계 기반 언어모델을 이해하고 설명할 수 있습니다. 통계 기반 언어모델의 한계를 이해하고 이를 극복하기 위해 등장한 신경망 언어 모델의 장점을 설명할 수 있습니다. 순환 신경망 (Recurrent Neural Network, RNN) RNN의 구조와 작동 방식을 이해하고 설명할 수 있습니다. RNN의 장점과 단점을 설명하고 이해할 수 있습니다. LSTM & GRU LSTM과 GRU가 고안된 배경과 구조를 연관지어 설명할 수 있습니다. 두 방법의 차이에 대해서 설명할 수 있습니다. Attention Attention이 탄생하게 된 배경에 대해서 설명할 수 있습니다. Attention의 장점에 대해서 설명하고 Attention 으로도 해결할 수 없는 RNN의 구조적 .. 2021. 8. 22. 분산표현(Distributed Representation, word2Vec, FastText) 단어의 분산 표현(Distributed Representation) 원-핫 인코딩의 개념과 단점에 대해서 이해할 수 있습니다. 분포 기반의 표현, 임베딩이 무엇인지 설명할 수 있습니다. Word2Vec CBoW와 Skip-gram의 차이에 대해서 설명할 수 있습니다. Word2Vec의 임베딩 벡터를 시각화한 결과가 어떤 특징을 가지는지 설명할 수 있습니다. fastText OOV 문제가 무엇인지에 대해 설명할 수 있습니다. 철자(Character) 단위 임베딩 방법의 장점에 대해 설명할 수 있습니다. 정리 : https://github.com/codestates/AIB04_Discussion/discussions/18 분산표현 Distributer Representation 'good 과 beautifu.. 2021. 8. 21. NLP, Natural Language Processing 자연어처리 자연어처리를 통해 어떤 일을 할 수 있는지 알 수 있습니다. 전처리(Preprocessing) 토큰화(Tokenization)에 대해 설명할 수 있으며 SpaCy 라이브러리를 활용하여 토큰화를 진행할 수 있습니다. 불용어(Stop words)를 제거하는 이유를 설명할 수 있고, 불용어 사전을 커스터마이징한 후 해당하는 내용을 토큰화에 적용할 수 있습니다. 어간 추출(Stemming)과 표제어 추출(Lemmatization)의 차이점을 알고 각각의 장단점에 대해 설명할 수 있습니다. 등장 횟수 기반의 단어 표현(Count-based Representation) 문서-단어 행렬(Document-Term Matrix, DTM)을 이해하고 Bag-of-words 에 대해서 설명할 수 있습니다. TF-.. 2021. 8. 21. 이전 1 다음 728x90
