Posts by Category

paper review

Attend to You: Personalized Image Captioning with Context Sequence Memory Networks Review

Abstract 다양한 타입의 context 정보에 대한 저장소로 memory를 이용, 이전에 생성된 단어들을 memory에 추가, CNN을 이용해는 memory 정보를 추출하는 과정을 통해 개인화된 captioning을 할 수 있었다.

A Hierarchical Latent Variable Encoder Decoder Model for Generating Dialogues Review

Abstract RNN의 hidden state는 해당 문장내에서의 token의 정보를 요약하는 데 집중하기 때문에, 오래 전의 문장들에 대한 정보는 잘 저장하지 못했다. 하지만 VHRED의 경우, 현재 time step에서의 context RNN의 output과 다음 sub...

A Hierarchical Recurrent Encoder Decoder for Generative Context Aware Query Suggestion Review

Abstract 임의의 길이를 갖는 이전 쿼리 sequence를 고려할 수 있는 확률적 suggestion 모델이다. 즉, 맥락을 알아내 generation하는 모델이다. 각각의 encoder와 decoder에 GRU를 이용했고 LTR 알고리즘을 사용했다. HRED를 사용하니...

End to end Sequence Labeling via Bi directional LSTM CNNs CRF Review

Abstract 어떤 전처리도 필요하지 않은 end-to-end sequence labeling을 했다. bi-directional LSTM, CNN, CRF을 한꺼번에 사용했다. CNN을 이용해 char representaion을 만들어내고, word-embeddings와...

Improved Semantic RepresentationsFrom Tree-Structured LongShort-TermMemory Networks Review

1. Long Short-Term Memory Networks

Concrete RNN Architectures

Simple RNN (SRNN) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU).

Recurrent Neural Networks - Modeling Sequences and Stacks(RNN)

Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank Review

Recursive Neural Models

Back to top ↑

lecture note

[Stanford NLP] Lecture 9-Machine Translation and Advanced Recurrent LSTMs and GRUs

traditional machine transaction은 생략했다

[Stanford NLP] Lecture 8-Recurrent Neural Networks and Language Models

[Stanford NLP] Lecture 6-Dependency Parsing

강의 출처: https://www.youtube.com/watch?v=PVShkZgXznc&index=6&list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6

[Stanford NLP] Lecture 5-Backpropagation

강의 출처:

[Stanford NLP] Lecture 3 GloVe-Global Vectors for Word Representation

강의 출처:

Back to top ↑

explanation

Word Tensor Review

Word Tensor 만약 word vector를 3D tensor로 만들면 어떨까? tensor가 문서 z내에서 단어 x와 단어 y의 관련성을 나타낸다면 doc2vec과 비슷할 것이다. 그래서 word vector뿐만 아니라 document vector또한 얻을 수 있다...