word2vec doc2vec paragraph2vec topic2vec prodct2vec——paper 笔记

1. Distributed Representations of Words and Phrases and their Compositionality
   The Skip-gram Model
   Hierarchical Softmax
   Negative Sampling
   高频词的子采样
2. Distributed Representations of Sentences and Documents
   提出Paragraph Vector，结构和word2vec很像，唯一的区别，增加了para_id,paragraph vector代表缺失的上下文信息
   
   单词无序的paragraph vector
   

3. Topic2Vec: Learing Distributed Representations of Topics
   和单词在相同的语义空间学习topic的表示
   Word2vec
   
   Topic2vec
   
   
   

4. A Hierarchical Neural Autoencoder for Paragraphs and Documents

普通的seq2seq model是句子输入完成后进行encode和decode

Hierarchical Seq2seq model 是先进行encode-word encode-sentence decode-sentence decode-word

Hierarchical LSTM with Attention model 采用回退策略，通过连接当前decode阶段和输入句子来考虑哪部分输入对当前的decode起更大作用。

5. Convolutional Neural Networks for Sentence Classification
word用vector表示，CNN卷积计算h个单词，产生新的特征

6. E-commerce in Your Inbox: Product Recommendations at Scale
用自然语言模型的历史log建立和表示商品的低纬度表示

prod2vec-topK 根据product vector 计算和指定商品cos值最相似的K个item
prod2vec-cluster grouping similar products into clusters ,从簇中推荐item
user2vec 根据paragraph2vec思想，计算user2vec。

7. Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
Natural Language Inference 自然语言推理
希望提出像图像一样，一个通用框架学习句子的表示，可以迁移到其他任务上

encoder部分的结构