深度學習11: 局部敏感雜湊(Locality-Sensitive Hashing, LSH)、隨機投影法(Random Projection)、最長共同子序列( Longest Common Subsequence, LCS)、社會意識(Social Awareness)、Grice’s Maxims四原則( Gricean maxims) Read moreDetails
深度學習10: BERT模型詞嵌入層(token embeddings、segment embeddings、position embeddings)、多頭注意力機制(Multi-Head Attention)、自注意力機制(Self-Attention)、遮罩多頭注意力機制(Masked Multi-Head Attention)、位置編碼(Positional Encoding)、局部敏感雜湊(Locality-Sensitive Hashing, LSH)、簽名矩陣(Signature Matrix) Read moreDetails
深度學習9:Word2vec模型(Skip gram 及CBOW)、GloVe模型(Global Vectors)、fastText 模型、ELMo模型(Embeddings from Language Model)、語義向量優劣評估、文句嵌入(sentence and document embedding)、BERT模型及BERT-family Read moreDetails
深度學習8:雙向長短期記憶模型(Bi-directional Long Short-Term Memory, BiLSTM)、Grid LSTM、修辭結構理論(Rhetorical Structure Theory, RST)、語義詞嵌入(Semantic Word Embedding)、詞向量(Word-vector encoding)、神經語言模型(Neural language model)、Word2vec模型 Read moreDetails
深度學習7:Elman RNN、Jordan RNN、回聲狀態神經網路(Echo State Network, ESN)、基於時間的反向傳遞演算法(Back Propagation Through Time, BPTT)、長短期記憶模型(Long Short Term Memory, LSTM)、門基循環單元(Gated Recurrent Unit, GRU) Read moreDetails