抄訳 Regularizing and Optimizing LSTM Language Models (2017)
LSTMをつかった言語モデルに正規化と最適化を適用し、実験でperplexityを評価した。 LSTMの実装に変更を加えない手法なので、NVIDIAやcuDNNなどの高速でブラックボックスなライブラリで実装できる。
Posts
抄訳 Deep Joint Entity Disambiguation with Local Neural Attention(2017)
当ページで紹介したEnd-to-End Neural Entity Linking(End-to-End) の著者らの先行研究にあたる。 End-to-EndがEntity LinkingのMention Detection(MD)とEntity Disambiguation(ED)の両方をアプローチの対象にしているのに対し、今回の論文はEDのみが対象となっている。 したがって、文章からmention（参照表現）が抽出されていることが前提にあり、提案の中心は、参照表現に対応するエンティティを候補の中から正しく求める手法にある。
抄訳 End-to-end Neural Entity Linking(2018)
背景
End to EndなEntity Linkingモデルのアーキテクチャを提案し、予測性能の評価実験で有用性を評価した。 実験のデータセットには、Entity annotationの評価に使える様々なデータセットを集めたGerbil Platformが使われている。そのうちのAIDA/CoNLLデータセットにおいて、提案手法は既存手法を超える予測性能を発揮した。
抄訳 DeepType: Multilingual Entity Linking by Neural Type System Evolution(2018)
既存のオントロジから型システムを構築するアルゴリズムと型システムによるEntity Linking(EL)を提案した。
DeepTypeにおける型は、Wikipediaのようなオントロジにおける関係を意味する。
たとえば、オントロジにHumanという根からinstance ofで結ばれる子ノードがあれば、IsHumanを型とみなす。
メモ Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data
概要
条件付き確率場（Conditional Random Fields, CRF）を提案し、品詞タグづけにおけるerror rateをもとに評価した。 評価の比較対象には、Maximum entropy Markov models(MEMMs)が採用されている。
抄訳 Bidirectional LSTM-CRF Models for Sequence Tagging(2015)
概要
NLPにおける系列ラベリングためのニューラルネットワークアーキテクチャの提案と評価がなされている。 このアーキテクチャは、当サイトで以前紹介したContextual String Embeddings for Sequence Labelingで応用されている。
抄訳 Contextual String Embeddings for Sequence Labeling(2018)
概要
表題の論文は、flairのアルゴリズムを提案、評価したもの。 論文は、テキストの系列ラベリングに向いた単語の分散表現モデルを提案し、 提案手法が予測性能において既存手法より優れいたことを実験的に示した。 本手法における単語の分散表現は、単語の字面だけでなく、文中における単語の出現位置によって決まる。 いいかえると、同じ単語であっても、文中における出現位置が異なれば、単語は異なる分散表現に変換される。 著者らは、分散表現に文脈の情報を含められることを強調して、提案手法をContextual String Embeddingsと名付けた。
メモ Universal Language Model Fine-tuning for Text Classification
概要
UMLFiTという、様々なNLPの問題に適用可能なファインチューニングの手法を提案、評価した。 評価手段として、6種のテキスト分類のタスクにおける既存手法とのエラー率の比較が採られている。 主要な評価として、100件のラベル付きデータだけでその100倍のデータを要した事前学習を用いない手法と同等の予測性能が出たことを報告している。
メモ metapath2vec: Scalable Representation Learning for Heterogeneous Networks
異種混合ネットワークから、ノード数x次元数の分散表現を獲得するための手法。 異種混合とは、企業、業界、ニュースなど複数の種類の概念がグラフのノードとして扱われていることを意味する。 獲得した分散表現を訓練データとして分類、クラスタリング、検索に応用し、既存手法と比較している。
Applying Deep Learning To Airbnb Search
概要
論文では、Airbnbが深層学習を宿泊先検索に適用した時の試行錯誤と結果を紹介している。 採用したモデルのアルゴリズムと特徴量エンジニアリングの説明が本稿の大部分を占める。 深層学習を試す以前はGBDTを採用おり、以下の順にアルゴリズムを変えていった。 当初は、アルゴリズムを段階的に高度にしていくつもりはなく、1.以前には複雑なアルゴリズムをいきなり試したが、失敗に終わっている。