モデルの予測に説明をあたえる手法、Local Interpretable Model-agnostic Explanations (LIME)を提案する。 モデルが回帰や分類器であれば、アルゴリズムによらずLIMEを適用できる。 説明を与えたい事例近くにある事例を解釈可能なモデルに学習させ、解釈可能なモデルで予測を説明する。 また、個別の予測ではなく、モデル自体をよく説明する事例を集める手法Submodullar Pick (SP)-LIMEを提案する。
Yahoo! Labsで開発されたランキングのための能動学習の論文である。 提案手法は、Yahoo!検索エンジンでの採用実績がある。 手法は、Expected Loss Optimization(ELO)とよばれ、ベイズ決定則によって識別したときの損失の期待値が最大になるデータを選ぶ。 ELOに用いる損失関数にDCGを採用したExpected DCG Loss Optimization(ELO-DCG)を提案し、実験で評価した。
1999年に発表された教師なしの固有表現抽出の手法である。 発表時期が古いことに注意してほしい。 2つの手法が提案されている。 ひとつは、DL-CoTrainと呼ばれるルールベースの手法であり、教師なしデータに既存のルールを適用、適用結果から導出したルールを既存のルールに追加、をくりかえしてルールを増やす。 もう一方は、AdaBoostを応用したCoBoostとよばれる手法である。 ルールベースの手法のほうがCoBoostよりもよい実験結果であったので、前者のみを説明する。
ラベルの相関関係を学習し推論に利用するマルチラベルの線形モデルを提案した論文である。 相関関係のあるラベル集合を相関関係のないラベル集合に変換し、ラベルごとに分けて学習する手法、Label transformationを応用する。 分類器は、相関関係だけなく、学習データに与えられていないラベルを推定するように拡張できる。
クエリと文書を同じ低次元の空間に射影する深層学習のモデルを提案した論文である。 クエリと文書は、適合度合いが高いほど、近くに配置される。 教師データは、クエリと文書の組からなる教師データである。 実験では、商用検索エンジンから抽出した16510件のクエリと対応するWeサイトのタイトルがつかわれる。 Web文書の大量の語彙をあつかうために、語彙の増加に対して次元数を抑えるbag-of-wordsの手法、word hasingも提案した。
Doc2Vecのアルゴリズムとして採用されたニューラル言語モデルParagraph Vectorを提案した論文である。 bag of wordsは、文書の単語順を記憶せず、また、似た意味の単語ベクトルと無関係なベクトルを単語にわりあてる。 Paragraph Vectorは、文脈中の単語と抽出元のパラグラフから文脈の中心の単語をあてられるように学習することで、可変長文字列から固定長の文書埋め込みベクトルを生成できるようになる。 これにより、単語順と単語の意味を記憶したベクトルの生成を実現する。
GloVeは,コーパスに出現する単語の共起回数を学習するニューラル言語モデルである。 既存手法を単語の出現頻度の統計値つかう手法と対数双線形モデルに分類し、両者の長所を備え短所を補う手法として、GloVeを提案する。
BERTは、Bidirectional Encoder Representations from Transformersの略称で、Transformerのエンコーダー部で、順方向と逆方向のテキストからテキストの分散表現を生成する。 事前学習では、周辺のトークンからマスクされたトークンを推定する教師なしタスクのMaksed Language Model (MLM) と2つの文が隣接した箇所から抜きだされたかを判定するタスクのNext Sentence Prediction (NSP) でモデルを訓練する。