分類すべきデータには、正例と負例どちらか一方にのみ顕著にみられる特徴がある。 特徴選択をする場合、正例だけでなく負例の選択された顕著な特徴の割合も性能に影響する。 不均衡データの文書分類で、選択する割合を調整するほうが、予測性能を向上できたことを実験的に示した。 情報利得やオッズ比など単変量統計にもとづく特徴選択の場合、統計量の値によって暗黙的に決められた割合と異なる割合の場合の方が予測性能が高かった。
Weak Supervisionは、人手によるルールベースよりも効率良くノイズ交じりの教師データを生成する手法である。 表題の論文は、Weak Supervisionの手法であるSnorkelをGoogleで適用したケーススタディである。 Snorkelは、サンプルから推定したラベルを返す関数（ラベリング関数）を複数用意し、それをラベルなしデータに適用する。 その結果から関数の精度を予測し、個々の関数よりも高い精度でデータにラベルを与える。この関数をラベリング関数という。 Snorkel DryBellは、Snorkelのアルゴリズムをスケールさせるために、MapReduceに適用できるように修正された主要である。
ソース間の粒度や精度が揃っていることを前提とせず、LohとWainwrightらの手法でソースの精度を推定し、ソースのラベルよりも精度が高いラベルをデータに与えるWeak supervsionの手法である。
Snorkelは、不正確なラベルを許容した上で半手動で大量の教師データを生成するWeak supervisionの一種である。 Snorkelは、データを受け取りラベルの予測値か予測不可能であることを示す値を返す関数を使い、データにラベルを割りあてる。 このラベル付けする関数は、ラベリング関数と呼ばれ、データとともにSnorkelに与えられる。 ラベリング関数は人間が実装したルールベースな関数でよい。 Snorkelは、入力された複数のラベリング関数をデータに適用し、データ件数xラベリング関数の個数をサイズとするラベルの予測値の行列を作る。その後、真のラベルを予測するモデルを行列にあてはめ、サンプルにラベルごとの真のラベルについての確信度を出力する。
マイクロソフトにおける機械学習を応用したアプリケーションの開発についての調査結果をまとている。 著者らは、9人中の8名がMicrosoft Researchに所属し、本論文で2019年のICSEのSoftware Engineering in Practiceの分野でBest Paper Awardを受賞した。 主な貢献は、各チームにおける開発フローを9のステージに分けて解説したこと、機械学習を応用するアプリケーションやプラットフォームの開発におけるベストプラクティスを示したこと、機械学習を応用するアプリケーションの開発に固有の課題にまつわる論考の3つである。
不均衡データの特徴が二値分類の予測性能に及ぼす影響を理論づける論文である。 理論と実験を通じて、多くのケースにおいて、アンダーサンプリングによる均衡データのバギングで予測性能があがったことを示している。 バギングは、アンダーサンプリングによる偏りを抑えて予測性能を安定させるために使われる。 論文で扱うモデルは、SVMなどの学習で経験損失を最小化するモデルに限定されている。発表学会は2011年のICDMである。
不均衡データに対する二値分類の予測性能を能動学習で改善する。 学習器のマージン付近では正例と負例がよりバランスしていると仮定し、 マージン付近にあるデータを集めることで、均衡のとれたデータセットをあつめる。 具体的には、ラベルづけしたデータでSVMをオンライン学習し、無作為に抽出されたラベルのないデータの中で最も超平面に近いデータにラベルをつける手順をマージンの中にあるデータ数が変わらなくなるまでくりかえす。
蒸留(Distilling)は、既存のモデルの予測性能をできるだけ落とさずに、より小さいモデルを作るための手法である。 複数のモデルからなるモデルや正則化された大きなモデルのように予測性能は高いが、同時に計算コストも高くつく。 蒸留の目的は本番運用に耐えられるデプロイ可能なモデル作ることにである。 Distilling the Knowledge in a Neural Networkは、出力層の活性化関数に温度つきソフトマックスを使った多クラス分類のモデルを蒸留する手法を提案、評価した。
Extreme multi-label classificationの手法である。 Extreme multi-label classificationは、大量のラベルの候補からデータに関連する複数のラベルを推定するタスクである。 FastXMLは、決定木を弱学習器にしたアンサンブル学習であり、ノードを分割するための評価関数にnDCGを採用することで、学習時間を短縮し、予測精度を向上させた。
マルチリポジトリと比べたときのモノリシックリポジトリの長所と短所を調査した。 論文は2018年のICSEでGoogleから発表された。 調査方法はGoogle社のエンジニアへのアンケートとエンジニアの行動ログの分析が採用されている。 Googleではモノリシックリポジトリが採用されており、エンジニアがこれまで経験したマルチリポジトリが比較対象となっている。