BARTはTransformerをみちいた系列変換モデルの事前学習である。
多くのTransformerモデルとおなじように、ノイズを入れたテキストからもとのテキストを復元できるようにモデルを訓練するが、BARTの特徴は、ノイズの作り方に制限がないところにある。
比較したノイズの作り方は、ランダムに選んだトークンから文書を始めることで回転する、BERTとおなじトークンのマスキング、トークンの一部の削除、文書中の文の順序の入れ換え、ある区間中にあるトークンをまとめて1つの[MASK]に置き換える方法の5種類である。
最後のトークンを1つのマスクキングするときに最もよい結果になった。
マスクに置き換える区間の長さは\(\lambda = 3\)のポアソン分布によって決まる。
Communicating Sequential Processes (CSP)は、あるプロセスの出力を別のプロセスの入力に渡し、入出力のあるプロセスを並行実行するプログラミングモデルである。 たとえば、GoのgoroutinesはCSPにもとづく軽量スレッドである。
Sentence-BERTは、テキストをコサイン類似度で意味の類似度を比較できる固定長のベクトルに変換できる。 BERTを2つのテキストを入力し類似度を出力するように訓練できるが、あるテキストに類似するテキストを求めたい場合には組合せ爆発が生じる。 Sentence-BERTは、類似度が定義されたテキストの組から、類似するテキスト同士を近い位置に写像できるように学習する。 ネットワークは、BERTを使ったシャムネットワークであり、重みを共有した2つのBERTに1つずつテキストを入力し、両方の出力を目的関数に入力する。
A Unified Architecture for Natural Language Processingは、複数のタスクの訓練データで重みの更新を繰り返すマルチタスクの深層学習である。 複数のタスクから順にあるタスクを選び、選んだタスクからランダムに取り出したサンプルで重みを更新するオンライン学習である。 ネットワークの層は、入力に近い方から、Word embedding、時間遅延ニューラルネットワーク(Time-Delay Neural Networks, TDNN)層、TDNN層の全時刻にわたる各ユニットの最大値を出力するMax Layer, 全結合層、ソフトマックスからなる。 Word embeddingのみタスク間で重みを共有し、後続の層の重みはタスクごとに異なる。
Hartleyは、Transmission of Informationで、通信システムの情報伝達性能を評価するために、情報の定量的な尺度を提唱した。 シャノンが1948年に情報エントロピーを発表する21年前である。 Hartleyは、通信内容の意味や解釈を捨象し、記号列の有限な候補からある記号列を選ぶことを情報みなした。 シャノンは、有限の候補から記号列を選択する考えを継承し、さらに、記号が順に確率的に選ばれるとみなすことでHartleyの情報量の定義を情報エントロピーに発展させた。
Go To Statement Considered HarmfulでEdger Dijkstraは機械語以外でのGO TO文の使用を批判した。 ソースコードは機械語にコンパイルされ、プログラムとして実行される。 ソースコードは静的な成果物であるが、プログラムは時間とともに変化する。 プログラマが理解しやすいのは、動的に変化する実行中のプログラムよりも静的なソースコードの方である。 したがって、ソースコードからプログラムの実行状態を予測できることがのぞましい。
Self-Attention with Relative Position Representationsは、TransformerのQKV注意機構に系列の要素間の相対位置をあたえる手法である。 Transformerは、RNNやCNNとはちがい、要素の位置をモデルにあたえる決まった方法をもたない。 Transformerの原論文は、正弦関数で要素の位置からベクトルを計算し、それを埋め込みベクトルに加算することで、位置情報をエンコードする。 正弦関数を使う理由は、訓練データにない長さの系列に対する汎化性能を周期性で上げられると仮定したからである。 提案手法は、この仮定を継承し、要素間の相対位置で位置情報をエンコードすることで、訓練データにない系列長の入力に対する汎化性能の向上をはかる。
Self-Adjusting Binary Search Treeは、スプレー木といい、ノードを参照するたびに、ノードを木のルートに移動させる抽象データ構造である。 参照、挿入、削除の償却時間計算量は、ノード数\(n\)の木であれば\(\log(n)\)である。 さらに、十分な数の参照にかかる時間計算量は、その参照の系列に最適化された二分探索木の計算量の定数倍におさまる。
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformerは、 複数の異なる自然言語処理を、統一的にテキストからテキストを生成する問題とみなした大規模な実験によって、自然言語処理への転移学習の応用に見通しをつけた。 この統一的なアプローチは、Text-to-Text Transfer Transformer(T5)と名づけられた。 既存の技術への理解を深めることを目的としており、新たなアルゴリズムの提案はない。 一方、調査する技術の限界を調べるために、大きなデータが必要であったことから、新たなデータセットColossal Clean Crawled Corpus(C4)が作られた。 C4には、Common Crawlから抽出された英語のテキストがふくまれる。