Deep Neural Networks for YouTube Recommendationsは2016年頃のYouTubeの推薦システムの解説であり、パラメタ数が10億の深層学習のモデルが使われている。 この数千億の学習データで訓練されたモデルはcandidate generationとrankingの2つのネットワークからなる。 candidate generationは、ユーザーのYoutube上の行動履歴から数百の推薦候補の動画を協調フィルタリングで選び出す。 協調フィルタリングは、ユーザーの埋め込みベクトルを、視聴した動画のIDや検索クエリのトークンが要素のスパースなベクトルで構成する。 rankingはcandidate generationで選ばれた動画の試聴時間を推定する。
peer-to-peerのファイル共有アプリケーション BitTorrentの分散ハッシュテーブルMainline DHTはKademliaをもとに実装されている。 Kademilaのノードやキーには160ビットのIDが割り当てられ、2つのIDの排他的論理和を両者の距離とみなす。 ノードは、ノード内に保存されたIDに近い宛先に再帰的にRPCを送り、IDを検索する。
Karger et al.による原典のConsistent Hashingは、CDNやKVSのノードの負荷を分散するために、ノードとキーを単位区間のハッシュ値に写像し、ハッシュ値で比べたときの最近傍のノードにキーを割り当てる。 ノードの追加と削除を繰り返してもキーの保存数が均等になるように、1つのノードに複数のハッシュ値を割りあてる。 キーと最も近いハッシュ値のノードにキーを保存する。 ノードの負荷をノードに保存するキーの数とすると、最大の負荷と平均の負荷の比率を高確率(\(1-\frac{1}{n^{\Omega(1)}}\))で\(1+\epsilon\)に抑えるには、\(\Theta(\frac{\ln n}{\epsilon^2})\)のハッシュ値を各ノードに割り当てなければならず、空間計算量はノードの数より大きくなる。
Inifinispanは有償インメモリーデータベースRed Hat Data GridのOSSとして提供されており、OIDCによるSSOの機能を提供するKeyCloakでキャッシュサーバとして利用できる。 Red HatはKeyCloakの開発も支援している。
Infinispanの用途は、InifinispanはRESPプロトコルを実装しているなど、RedisやMemcachedと近い。 公式ドキュメントでRedisやmemcachedを置きかえるユースケースを紹介されている。 Inifinispanは、Javaで実装されており、JavaのクライアントとJSR107のJCache APIで通信できる。 たとえば、クライアントは、CacheManagerでハッシュマップ構造のCacheを取得し、エントリを操作できる。
IEEE Internet Computingは、創刊20周年を記念し、時の試練を越えた論文にAmazon.com Recommendations Item to Item Collaborative Filteringを選んだ。 文献では、古典的な協調フィルタリングを、アイテム数次元\(N\)のベクトルでユーザーを表現し、類似するユーザーが選んだアイテムのうち、ユーザーが未選択のアイテムを推薦対象に選ぶ手法とみなされている。 提案されたItem to Item Collaborative Filteringは、アイテム同士の類似度を示す\(N\)x\(N\)次元の行列をオフラインで構築し、\(N\)や全ユーザー数に依存しないオンラインの計算量で、ユーザーが過去に選んだアイテムに類似するアイテムを推薦できる。
パラメタ数を増やせば多くの情報をモデルに学習させられるが、計算量も増える。 OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER (MoE) は、ゲートと数千規模の全結合層からなる層であり、ゲートの後に全結合層を並列に配置する。 ゲートは、サンプルごとに疎なベクトルを出力する。 各サンプルの推論において、ベクトルの0でない要素に対応する全結合層だけを計算対象に限定し、パラメタ数の増加と計算量の抑制を両立する。
LLMはウェブページ上の次のトークンを予測できるように訓練される。 指示に応じた出力になるようにLLMを訓練していないため、パラメタ数を増やしても、プロンプトに忠実で安全で便利な出力にできるとは限らない。 Training language models to follow instructions with human feedbackは、人間のフィードバックによる強化学習 (RLHF) により、プロンプトに対する望ましい順に順序づけられた出力で報酬モデルを訓練し、報酬モデルとPPOでGPT-3の方策を最適化した。 RLHFで訓練したパラメタ数1.3BのGPT-3 (InsturctGPT) の出力は、175BのGPT-3よりも人にとって望ましかった。
InstructGPTに採用したRLHFも、先行手法のDeep Reinforcement Learning from Human Preferencesのように、報酬関数のモデルを訓練する。 なお、先行手法についても過去に記事にした。 InstructGPTのRLHFには、報酬関数のモデルを生成する前に、GPT3をファインチューニングする手順がある。 このファインチューニングのための訓練データは、主にOpen AI APIで集めたプロンプトに40名の請負業者が適切な出力を書いて作成された。 報酬モデルの学習データを集めるときは、ファインチューニングされたモデルにプロンプトを入力し、プロンプトに対する複数の出力を収集し、業者に良い順に出力を順序づけてもらった。 プロンプトと順序つき出力を訓練データとして、スカラ値の報酬を出力する報酬モデルを訓練し、最後に、PPOで報酬モデルの出力に方策モデルを最適化した。
ReAct (Synergizing Reasoning + Acting) は、推論 (Chain of Thought) と行動 (Action) を織り混ぜた出力を促すプロンプトをLLMに与え、推論と行動両方の出力を改善する。 推論は行動の立案に使える情報を提供し、行動はLLM外部の情報を推論に提供することで互いを補完する。
Denoising Diffusion Probabilistic Modelsは、高品質な画像の生成することで、デノイジング確率拡散モデル（拡散モデル）の効果を示した。 拡散モデルは、観測データにノイズを徐々に加えるマルコフ過程を遡行する。 言いかえればノイズから観測データを生成するマルコフ過程である。 モデルにノイズを加える過程は拡散過程、遡行する過程は逆拡散過程とよばれる。 ノイズが徐々に除かれるデータの各時刻の状態を潜在変数、ノイズを除いたデータを観測変数とすれば、拡散モデルを潜在変数モデルとみなせる。 観測変数の尤度を現実的な計算量で求めるために、最尤推定に変分下限を応用する。
Li et al. (2018)とAghajanyan et al. (2020)は、Large Language Models (LLM) のファインチューニングにおいて、下流タスクに必要なパラメータ数はLLMのパラメタ数よりもはるかに少ないと主張する。 LoRAは、この仮説を支持し、ファインチューニングを避け、LLMの全結合層と線形結合するための2つの小さい行列を導入する。 LLMの重みを\(W_0\in\mathbb{R}^{d\times k}\) とすると、\(W_0+BA\ (B\in\mathbb{R}^{d\times r}, A\in\mathbb{R}^{r\times k}, r \ll\min (d, k))\)が下流タスクに最適な重みに近づくように、ファインチューニングにかわって\(W_0\)を更新せず\(B,\ A\)のみを更新する。 \(r\)が\(d, k\)よりも小さいので、\(W_0\)を更新するファインチューニングよりも学習時間は短い。 また、複数の下流タスクを入力に適用する場合、\(W_0x\)を共有できるので、推論に必要な計算も\(W_0\)を更新するファインチューニングより少ない。