2005年、StonebrakerとÇetintemelは、“One Size Fits All”で、ストリーミングデータを例に、あらゆる種類のデータをDMBSで管理できなくなったと主張した。 “One Size Fits All"については過去の記事で紹介した。 2003年に発表されたTelegraphCQは、そのようなドメイン特化のデータベースが必要とされはじめた初期のストリーミングデータのためのデータベースである。
スケーリング則によれば、Transformer型モデルのテストデータに対する交差エントロピーの損失は、のこり2つの要素がボトルネックにならないかぎり、パラメタ数、データ量、訓練時間とべき乗の関係にある。 パラメタをふやすほど損失を下げることができる。
Hoffmann et al. (2022) は、訓練に使えるFlop数が一定のときに、事前学習時の損失を効果的に下げるには、訓練時に参照するトークン数、パラメタ数を等しい比率でスケールすべきと結論づけた。 実験のために開発されたパラメタ数70BのモデルChinchillaはパラメタ数175BのGPT-3の性能を上回った。
しかし、訓練時の損失を目標まで下げるまでにかかるFlop数が少ないモデルほど、推論時もプロセッサの利用効率がよいとはかぎらない。 たとえば、パラメタ数の大きいモデルが小さいモデルよりも高いプロセッサの利用効率で訓練時の損失を目標以下にできても、推論に必要なFlop数はパラメタ数が多いモデルのほうが大きい。
Michael StonebrakerとUğur Çetintemelは、2005年にOne size fits allで、データウェアハウスとストリーミング処理をとりあげ、すべてのデータをRDBMSで管理する時代の終わりを主張した。 組織はデータベースを特定の用途ごとに使い分けるようになった。 しかし同時に、データベースの開発者は、どんなデータベースでも必要な仕組みをデータベースごとに実装しなければならなくなった。 どのようなクエリ言語を採用するデーターベースにもクエリ最適化が求められる。 一方、組織は複数のデータベースに分散したデータを統合しなければならなくなった。
Apache Calciteは、SQLの解釈、最適化、実行のためのフレームワークであり、複数のデータベースに分散したデータへのANSI標準のSQLでの問い合せを実現する。 データが複数のデータベースに分散していても、クライアントはデータが1つのRDBMSにあるかのようにSQLでCalciteに問い合せられる。
ある商品と一緒に買われやすい商品を小売の購買履歴から分析する初期の手法にMining Association Rules between Sets of Items in Large Databasesがある。 抽出される規則は、商品の集合と1つの商品のペアからなり、集合のすべての商品を買われるときに他方の商品も買われやすいことを意味する。 アルゴリズムは、規則を抽出するだけでなく、規則の確信度と支持度も計算する。 確信度は、規則の前提にある商品の集合を含むトランザクションのうち規則を満たすものの割合であり、規則の信憑性を意味する。 支持度は、すべてのトランザクションに対する規則に表れる商品を含むトランザクションの割合であり、規則を適用できる機会の多さを意味する。 アルゴリズムは、しきい値以下の支持度の規則を無視することで、現実的な速度で実行できる。
入力系列のラベルを推定できるようにTransformerのエンコーダーをファインチューニングするとき、エンコーディングの仕方に、Cross encoder (Wolf et al.) とBi-encoder (Mazaré et al.) がある。 Cross-encoderは、入力系列とラベルを連結した系列をエンコーダーに入力し、入力系列とラベルのペアのエンベディングからスコアを求める。 Bi-encoderは、入力系列とラベルを別のエンコーダーに入力し、それぞれのエンベディングの内積をスコアとする。
最初期におけるPOSTGRESの設計は、THE DESIGN OF POSTGRESで発表された。 POSTGRES少史によると、データモデルはThe POSTGRES data modelで、ルールはThe design of the POSTGRES rules systemで、ストレージはTHE DESIGN OF THE POSTGRES STORAGE SYSTEMで同時期に個別に論じられている。 THE DESIGN OF POSTGRESはPOSTGRESの全体像を解説する位置にある。
POSTGRESは、関係データベースINGRESの後継として開発された。 POSTGRESの目標は、複雑な型のオブジェクトやtriggerを扱え、クラッシュから回復する実装を単純化でき、光ディスクを利用できるようにしつつも、リレーショナルモデルから逸脱しないデータベースを維持することにある。
問題文から推論できない知識を必要とする自然言語処理のタスクの場合、Large Language Model (LLM) の事前学習による効果は限定的になる。 LLMのパラメタに知識がなければ回答できず、また、パラメタは正確な知識を記録する仕組みではない。 Retrieval Augmented Generation (RAG) は、LLMの外部から提供された知識を利用し、入力から推論できない知識にもとづく文書を生成する。
Retrieval Augmented Generation for Knowledge Intensive NLP Tasksは、文書の埋め込みベクトルを外部の知識に使うRAGであり、入力文で埋め込みベクトルを検索し、検索結果の上位の文書と入力文から文書を生成する。 文書の検索にはDense Passage Retriever (DPR) を、後の文書の生成にはseq2seqを使う。 DPRは、質問と文書を別々のBERTで埋め込みベクトルに変換し、質問に関係する文書と質問のベクトル間の内積を最大にするように学習する。 Faissなどの近似最近傍探索を利用すれば、実用可能な速度で推論できる。
ソーティングネットワークは、入次数と出次数が2のノードからなるグラフを理論にしたソートのアルゴリズムである。 ノードは、別々の辺から入力された値の大小関係を比較し、大きい方を一方、小さい方を他方の辺に出力する。 Sorting networks and their applicationsで提案された奇偶マージソートとバイトニックソートは、値によらず配列上の位置で比較する要素が決まるソーティングネットワークなので、並列計算に利用される。 どちらも長さ\(2^p\)の配列を\(\ln (\frac{1}{2})p(p+1)\)ステップでソートできる。
Billion-scale-similarity search with GPUsは、IVFADCによる量子化とBatcherのバイトニックソートを利用したGPUで実行するL2ノルムの近似最近傍探索である。 実装は、OSSのfaissとして公開されている。
オブジェクトのレプリカを複数のノードに分散するシステムにおいて、レプリカが非同期に更新された場合、後の同期で更新内容が衝突しうる。 Conflict-free Replicated Data Types (CRDTs) は、結び半束の関係にある状態をもつオブジェクトである。 オブジェクトに対する操作が非単調減少であれば、受理した操作の集合が等しいレプリカ同士を、受理した順番によらず同一の状態にでき、衝突を回避できる。