Posts

LLaMA Open and Efficient Foundation Language Models (2023)

スケーリング則によれば、Transformer型モデルのテストデータに対する交差エントロピーの損失は、のこり2つの要素がボトルネックにならないかぎり、パラメタ数、データ量、訓練時間とべき乗の関係にある。パラメタをふやすほど損失を下げることができる。

Hoffmann et al. (2022) は、訓練に使えるFlop数が一定のときに、事前学習時の損失を効果的に下げるには、訓練時に参照するトークン数、パラメタ数を等しい比率でスケールすべきと結論づけた。実験のために開発されたパラメタ数70BのモデルChinchillaはパラメタ数175BのGPT-3の性能を上回った。

しかし、訓練時の損失を目標まで下げるまでにかかるFlop数が少ないモデルほど、推論時もプロセッサの利用効率がよいとはかぎらない。たとえば、パラメタ数の大きいモデルが小さいモデルよりも高いプロセッサの利用効率で訓練時の損失を目標以下にできても、推論に必要なFlop数はパラメタ数が多いモデルのほうが大きい。

#Large Language Model

March 14, 2024

Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources (2018)

Michael StonebrakerとUğur Çetintemelは、2005年にOne size fits allで、データウェアハウスとストリーミング処理をとりあげ、すべてのデータをRDBMSで管理する時代の終わりを主張した。組織はデータベースを特定の用途ごとに使い分けるようになった。しかし同時に、データベースの開発者は、どんなデータベースでも必要な仕組みをデータベースごとに実装しなければならなくなった。どのようなクエリ言語を採用するデーターベースにもクエリ最適化が求められる。一方、組織は複数のデータベースに分散したデータを統合しなければならなくなった。

Apache Calciteは、SQLの解釈、最適化、実行のためのフレームワークであり、複数のデータベースに分散したデータへのANSI標準のSQLでの問い合せを実現する。データが複数のデータベースに分散していても、クライアントはデータが1つのRDBMSにあるかのようにSQLでCalciteに問い合せられる。

#Apache Calcite

March 10, 2024

Mining Association Rules between Sets of Items in Large Databases (1993)

ある商品と一緒に買われやすい商品を小売の購買履歴から分析する初期の手法にMining Association Rules between Sets of Items in Large Databasesがある。抽出される規則は、商品の集合と1つの商品のペアからなり、集合のすべての商品を買われるときに他方の商品も買われやすいことを意味する。アルゴリズムは、規則を抽出するだけでなく、規則の確信度と支持度も計算する。確信度は、規則の前提にある商品の集合を含むトランザクションのうち規則を満たすものの割合であり、規則の信憑性を意味する。支持度は、すべてのトランザクションに対する規則に表れる商品を含むトランザクションの割合であり、規則を適用できる機会の多さを意味する。アルゴリズムは、しきい値以下の支持度の規則を無視することで、現実的な速度で実行できる。

#アソシエーション分析

March 2, 2024

Poly-Encoders: Architectures and Pre-Training Strategies for Fast and Accurate Multi-Sentence Scoring (2019)

入力系列のラベルを推定できるようにTransformerのエンコーダーをファインチューニングするとき、エンコーディングの仕方に、Cross encoder (Wolf et al.) とBi-encoder (Mazaré et al.) がある。 Cross-encoderは、入力系列とラベルを連結した系列をエンコーダーに入力し、入力系列とラベルのペアのエンベディングからスコアを求める。 Bi-encoderは、入力系列とラベルを別のエンコーダーに入力し、それぞれのエンベディングの内積をスコアとする。

#Transformer

February 24, 2024

THE DESIGN OF POSTGRES (1986)

最初期におけるPOSTGRESの設計は、THE DESIGN OF POSTGRESで発表された。 POSTGRES少史によると、データモデルはThe POSTGRES data modelで、ルールはThe design of the POSTGRES rules systemで、ストレージはTHE DESIGN OF THE POSTGRES STORAGE SYSTEMで同時期に個別に論じられている。 THE DESIGN OF POSTGRESはPOSTGRESの全体像を解説する位置にある。

POSTGRESは、関係データベースINGRESの後継として開発された。 POSTGRESの目標は、複雑な型のオブジェクトやtriggerを扱え、クラッシュから回復する実装を単純化でき、光ディスクを利用できるようにしつつも、リレーショナルモデルから逸脱しないデータベースを維持することにある。

February 17, 2024

Retrieval Augmented Generation for Knowledge Intensive NLP Tasks (2021)

問題文から推論できない知識を必要とする自然言語処理のタスクの場合、Large Language Model (LLM) の事前学習による効果は限定的になる。 LLMのパラメタに知識がなければ回答できず、また、パラメタは正確な知識を記録する仕組みではない。 Retrieval Augmented Generation (RAG) は、LLMの外部から提供された知識を利用し、入力から推論できない知識にもとづく文書を生成する。

Retrieval Augmented Generation for Knowledge Intensive NLP Tasksは、文書の埋め込みベクトルを外部の知識に使うRAGであり、入力文で埋め込みベクトルを検索し、検索結果の上位の文書と入力文から文書を生成する。文書の検索にはDense Passage Retriever (DPR) を、後の文書の生成にはseq2seqを使う。 DPRは、質問と文書を別々のBERTで埋め込みベクトルに変換し、質問に関係する文書と質問のベクトル間の内積を最大にするように学習する。 Faissなどの近似最近傍探索を利用すれば、実用可能な速度で推論できる。

#Retrieval Augmented Generation

January 27, 2024

Sorting networks and their applications (1968)

ソーティングネットワークは、入次数と出次数が2のノードからなるグラフを理論にしたソートのアルゴリズムである。ノードは、別々の辺から入力された値の大小関係を比較し、大きい方を一方、小さい方を他方の辺に出力する。 Sorting networks and their applicationsで提案された奇偶マージソートとバイトニックソートは、値によらず配列上の位置で比較する要素が決まるソーティングネットワークなので、並列計算に利用される。どちらも長さ\(2^p\)の配列を\(\ln (\frac{1}{2})p(p+1)\)ステップでソートできる。

#Sorting Algorithm

January 14, 2024

Billion Scale Similarity Search With GPUs (2017)

Billion-scale-similarity search with GPUsは、IVFADCによる量子化とBatcherのバイトニックソートを利用したGPUで実行するL2ノルムの近似最近傍探索である。実装は、OSSのfaissとして公開されている。

#近似最近傍探索

January 1, 2024

Conflict-free Replicated Data Types (2011)

オブジェクトのレプリカを複数のノードに分散するシステムにおいて、レプリカが非同期に更新された場合、後の同期で更新内容が衝突しうる。 Conflict-free Replicated Data Types (CRDTs) は、結び半束の関係にある状態をもつオブジェクトである。オブジェクトに対する操作が非単調減少であれば、受理した操作の集合が等しいレプリカ同士を、受理した順番によらず同一の状態にでき、衝突を回避できる。

#Conflict-Free Replicated Data Types

December 31, 2023

Dense Passage Retrieval for Open-Domain Question Answering (2020)

あたえられた文書集合から事実についての質問に答えるオープンドメイン質問応答は、もとの集合から質問に関連する少数の文書集合を選び、選ばれた集合から解答を特定する二段階の手順に分けられる (Chen et al., 2017)。 Dense Passage Retrieval for Open-Domain Question Answeringは、最初の文書候補を限定する手順に、従来より使われているBM25のような疎なベクトルを出力するモデルにかわって、BERTが出力する密で次元数の少ないベクトルを応用する。

訓練方法は距離学習であり、質問と解答のベクトルの内積が大きく、解答以外の文章と質問の内積が小さくになるように、BERTの重みを更新する。負例を集めるために、無作為に選ばれた文章、BM25が最も高い文章、別の正例の文章を負例の文章に利用し比較したところ、BM25の高い文章と別の正例の文章を負例にするときに最もよい結果になった。

#質問応答

December 30, 2023