Raft

Raftについて 分散システムを勉強するのであれば、必ず必要となる。これだけ覚えておこう。 Replicate And Fault Tolerant Raftの目的 Raftアルゴリズムの目的は、分散システムにおける信頼性の高いリーダー選出とログレプリケーションを通じて、一貫性のある状態を維持することです。具体的には、複数のノードが協調して動作し、一つのノードが故障してもシステム全体としての一貫性と可用性を保つことを目指します。 raft demo site このサイトを見ると、ラフトの動作が詳細までわかることでしょう。 参考文献 youtube 目的を達成する手段 Raftアルゴリズムは、以下の手段を用いて目的を達成します：(これはそのまま、ラフトを開発した研究者のプレゼン（youtubeで見られる）で発表されていたものと同じ) リーダー選出： クラスタ内の一つのノードがリーダーとして選ばれ、他のフォロワーノードに対して命令を発行します。リーダーはクライアントからのリクエストを受け取り、ログにエントリを追加します。 リーダが死んだ際には新たにリーダを選出するようにプロトコルが組まれています ログレプリケーション： リーダーがクライアントからのリクエストを受け取ると、そのリクエストをログに記録し、そのログエントリをフォロワーノードに複製します。フォロワーはリーダーからの指示に従い、同じログを持つことで一貫性を保ちます。 ここは結構大事だけど、クライアントからデータを受け取るのはリーダだけです 安全性の確保： 特定の条件下でのみリーダーが選出されるようにし、ログのコミットが保証されることで、システムの安全性と一貫性を確保します。 例えば、フォロワーの過半数がログエントリを受け取った場合にのみ、そのエントリをコミットと見なします。 また、最新のログ状態を持っているサーバしかリーダになれないようになっています。 リーダーの失敗処理：リーダーが失敗した場合、残りのノードのうち一つが新しいリーダーとして選出されます。この選出プロセスは、タイムアウトと投票を用いて実現されます。 まとめるとこうです。 Leader election Log replication safety では、ここから詳細に写っていこうと思います。 前提知識 エージェント（各サーバの役割） サーバは３つの状態のうちのどれか follower : completely passive. Does no action. But if he doesn’t get heart beat from leader he gets anxious and try to become a leader. He tries to . They expect to get heart beat from leader. candidate: Sends RequestVotes RPCs to get elected as leader. leader: Replicate its log to the followers. Heart beats to maintain its leadershop If candidate or leader discovers higher terms RPC it gets back to follower. ...

出会いに感謝 類は友を呼ぶとは言ったものだが、やはり部署が同じ人というのは興味も似てくる。 とはいっても、まさかTiDBやcockroachDBのコントリビュータとお友達になれるとは思わないわけで。 尊敬しかない。自分はあきらめてしまった道を一人で突き進んでいったのだろう。 自分の弱さがふがいない。せっかく先陣を切ってくれた先人がいるのだから、これは後に続こうと思える。 ロールモデルがあると自分も頑張ろうと思えるわけで。こんなところで師匠に出会えるとは、、、最高すぎる。 ということで、もう一度、分散システムに挑んでみようと思う。 とりあえず今日話したことをメモ 今のデータベース、MySQLとかはレプリケーションという技術を使って、一つのデータベースのテーブルを複数のノードにレプリケーションしている。レプリケーションされたデータが存在するノードが読み取り専用になる。マスターと呼ばれるノードは一台で、書き込みはここにだけ行われる。 しかし、これでは書き込み速度がスケールしないという問題点が生じる。そこで、noSQLというやつが出てきたんだよね。しかし、noSQLは整合性を保つのが難しいという課題があったんだよね。 そこで出てきたのがnewSQLというやつだね。tidb等。これを使うとwriteを容易にスケールすることができる。という話だ。 ほほう。なるほど。 ちなみに、俺が大好きなandrew pavloがこんな論文を出している andrew pavlo これによるとnewSQLの必要十分条件は、 NewSQL system’s implementation has to use (1) a lock-free concurrency control scheme and (2) a shared-nothing distributed architecture まじか、これだけでいいのか。 この記事がすごくいい感じに論文をまとめてくれている。 データベースの種類 RDBMS: mysql, postgresqlなど noSQL: cassandra, dynamodb newSQL: TiDB, cochroachDB 自分が過去に書いたデータベース関係の記事を見返したい TiDBについて調べていた時期もありましたねー 流れ まずはraftについてちゃんと理解するのが大事だと思う。実は完全に理解したとはいいがたい。 分散データベースを作るならまずは分散してないデータベースを作れないといけない。ということで、CMUのbustubの講義は受けなおした方がいい。 分散システムを理化するためにデータ志向アプリケーションを読もう。頼んだ。 いきなりだが、TiDBを読み込もう。cochroachDBでもいいと思う。この時にdesign Docsを読むのがいいらしい。 その他の疑問 シャーティングという技術がある。 これは、データを複数のノードに分散して格納することで、検索速度を上げる方法。 RAID0（ストライピング）とはまた別なのね？ シャーディング（Sharding） 目的：データを分割して、複数のデータベースサーバに分散させ、スケーラビリティを向上させることです。 特徴： データベース全体を論理的に分割し、それぞれの部分を「シャード」と呼ばれる個別のデータベースに保存します。 各シャードは独立したデータベースとして動作し、特定のデータサブセットを保持します。 シャードは水平分割とも呼ばれ、特定のキー（例：ユーザーID、地域、日時など）に基づいてデータを分割します。 データの分割によって、単一のデータベースサーバにかかる負荷を分散させ、スケーラビリティとパフォーマンスを向上させます。 例： ユーザーIDに基づいて、ユーザーデータをシャードA、シャードB、シャードCに分割する。 ストライピング（Striping） 目的：データを分散してストレージパフォーマンスを向上させることです。主にデータの読み書き速度を向上させるために使用されます。 特徴： 単一のファイルやデータセットを複数のストレージデバイスに均等に分割して保存します。 各ストライプは連続したデータブロックを含み、ストライプ単位で並行して読み書きが行われます。 RAID（Redundant Array of Independent Disks）のコンセプトの一つであり、特にRAID 0が代表的です。 ストライピングは、ディスクI/O性能を向上させるために使用されますが、冗長性やフェールオーバーの機能はありません（特にRAID 0では）。 例： 1GBのファイルを4つのディスクに分割し、各ディスクに256MBずつ書き込む。 まとめ シャーディングは、データベース全体を複数のシャードに分割し、各シャードを異なるサーバに分散させることで、スケーラビリティとパフォーマンスを向上させる手法です。 ストライピングは、データを複数のストレージデバイスに均等に分割して並行して読み書きすることで、ストレージのパフォーマンスを向上させる手法です。 ストライピングとシャーティングの両方を使うことはできますか？