Yahoo! JAPANのOSS Cassandra貢献の今までとこれから

799 Views

October 17, 17

#Cassandra #OSS #NoSQL #大規模クラスタ #Apache Cassandra

スライド概要

2016年10月から１年間の、Yahoo! JAPANのOSS Cassandraへの貢献内容と、今後の貢献予定を紹介します。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 166.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

Yahoo! JAPANのサービス Media Search Video Answer Mail US JP News Membership Search C2C Payment Knowledge search C2C EC B2C EC Mail Local US JP Premium 5 Wallet YAHUOKU! Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Loco

Yahoo! JAPANのCassandraクラスタ規模 2017 6 3 50 2000+ 50TB 500,000 500,000 DCs Clusters Nodes Usages Read/sec Write/sec 1 50 Shared Special 10 Cluster Clusters Nodes / 50 50 Systems Systems Cluster Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. … 200 Nodes / Cluster

Yahoo! JAPANのCassandraユースケース広告サービスユーザDB デモグラ嗜好閲覧履歴 10 40 インプレッションライフログ行動履歴・・・・・・・・ 120 サービス個別DB Systems 50 7 データベースキャッシュメタデータメタデータ生成データ生成データ集約データ 20 集約データセッションデータレコメ・・・・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

10.

なぜOSS貢献 • お客様が求めるサービスを理解・構築できるエンジニア・デザイナの養成＝クリエイターズマインド • すべての結果を自分ごとに • 社外に対してオープンに • 困難なことにチャレンジ参考：https://about.yahoo.co.jp/hr/engineers/ctomessage.html 10 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

11.

12.

Yahoo! JAPANのOSS貢献の今まで 2016/10 – 現在、20件以上のチケットに関与 JIRA-ID 分類概要 CASSANDRA-5977 Nodetool nodetool cfstatsの出力フォーマットにJSONを追加する CASSANDRA-12486 Nodetool nodetool compactionhistoryの出力フォーマットにJSONを追加する CASSANDRA-12503 Nodetool nodetool netstatsの出力フォーマットにJSONを追加する CASSANDRA-8727 Nodetool nodetool に自動コンパクションステータス表示機能を追加 CASSANDRA-12279 Nodetool nodetool バグ修正 CASSANDRA-11720 Nodetool nodetool バグ修正 CASSANDRA-9430 Cqlsh cqlshにスタートオプションを追加 CASSANDRA-11032 Cqlsh cqlshバグ修正 CASSANDRA-11976 Cqlsh cqlshバグ修正 CASSANDRA-12150 Cqlsh cqlshバグ修正 CASSANDRA-12174 Cqlsh cqlshバグ修正 CASSANDRA-13262 Cqlsh cqlshバグ修正 12 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

13.

Yahoo! JAPANのOSS貢献の今まで 2016/10 – 現在、20件以上のチケットに関与 JIRA-ID or github url 分類概要 CASSANDRA-12555 CCM ネットワークエミュレータ機能の提案 https://github.com/pcmanus/ccm /pull/618 CCM Nodetool compact, cleanup, flush のサブコマンド指定を可能にする https://github.com/pcmanus/ccm /pull/620 CCM クラスタ名へのバリデーション追加 https://github.com/pcmanus/ccm /pull/627 CCM リファクタリング CASSANDRA-13125 本体 2.1 -> 3.0バージョンアップ時のデータ分割問題 CASSANDRA-11695 本体 JMXコネクション設定をcassandra.yamlに移行する CASSANDRA-11303 本体ストリーミング時のinboundトラフィック制限機能 CASSANDRA-12403 本体スロークエリログ出力機能 CASSANDRA-13001 本体プラッガブルスロークエリログ出力 CASSANDRA-13002 本体テーブル単位のスロークエリログ出力 CASSANDRA-13863 本体 Speculative retry時のread repair ON/OFF機能 13 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://github.com/pcmanus/ccm

14.

15.

機能追加：スロークエリログ出力誤ったスキーマ定義、クエリ実行はクラスタ全体の性能を劣化させることがあるそのようなクエリを直接把握する手段がCassandraにはなかったプロダクトエンジニア (システム) マルチテナント式クラスタ NoSQLチーム Slow query 15 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ?

16.

https://issues.apache.org/jira/browse/CASSANDRA-12403

17.

18.

[beta]

バグ修正：アップグレード時のデータ分割
Cassandra3系に、複数のコレクションカラムを含むテーブルへのinsertを行うと
パーティションが意図せず分割されてしまう問題
> CREATE TABLE test.test (

a int PRIMARY KEY,
b int,

a

b

c

d

e

14

1

null

null

null

14

null

{2, 3}

{4, 5}

6

c set<int>,
d set<int>,

※あるべき結果

e int );
> INSERT INTO test.test(a,b,c,d,e) VALUES
(14,1,{2,3},{4,5},6);

a

b

c

d

e

14

1

{2, 3}

{4, 5}

6

> SELECT * FROM test.test;

18

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

19.

https://issues.apache.org/jira/browse/CASSANDRA-13125

20.

21.

機能改善：speculative retryとread repair Speculative retry: 一時的な負荷などでレプリカノードが高速にデータもしくはダイジェストを返せない場合、コーディネータノードが別レプリカから思索的にデータもしくはダイジェストを取得する機能 Cassandra クラスタクライアント ① 21 ② ③ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

22.

機能改善：speculative retryとread repair 広告系システムで利用しているクラスタにて、 Cassandraバージョンを3.0.9 -> 3.0.12にアップグレードした結果 3.0.12のクラスタで speculative retryが大量発生通常およそ20msecの 99% read latencyが 200msecほどに悪化 3.0.11より、speculative retry後にread repairが動くようになったことによるものと推測 https://github.com/apache/cassandra/commit/48fed80162592f741bf29298e2064452d53de4d8 22 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://github.com/apache/cassandra/commit/48fed80162592f741bf29298e2064452d53de4d8

23.

機能改善：speculative retryとread repair JIRAチケットを起票し、speculative retry後のread repairを設定でオフにできる機能改善をコミッターと検討中 https://issues.apache.org/jira/browse/CASSANDRA-13863 23 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://issues.apache.org/jira/browse/CASSANDRA-13863

24.

25.

Yahoo! JAPANのOSS貢献のこれから分散型自動リペアツール • 運用上の課題 • • • 25 Repairがgc_grace_seconds以内に回りきらない Repair実行時にノードの性能が劣化する中央集権型のcassandra-reaperの検証と並行して、独自ツールの開発を実施中 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

26.

27.

28.

Yahoo! JAPANのOSS貢献のこれから datastax/cpp-driver改善：DN -> UNノードへのリクエスト集中問題 • 28 改善内容 • UNノードを検知した後、ランダム時間待ってからノードに接続する（Jitterの導入） • タイムアウト時の再リトライ間隔を等分ではなく徐々に遅らせ、クラスタへの負荷を軽減する（バックオフ、リトライ遅延） Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

29.

30.

31.

32.