もう 1 週間以上前になりますが、db tech showcase に 12/7・8 の 2 日間、オフライン開催としては初参加してきました。
目的のセッション
当初は 12/7 の 1 日だけ参加する予定で、TiDB をメインに Alibaba Cloud と Tsurugi のセッションを見てくる予定でした。
ただ、AWS の re:Invent 2023 を受けて、AWS 星野さんより
db tech showcase 12/8 I-22のセッション後(15時〜)、AWSブースにて、Limitless databaseやAuroraの質問・ご相談をしていただけるようにブースにて待機しておりますー
— con_mame (@con_mame) 2023年12月6日
のポストがあったので、予定を追加して 12/8 も参加することに。
AWS の 2 つのセッションと Azure・Google Cloud それぞれのベクトル検索、MySQL HeatWave のセッションを見てきました。
全体的な印象は、
- Tsurugi の Serialization の考え方は予想の斜め上で面白かった
- TiDB の「RDB を分散 DB 化することによる弱点」が(使い方次第ではあるものの)当初の想像ほどには思ったほど問題にならなさそう
- ベクトル検索は pgvector 祭り状態
- AWS については Aurora Limitless Database よりも Aurora zero-ETL 統合での Redshift データ転送など「ストレージ層で実現している機能」の話を聞くことができて良かった
- zero-ETL 統合を使う上で Aurora MySQL は enhamced binlog、Aurora PostgreSQL は enhanced logical replication 必須
でした。
12/7(木)12:00 〜
Tsurugi についてはセッション内容が公開される前に「Tsurugi 枠」という認識だけで参加したのですが…
お昼ごはんをいただく。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
なおいろんな意味で消化不良になりそうなセッションを申し込んだ。#dbts2023 pic.twitter.com/UKJ7LTn9dG
いざ来てみると一番難しそうな話がよりにもよってランチセッションとは。
「お前が知ってるSerialization orderとここから話すSerialization orderは違う」的な。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
正直理解できたとは思いませんが、常識が覆るような話で面白かったです。
PolarDB最近触ってないなー。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
(あまりにも触ってなくてプレゼント付きのアドカレ企画に参加できず)#dbts2023
なるほどPostgreSQLのほうも移行したのか(数年前の時点でPolarDBのOracle互換じゃないほうのPostgreSQLは「おまけ」みたいな扱いだった気が)。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
触ってた当時は「Oracle 互換版のベースとしての PostgreSQL 互換版」みたいな扱いだったような。
ゲームはMySQL 8.0で予約語「rank」に引っかかりがちw
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
(人類はなぜ最初からクォートしないのか)#dbts2023
引き続きAlibaba Cloud。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
分析系は触ったことがないので。#dbts2023
予想していた分析系の話とはちょっと違ってダッシュボードなど可視化の話でした(セッション案内にちゃんと書いてあったのに見落としてた)。
ちょっと前にPolarDBで点群データ扱えるようになってたのももしかしてDigital Twin(s)に繋がっていたのかな?#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
なるほど同じBIツールへのAI導入でも、QuickSight Qとは違う方向に使ってるのか(Quick BIでは可視化内容の調整を自然言語で指示)。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
ここからTiDBのセッション4つ。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
MySQLっぽい人(?)の顔がちらほらと。#dbts2023
Limitless DBの登場であっちに戻ってく可能性もありそうに思ったけどネックはRedshiftのほうだったのか。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
よく考えれば Redshift をうまく使えない/マッチしないことが理由で AWS で揃えるのを避ける/やめた話はまあまあよくありますね。
MySQL互換という意味ではPKだけは気を使わないといけないのかな?#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
この後のセッションで出てきますが「ある程度までは気にしなくても良さそう」でした。
5000兆円じゃなかった。#dbts2023 pic.twitter.com/gR8kFEsesT
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
楽天ポイント、だいたいガソリン代の一部に充当されてる。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
楽天さん、DBaaS ではなくオンプレでの(コミュニティ版)採用事例だったようで。
TiDB3セッション目、ますますMySQLっぽい人たちが集結w
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
(だいたい予想どおり)#dbts2023 pic.twitter.com/YKKBwiApGJ
濃い人たちが集まって来ました。
「容量の三谷、数の北川」#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
それぞれ違う意味での「大規模」検証事例紹介になっていましたが、これはセッションの企画段階で意図していたのでしょうか?それともたまたま?
AUTO_INCRENENTはデフォルトでは単調増加にならない(分散DBなのでそれはそう)。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
→でも世界中からクレーム(泣)#dbts2023
人類、完全な連番を求めすぎ。
自動的なリシャードが進むまでは性能が出なくて、進んでからは伸びて行った、と。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
シャードキーとしての PK の選択を間違えてテーブルを作ってしまうとあまり伸びないんだろうな、と想像。
さすがにラストはちょっと人が減った?#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
本番相当のクエリ流して負荷を掛けるの本当に難しい。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
(メルカリさんクラスだと攻撃側の性能にもむちゃくちゃ気をつかいそう)#dbts2023
なんの負荷調査をしているのかわからなくなりがち。
別クラウドのデータロードの話も聞いたけど、最近のクラウドはNWレイテンシは仕方ないとして帯域のほうは割と贅沢に使える印象(速い)。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
レイテンシの関係で N+1 を作ろうものなら OLTP 劇遅になったりする一方、データロードとかバルク転送は爆速なことが多くなりましたね。
TiDB のアフターパーティっぽいものに参加
TiDBのやつ前半だけ参加して途中退場。
— hmatsu47(まつ) (@hmatsu47) 2023年12月7日
行く前に付近をウロウロしてたら先着70名を逃した(けど名古屋まで持ち帰るの大変だしJAWS FESTAのフリースもらったばかりだからいいや)。#dbts2023 pic.twitter.com/pNgXIze7XF
MySQL 界隈の人が多かったです。思ったより人が多くてびっくり。
12/8(金)12:00 〜
今日も昼から。
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
昨日は消化の悪そうなセッションで実際に慌ててかき込みながら聞いてたので、今日は落ち着いて聞けるセッションを。
(いや昨日は昨日で理解できたかどうかは別として面白かったんですが)#dbts2023 pic.twitter.com/KFBebu1iQI
そういえばリブランドでCitusベースのPostgreSQLもCosmos DBブランドになったのをすっかり忘れてた。
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
だからpgvector出てきたのか。#dbts2023
「Cosmos DB」と言われてもなかなか PostgreSQL は想像できないんですよ。前のブランドが自分の中で浸透しすぎて。
次はこっち。#dbts2023 pic.twitter.com/z5MIjgVK8F
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
Schdeuled Query、昔なら自前バッチで(中間)集計してたところをマネージドサービス側で代わりにやってくれるようなものかな?#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
先日の JAWS-UG 朝会の復習になりました。
そしてAuroraの話を聞きに来た。
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
(タイトルのスライドだけ写真撮ったけど、このセッションは撮影NGだった)#dbts2023
スライドに一瞬出ただけなので(説明はなかったので)真相は不明。
このDistributed transaction routers、「ただのルータ」じゃなくて実行計画を立てるところも担当範囲、と。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
Aurora Limitless Database の話。コンピュートノードを 2 つに分けて、前段のルータで色々なハンドリングを行なって後段のシャードからデータを受け取り加工する模様。
AWSはビルディングブロック、というのを貫き通す意味でのZero-ETL。
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
やっぱり最低でも行列フィルタくらいは欲しい(しつこい)。#dbts2023
うーん、確かにGroverの層でRedshiftに渡すアーキテクチャだと途中でのデータの加工はやりづらいだろうな。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
でも事後の加工をしようとすると Redshift 非サポート型の列を持つテーブルを扱えない…。
(zero-ETL では非推奨の binlog チャネルフィルタを使わないとそのテーブルを除外できない)
切り替え時に誤って両DBに書き込みが行かないようFence writesが効くのか。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
Blue / Green デプロイの話。ここはマネージドらしくちゃんとできてる模様。
ここからはMySQL HeatWaveのMLの話(生駒さん)。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
SQLでMLを、の話でこれを思い出した(ネタ枠)。https://t.co/GRW2lAymHQ#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
SQL を使って ML の結果などを出すのは便利なのですが、実例はあまり聞かないですね(事例として外部に出しづらい?)。
セッションの合間にブースにて。
AWSブースで星野さんにお話を伺う。
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
(ありがとうございました!)
そしてAuroraのついでになぜかDAXを…#dbts2023 pic.twitter.com/lguRhArp2B
ここで 12/18 JAWS-UG 名古屋で話すネタを仕入れることができました(注:ステッカーのことではありません)。
最後もベクトル検索の話にしたけどAzureの説明との切り口の違いがあるのかないのかに興味が。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
結果としては全然違ったので興味深かったです。
GoogleからWord2Vecとかが何故出てきたのかがわかる話から始まった。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
日本ではあまりそういう使い方をする人は多くないですが、Google の検索窓に自然言語を書いて検索するケースを想定するとセマンティック検索への対応技術が必要になるわけで。
実際は「近そうなリストもついでに見とくか」をやることでヌケモレを減らしてる。#dbts2023
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
これはベクトル DB で HNSW インデックスを検索するときの挙動の話。
美術館巡り
最初、セッションスケジュールが歯抜けの段階で新幹線を早特で予約しましたが、結果的に午前中のセッションは参加登録しませんでした。
12/8 の予定を追加したときも、連続セッション受講の疲労を考慮して午前中のセッションは入れませんでした。
その代わりに、12/7 の朝は松岡美術館、12/8 の朝は(半年前にも行った)東京都庭園美術館へ行きました。
ちなみに昨日は松岡美術館。 pic.twitter.com/maQbeTHmxs
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
予想より展示室が多くて少し時間が足りなくなりました。
企画展のほうで「この展示の次は後ろのショーケースを見てから戻って左側へ」みたいな順路の指示が書いてあって親切でした。
紅葉がピーク過ぎあたりでした(日本庭園はほぼ終わっていたけれど建物側から見る紅葉はまだ大丈夫でした)。
ここに来る前は目黒の庭園美術館へ。
— hmatsu47(まつ) (@hmatsu47) 2023年12月8日
天王洲アイルに泊まっていて朝からりんかい線が遅れてたのでモノレール乗ったら逆方向だったので遅刻しそうになった。 pic.twitter.com/zMJmVpejMm
前回訪問時はつつじの季節でした(ちょっと花付きは悪かった)。
午前中に東京都庭園美術館へ。 pic.twitter.com/CKaKk19iMn
— hmatsu47(まつ) (@hmatsu47) 2023年4月25日