Amazon Redshift 発表 ── クラウド DWH 時代の幕開け

2012年11月28日、 ラスベガスの Venetian で開かれた AWS 初の自社カンファレンス re:Invent（11月27-29日） で、 Andy Jassy（当時 AWS シニアバイスプレジデント、 後の Amazon CEO） は新サービスのリミテッド プレビューを発表した。 名前は Amazon Redshift ── ペタバイト級の分析を、 プレスリリースの表現では顧客が現在利用できるほとんどのデータウェアハウス ソリューションの 10 分の 1 の価格で提供すると謳う、 クラウド ネイティブのデータウェアハウス（DWH） である。

データ分析という、 オンプレ専用機ベンダーが王者として君臨していた領域に、 クラウドが本格進出した瞬間だった。

2012 年の DWH 業界 ── 高価な専用機の寡占

2010 年代初頭の DWH 市場は、 専用ハードウェアを売る数社の寡占だった。 Teradata が最大手、 Netezza（2010 年 IBM が買収）、 Greenplum（2010 年 EMC が買収）、 Vertica（2011 年 HP が買収）、 そして Oracle Exadata。

これらの DWH に共通するのは、 MPP（Massively Parallel Processing）アーキテクチャ と カラム指向ストレージ だった。 MPP はクエリを多数のノードに分散実行する仕組み。 カラム指向は、 行ではなく列単位でデータを格納することで、 分析クエリ（GROUP BY、 集計、 範囲スキャン） が読むべきバイト数を大幅に削減する。

ただし、 これらはいずれもオンプレ前提の重量級ハードウェアだった。 Redshift のプレスリリース自身が、 自己管理型のオンプレ DWH は特に大規模データセットで管理に多大な時間と資源を要し、 構築・維持・拡張の財務コストは端的に言って高い、 と前置きしている。 データ量が増えるたびにラックを追加発注し、 設置と検収を待つ ── これが当時の DWH の常識だった。

ParAccel からのライセンスと Redshift の誕生

AWS は「Cookie Monster」というコード名で DWH サービスを開発していた。 ベースとして選んだのは、 カリフォルニアの DWH ベンダー ParAccel の MPP・カラム指向技術である。 ParAccel は PostgreSQL をフォークしてカラム指向化と並列実行エンジンを乗せた製品 PADB を持っていた。

取り込み方は買収ではなくライセンスだった。 プレスリリースは「Amazon Redshift includes technology components licensed from ParAccel」と明記している。 The Register によれば、 Amazon は 2011年7月の ParAccel の Series E ラウンドをリードしてもいる。 ParAccel 自身は 2013年4月に Actian に買収された。 ライセンスされたコードを Amazon の S3・EC2・VPC インフラに統合し、 マネージドサービスとしてラッピング ── これが Redshift である。 AWS のドキュメントは長らく「Amazon Redshift is based on PostgreSQL 8.0.2」と書いており、 既存の psql・ODBC/JDBC ドライバ・BI ツール（Tableau、 Looker） がそのまま接続できた。

2012 年 11 月 28 日 ── re:Invent での発表

re:Invent 2012 は AWS が初めて開催した自社カンファレンスで、 100 を超えるセッションが組まれた。 そこで発表された Redshift のリミテッド プレビューは、 業界に衝撃を与える価格を提示した ── オンデマンドで 2 TB クラスタが 1 時間 0.85 ドルから、 予約インスタンスなら実効 1 時間 0.228 ドル、 すなわち 1 TB あたり年 1000 ドル未満。 プレスリリースはこれを、 顧客が現在利用できる同等技術の 10 分の 1 未満の価格だと説明している。 ノードは圧縮後 2 TB 型と 16 TB 型の 2 種類で、 1 クラスタ最大 100 ノードまで拡張できた。

性能についてもベンダー側の主張がある。 AWS のデータベース サービス担当副社長 Raju Gulabani はプレスリリースで、 実際の性能は顧客のクエリ要件によって変わると断ったうえで、 社内テストでは標準的なリレーショナル データウェアハウスと比べて 10 倍を超える性能改善が見られた、 と述べている。 Amazon 自身のデータウェアハウス チームのマネージャ Erik Selberg も、 初期見積もりでは Redshift のコストは既存ソリューションの 10 分の 1 を大きく下回る、 とコメントした。

加えてクラウドネイティブの利点 ── 数クリックでクラスタを起動できる、 ノード数を後から増減できる、 物理機材の購入も設置工事も不要。 プレビューの反響は AWS の想定を超え、 チームは初年度計画の 10 倍の需要を 3 日で確認してハードウェア発注を前倒しした（Amazon Science のインタビュー）。 General Availability（GA）は 2013 年 2 月である。

「クラウド DWH」というカテゴリの誕生

Redshift は単独のプロダクトという以上に、 「クラウド DWH」 という新しいカテゴリを成立させたことに意味がある。 Google の BigQuery（Dremel の商用化、 サーバーレス） は 2011年11月にリミテッド プレビュー、 2012年5月1日に一般公開で Redshift の半年前を走っており、 Microsoft の Azure SQL Data Warehouse（後の Synapse Analytics） は 2015 年に発表・プレビュー、 GA は 2016年7月12日と遅れて追いついた。

クラウド 3 社の DWH 競争は、 オンプレ DWH ベンダーの地殻変動を引き起こす。 Redshift の土台を提供した ParAccel は 2013年4月に Actian へ売却され、 IBM の PureData System for Analytics（Netezza） は 2019 年にサポート終了を迎えた（後に Cloud Pak for Data 上の Netezza Performance Server として再登場する）。 Greenplum・Vertica もエンタープライズ ニッチに後退した。

Redshift の進化 ── 2017 年以降

初期の Redshift は「ストレージとコンピュートが結合した」アーキテクチャで、 容量を増やすにはノードを追加する必要があった。 これは Snowflake（2014年10月にステルスを解き、 GA は 2015年6月） がストレージとコンピュートを分離する設計で攻撃するポイントとなる。

AWS は対抗して 2017 年に Redshift Spectrum ── S3 上のデータを直接クエリする機能 ── を、 2019 年に RA3 ノード（Managed Storage、 ストレージとコンピュートを実質分離） を、 2021年11月に Redshift Serverless をプレビュー投入し 2022年7月に GA とした。 Snowflake の設計思想を取り込みながら、 AWS エコシステムとの統合という強みで戦い続けている。

2020 年代半ばの現在、 Redshift・Snowflake・BigQuery が「クラウド DWH」市場の中心にいる。 オンプレ DWH の旗手だった Teradata も VantageCloud としてクラウド化を進めるが、 主役はクラウド側に移った。

2012 年 11 月 28 日が意味するもの

Amazon Redshift の発表は、 「DWH を買う」から「DWH を時間借りする」への転換点 だった。 数十年間、 専用ハードを買い、 納品を待ち、 DBA を雇って稼働させるモデルで動いていた業界が、 クラスタを数分でプロビジョニングするモデルへと変わった。 Amazon Science のインタビューで Rahul Pathak が振り返っているのも、 価格の衝撃と、 数ヶ月ではなく数分でデータウェアハウスを用意できる点への反響である。

そして数年後、 同じクラウド ネイティブの土台の上で、 Snowflake がストレージとコンピュートを完全分離するアーキテクチャを掲げて Redshift を追い上げる ── クラウド DWH の進化は、 Redshift が開いたこの扉から始まった。