AWS re:INVENT 2017 新功能 S3 / Glacier select 也能用 SQL Query 了

2017-12-02 AWS, AWS re:invent

AWS re:INVENT 2017 上發表的 S3 / Glacier select「S3 Select and Glacier Select – Retrieving Subsets of Objects」,這個和 Athena 用 SQL Query 的用法很像。


從圖看到過去你有 1GB 的 Object 就要整個 1GB Object 下載後再取 Content 出來。


從 example 可以看到只取某個 Object 的 content 出來就好

如果 Query 下的夠準,可以節省非常多的成本,效率也大幅提昇 (AWS 號稱提昇 400%)


用 S3 跑了 35s,用了 S3 select 只花 6s


Glacier select 跟 S3 select 的用法相同。


Glacier select 價格跟你的 SQL Query 技巧有很大的關係。

  • GB of Data Scanned
  • GB of Data Returned
  • Select Requests


Pricing for each dimension is determined by the speed at which you want your results returned: expedited (1-5 minutes), standard (3-5 hours), and bulk (5-12 hours).


後面還預告了 Athena 在 2018 年跟 Glacier select 會有一些服務上的結合 ?



發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *



展開全部 | 收合全部


訂閱 Mr. 沙先生 的文章

輸入你的 email 用於訂閱

%d 位部落客按了讚: