AWS re:INVENT 2017 新功能 S3 / Glacier select 也能用 SQL Query 了

2017-12-02 AWS, AWS re:invent

AWS re:INVENT 2017 上發表的 S3 / Glacier select「S3 Select and Glacier Select – Retrieving Subsets of Objects」,這個和 Athena 用 SQL Query 的用法很像。

 

從圖看到過去你有 1GB 的 Object 就要整個 1GB Object 下載後再取 Content 出來。

 

從 example 可以看到只取某個 Object 的 content 出來就好

如果 Query 下的夠準,可以節省非常多的成本,效率也大幅提昇 (AWS 號稱提昇 400%)

 

用 S3 跑了 35s,用了 S3 select 只花 6s

 

Glacier select 跟 S3 select 的用法相同。

 

Glacier select 價格跟你的 SQL Query 技巧有很大的關係。

  • GB of Data Scanned
  • GB of Data Returned
  • Select Requests

你可以加錢讓取出的速度再快一點

Pricing for each dimension is determined by the speed at which you want your results returned: expedited (1-5 minutes), standard (3-5 hours), and bulk (5-12 hours).

 

後面還預告了 Athena 在 2018 年跟 Glacier select 會有一些服務上的結合 ?

 

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *

彙整

分類

open all | close all

License

訂閱 Mr. 沙先生 的文章

輸入你的 email 用於訂閱

%d 位部落客按了讚: