阿里云國際站經銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費開戶,代充值優(yōu)惠大,聯系客服飛機@jkkddd
通過DataWorks將HBase數據同步到Elasticsearch
步驟一:環(huán)境準備創(chuàng)建阿里云Elasticsearch實例,并開啟實例的自動創(chuàng)建索引功能。
具體操作,請參見創(chuàng)建阿里云Elasticsearch實例和配置YML參數。本文以通用商業(yè)版實例為例。
創(chuàng)建DataWorks工作空間。
創(chuàng)建工作空間時,所選地域需要與阿里云Elasticsearch一致。具體操作,請參見創(chuàng)建工作空間。
創(chuàng)建HBase集群并準備測試數據。
創(chuàng)建HBase集群時,所選地域、專有網絡和虛擬交換機要與阿里云Elasticsearch保持一致。本文以創(chuàng)建標準版HBase集群為例,具體操作,請參見購買集群。
測試數據
使用put命令向數據表中插入數據,例如:put "student", "row1", "name:a", "xiaoming"。
使用scan命令查看表中的數據,例如:scan "student"。
步驟二:購買并創(chuàng)建DataWorks獨享資源組
區(qū)間
登錄DataWorks控制臺。
選擇相應地域后,在左側導航欄,單擊資源組列表。
購買獨享數據集成資源。
創(chuàng)建一個獨享數據集成資源。
具體操作,請參見新增和使用獨享數據集成資源組。本文使用的配置如下,其中資源組類型選擇獨享數據集成資源組
單擊已創(chuàng)建的獨享資源組右側的網絡設置,參見綁定專有網絡,為該獨享資源組綁定專有網絡。
獨享資源部署在DataWorks托管的專有網絡中。DataWorks需要與HBase集群和Elasticsearch實例的專有網絡連通才能同步數據。而HBase集群和Elasticsearch實例在同一專有網絡下,因此在綁定專有網絡時,選擇Elasticsearch實例所在專有網絡和交換機即可。
單擊已創(chuàng)建的獨享資源組右側的修改歸屬工作空間,為該獨享資源組綁定目標工作空間。
具體操作,請參見新增和使用獨享數據集成資源組。
步驟三:配置HBase白名單
無論是公網訪問,還是VPC內網訪問,均需要先將訪問HBase的客戶端IP地址加入到白名單中,才能連接到HBase集群。本文需要使用步驟一中創(chuàng)建的獨享資源組,通過VPC內網訪問HBase集群,因此在添加數據源前,需要將獨享資源組綁定的交換機網段添加至HBase的訪問白名單中,具體操作請參見設置白名單和安全組。
步驟四:在DataWorks中添加HBase和Elasticsearch數據源
進入DataWorks的數據集成頁面。
在DataWorks控制臺的左側導航欄,單擊工作空間列表。
找到目標工作空間,單擊其右側操作列下的數據集成。
在左側導航欄,單擊數據源。
在數據源管理頁面,單擊新增數據源。
在新增數據源對話框的大數據存儲區(qū)域中,單擊HBase。
在新增HBase數據源對話框中,填寫數據源名稱和配置信息。
使用的HBase版本不同,您需要填寫不同的配置信息:
標準版及以下的版本:使用默認的配置信息,即ZK鏈接地址,同時需要手動增加hbaseVersion屬性。
心靈雞湯:
標題:阿里云服務器購買,阿里云國際賬號免費注冊
地址:http://www.nickbaillie.com/kfxw/64139.html