阿里云國際站經(jīng)銷商，主營阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費開戶，代充值優(yōu)惠大，聯(lián)系客服飛機@jkkddd
通過DataWorks將Hadoop數(shù)據(jù)同步至Elasticsearch
操作流程準備工作
搭建Hadoop集群、創(chuàng)建DataWorks工作空間、創(chuàng)建與配置阿里云Elasticsearch實例。
步驟一：準備數(shù)據(jù)
在Hadoop集群中創(chuàng)建測試數(shù)據(jù)。
步驟二：購買并創(chuàng)建獨享資源組
購買并創(chuàng)建一個數(shù)據(jù)集成獨享資源組，并為該資源組綁定專有網(wǎng)絡和工作空間。獨享資源組可以保障數(shù)據(jù)快速、穩(wěn)定地傳輸。
步驟三：添加數(shù)據(jù)源
將Elasticsearch和Hadoop的HDFS數(shù)據(jù)源接入DataWorks的數(shù)據(jù)集成服務中。
步驟四：配置并運行數(shù)據(jù)同步任務
通過向?qū)Ｊ脚渲脭?shù)據(jù)同步任務，將數(shù)據(jù)集成系統(tǒng)同步成功的數(shù)據(jù)存儲到Elasticsearch中。將獨享資源組作為一個可以執(zhí)行任務的資源，注冊到DataWorks的數(shù)據(jù)集成服務中。這個資源組將獲取數(shù)據(jù)源的數(shù)據(jù)，并執(zhí)行將數(shù)據(jù)寫入Elasticsearch中的任務（該任務將由數(shù)據(jù)集成系統(tǒng)統(tǒng)一下發(fā)）。
步驟五：驗證數(shù)據(jù)同步結(jié)果
在Kibana控制臺中，查看同步成功的數(shù)據(jù)，并按條件查詢數(shù)據(jù)。
步驟一：準備數(shù)據(jù)
進入E-MapReduce控制臺。
在頂部菜單欄，選擇地域。
在上方菜單欄，單擊數(shù)據(jù)開發(fā)。
在數(shù)據(jù)開發(fā)頁面，新建一個數(shù)據(jù)開發(fā)項目，其中資源組選擇默認資源組。
具體操作，請參見項目管理。
在項目列表中，單擊目標項目右側(cè)操作列下的作業(yè)編輯，新建一個作業(yè)。
具體操作，請參見作業(yè)編輯。其中作業(yè)類型選擇Hive。
創(chuàng)建數(shù)據(jù)表并插入數(shù)據(jù)。
在代碼編輯區(qū)域中，輸入Hive建表語句，單擊運行。
本文檔使用的建表語句如下。
在運行作業(yè)對話框中配置運行參數(shù)，單擊確定。
資源組：選擇默認資源組。
執(zhí)行集群：選擇您已創(chuàng)建的集群。
重新新建一個作業(yè)，輸入如下SQL語句，插入測試數(shù)據(jù)。
您可以選擇從OSS或其他數(shù)據(jù)源導入測試數(shù)據(jù)，也可以手動插入少量的測試數(shù)據(jù)。本文使用手動插入數(shù)據(jù)的方法，腳本如下。
查看數(shù)據(jù)是否插入成功。
新建一個臨時查詢作業(yè)。
具體操作，請參見臨時查詢。
輸入如下SQL語句，單擊運行
在頁面下方，單擊運行記錄，再單擊操作列下的詳情。
在運維中心，單擊作業(yè)運行結(jié)果。
心靈雞湯：
標題：阿里云賬號24h自助充值，阿里云賬號免費注冊
地址：http://www.nickbaillie.com/kfxw/64137.html
