阿里云國(guó)際站經(jīng)銷(xiāo)商，主營(yíng)阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費(fèi)開(kāi)戶(hù)，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd


通過(guò)Logstash將RDS MySQL數(shù)據(jù)同步至Elasticsearch

背景信息
阿里云Logstash是一款強(qiáng)大的數(shù)據(jù)收集和處理工具，提供了數(shù)據(jù)采集、轉(zhuǎn)換、優(yōu)化和輸出的能力。通過(guò)Logstash的logstash-input-jdbc插件（默認(rèn)已安裝，不可卸載），可批量查詢(xún)RDS MySQL中的數(shù)據(jù)并同步到Elasticsearch中。同時(shí)，logstash-input-jdbc插件會(huì)定期對(duì)RDS中的數(shù)據(jù)進(jìn)行輪詢(xún)查詢(xún)，并將自上次輪詢(xún)以來(lái)插入或更改的記錄同步到Elasticsearch。更多詳細(xì)信息，請(qǐng)參見(jiàn)官方文檔中的如何使用Logstash和JDBC確保Elasticsearch與關(guān)系型數(shù)據(jù)庫(kù)保持同步。本方案適用于同步全量數(shù)據(jù)且接受秒級(jí)延遲的場(chǎng)景或批量查詢(xún)特定條件的數(shù)據(jù)然后進(jìn)行同步的場(chǎng)景。
操作步驟
步驟一：環(huán)境準(zhǔn)備
在云阿里Elasticsearch實(shí)例中開(kāi)啟自動(dòng)創(chuàng)建索引功能。具體操作，請(qǐng)參見(jiàn)快速訪(fǎng)問(wèn)與配置。
在Logstash實(shí)例中上傳與RDS MySQL版本兼容的SQL JDBC驅(qū)動(dòng)（本文使用mysql-connector-java-5.1.48.jar）。具體操作，請(qǐng)參見(jiàn)配置擴(kuò)展文件。
準(zhǔn)備測(cè)試數(shù)據(jù)，并在RDS MySQL的白名單中加入阿里云Logstash節(jié)點(diǎn)的IP地址（可在基本信息頁(yè)面獲?。?。本文使用的建表語(yǔ)句如下。
步驟二：配置Logstash管道
進(jìn)入阿里云Elasticsearch控制臺(tái)的Logstash頁(yè)面。
進(jìn)入目標(biāo)實(shí)例。
在頂部菜單欄處，選擇地域。
在Logstash實(shí)例中單擊目標(biāo)實(shí)例ID。
在左側(cè)導(dǎo)航欄，單擊管道管理。
單擊創(chuàng)建管道。
在創(chuàng)建管道任務(wù)頁(yè)面，輸入管道ID，并進(jìn)行Config配置。
本文使用的Config配置如下。
單擊保存或者保存并部署。
保存：將管道信息保存在Logstash里并觸發(fā)實(shí)例變更，配置不會(huì)生效。保存后，系統(tǒng)會(huì)返回管道管理頁(yè)面?？稍诠艿懒斜韰^(qū)域，單擊操作列下的立即部署，觸發(fā)實(shí)例重啟，使配置生效。
保存并部署：保存并且部署后，會(huì)觸發(fā)實(shí)例重啟，使配置生效。
步驟三：驗(yàn)證結(jié)果
登錄目標(biāo)阿里云Elasticsearch實(shí)例的Kibana控制臺(tái)，根據(jù)頁(yè)面提示進(jìn)入Kibana主頁(yè)。
登錄Kibana控制臺(tái)的具體操作，請(qǐng)參見(jiàn)登錄Kibana控制臺(tái)。
單擊右上角的Dev tools。
在Console中，執(zhí)行如下命令，查看同步成功的索引數(shù)量。
更新MySQL表數(shù)據(jù)并插入表數(shù)據(jù)。
在Kibana控制臺(tái)，查看更新后的數(shù)據(jù)。
查詢(xún)name為Chocolates的數(shù)據(jù)。

心靈雞湯：

標(biāo)題：阿里云國(guó)際賬號(hào)購(gòu)買(mǎi)，24h小時(shí)自助充值

地址：http://www.nickbaillie.com/kfxw/64114.html