阿里云國(guó)際站經(jīng)銷商，主營(yíng)阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費(fèi)開戶，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd
SAE日志導(dǎo)入Kafka最佳實(shí)踐
在Serverless應(yīng)用引擎SAE（Serverless App Engine）產(chǎn)生的日志導(dǎo)入到消息隊(duì)列Kafka版之后，您可以將Kafka中的日志統(tǒng)一寫入阿里云Elasticsearch，便于后續(xù)的統(tǒng)一查看和處理。本文介紹通過SAE日志導(dǎo)入到Kafka，再?gòu)腒afka將數(shù)據(jù)寫入Elasticsearch的最佳實(shí)踐。前提條件
購(gòu)買Kafka實(shí)例，并創(chuàng)建Topic和Group供SAE應(yīng)用使用。具體信息，請(qǐng)參見創(chuàng)建Kafka資源。
創(chuàng)建或部署SAE應(yīng)用時(shí)，開通日志收集到Kafka日志服務(wù)功能。具體信息，請(qǐng)參見設(shè)置日志收集至Kafka。
確認(rèn)是否成功采集消息到Kafka。具體信息，請(qǐng)參見查詢消息。
創(chuàng)建阿里云Elasticsearch實(shí)例。具體信息，請(qǐng)參見創(chuàng)建阿里云Elasticsearch實(shí)例。
創(chuàng)建阿里云Logstash實(shí)例。具體信息，請(qǐng)參見創(chuàng)建阿里云Logstash實(shí)例。
步驟一：創(chuàng)建Group
本步驟介紹如何創(chuàng)建阿里云Elasticsearch所屬的Group。
登錄消息隊(duì)列Kafka版控制臺(tái)。
在概覽頁面的資源分布區(qū)域，選擇地域。
在實(shí)例列表頁面，單擊目標(biāo)實(shí)例名稱。
在左側(cè)導(dǎo)航欄，單擊Group 管理。
在Group 管理頁面，單擊創(chuàng)建 Group。
在創(chuàng)建 Group面板的Group ID文本框輸入Group的名稱，在描述文本框簡(jiǎn)要描述Group，并給Group添加標(biāo)簽，單擊確定。
創(chuàng)建完成后，在Group 管理頁面的列表中顯示已創(chuàng)建的Group。
步驟二：創(chuàng)建索引
本步驟介紹如何通過阿里云Elasticsearch創(chuàng)建索引，接收消息隊(duì)列Kafka版的數(shù)據(jù)。
登錄阿里云Elasticsearch控制臺(tái)。
在左側(cè)導(dǎo)航欄，單擊Elasticsearch實(shí)例。
進(jìn)入目標(biāo)實(shí)例。
在頂部菜單欄處，選擇資源組和地域。
在Elasticsearch實(shí)例中單擊目標(biāo)實(shí)例ID。
在左側(cè)導(dǎo)航欄，選擇配置與管理 > 可視化控制。
在Kibana區(qū)域中，單擊私網(wǎng)入口或公網(wǎng)入口。
私網(wǎng)入口：開啟Kibana私網(wǎng)訪問后（默認(rèn)未開啟），才會(huì)顯示。具體操作，請(qǐng)參見配置Kibana公網(wǎng)或私網(wǎng)訪問白名單。
在Kibana登錄頁面，輸入用戶名和密碼，單擊Log in。
參數(shù)說明如下。
用戶名：默認(rèn)為elastic。您也可以創(chuàng)建自定義用戶，具體操作請(qǐng)參見通過Elasticsearch X-Pack角色管理實(shí)現(xiàn)用戶權(quán)限管控。
密碼：對(duì)應(yīng)用戶的密碼。elastic用戶的密碼在創(chuàng)建實(shí)例時(shí)設(shè)定，如果忘記可重置。重置密碼的注意事項(xiàng)和操作步驟，請(qǐng)參見重置實(shí)例訪問密碼。
在Kibana控制臺(tái)的左側(cè)導(dǎo)航欄，選擇Management > Dev Tools。
執(zhí)行以下命令，創(chuàng)建索引。
步驟三：創(chuàng)建管道
本步驟介紹如何通過阿里云Logstash創(chuàng)建管道。成功部署管道后，數(shù)據(jù)將持續(xù)地從消息隊(duì)列Kafka版導(dǎo)入到阿里云Elasticsearch。
登錄阿里云Elasticsearch控制臺(tái)。
進(jìn)入目標(biāo)實(shí)例。
在頂部菜單欄處，選擇地域。
在Logstash實(shí)例中單擊目標(biāo)實(shí)例ID。
在左側(cè)導(dǎo)航欄，單擊管道管理。
在管道列表頁面，單擊創(chuàng)建管道。
在創(chuàng)建管道任務(wù)配置向?qū)ы撁妫渲孟嚓P(guān)參數(shù)。
在Config配置頁簽，配置相關(guān)參數(shù)并單擊下一步。
本文的參數(shù)配置以Kafka數(shù)據(jù)導(dǎo)入Elasticsearch為例。參數(shù)的更多信息，請(qǐng)參見通過配置文件管理管道。
管道ID：自定義。
在管道參數(shù)配置頁簽，配置相關(guān)參數(shù)，單擊保存并部署。
本示例以默認(rèn)配置為準(zhǔn)，您可以按需修改。
在提示對(duì)話框，單擊確認(rèn)。
步驟四：搜索數(shù)據(jù)
您可以在Kibana控制臺(tái)搜索通過管道導(dǎo)入阿里云Elasticsearch的數(shù)據(jù)，確認(rèn)數(shù)據(jù)是否導(dǎo)入成功。
登錄阿里云Elasticsearch控制臺(tái)。
進(jìn)入目標(biāo)實(shí)例。
在頂部菜單欄處，選擇資源組和地域。
在Elasticsearch實(shí)例中單擊目標(biāo)實(shí)例ID。
在左側(cè)導(dǎo)航欄，選擇配置與管理 > 可視化控制。
在Kibana控制臺(tái)的左側(cè)導(dǎo)航欄，選擇Management > Dev Tools。
登錄Kibana控制臺(tái)的具體步驟，請(qǐng)參見創(chuàng)建索引步驟5~7。
執(zhí)行以下命令，搜索數(shù)據(jù)
心靈雞湯：
標(biāo)題：阿里云國(guó)際賬號(hào)24h自助充值，阿里云免實(shí)名注冊(cè)
地址：http://www.nickbaillie.com/kfxw/64405.html
