ELK是一個集Elasticsearch、Logstash及Kibana于一體的日志分析與全文搜索系統(tǒng)。其中,Elasticsearch是一個實時分布式搜索和分析引擎,Logstash具備數(shù)據(jù)采集、轉換、優(yōu)化和輸出的能力,Kibana則為Elasticsearch提供了強大的可視化管理界面。早在2016年7月,青云QingCloud就推出了Elasticsearch全文搜索引擎服務,并同期在映像市場中上線了Logstash日志收集工具和Kibana可視化分析工具。此次QingCloud推出的ELK服務,將原有三大獨立的應用組件整合到一個服務中,并通過AppCenter以云應用的形式交付給用戶使用,使得組件相互之間可以自動感知和配置,支持一鍵部署、節(jié)點橫向和縱向擴容,極大地減輕了組件的獨立搭建和手動配置的繁雜工作。
ELK on QingCloud的核心亮點及功能有:
版本全新升級,并支持后續(xù)的一鍵升級
ELK版本全新升級至5.0,其中Elasticsearch、Kibana版本為5.5.1,Logstash版本為5.4.3,可為用戶節(jié)省磁盤空間,大幅提升查詢和索引性能,減少索引時間等。同時,借助QingCloud AppCenter,ELK應用可以實現(xiàn)未來版本的一鍵升級,從而降低升級遷移的復雜度。
預置分詞功能及可視化插件:
l Elasticsearch分詞功能全面增強,集成了IK Analysis中文分詞插件,并為該插件提供了結巴分詞的詞庫和IK自帶的搜狗詞庫,同時還支持用戶上傳自定義詞典。ELK on QingCloud不僅更符合中文用戶的使用習慣,還提升了檢索的精確度。
l 新增ElasticHD可視化插件,方便用戶通過瀏覽器使用Elasticsearch進行數(shù)據(jù)搜索和分析,使得ELK更易于使用和管理。
與QingStor對象存儲集成,可實現(xiàn)跨區(qū)數(shù)據(jù)遷移,并大幅降低成本
l Elasticsearch集成了Elastic官方S3 Repository插件,可通過標準S3接口將snapshot存儲到QingStor對象存儲中,并在需要時隨時恢復,由此實現(xiàn)數(shù)據(jù)的跨區(qū)及升級遷移。
l Logstash集成了QingStor對象存儲的Logstash Input / Output插件,支持通過該插件實現(xiàn)QingStor對象存儲和Elasticsearch數(shù)據(jù)的雙向傳輸。用戶可將QingStor對象存儲中的數(shù)據(jù)快速傳輸至Elasticsearch進行分析;借助QingStor對象存儲低成本的特點,可將Elasticsearch中的數(shù)據(jù)或Logstash采集的數(shù)據(jù)導入并長期保存在QingStor對象存儲中,即可定期刪除現(xiàn)有集群中的冷數(shù)據(jù),從而極大地降低使用ELK的存儲成本。
豐富、便捷的監(jiān)控告警功能
ELK on QingCloud可收集Elasticsearch集群各節(jié)點日志到Logstash節(jié)點,支持用戶通過瀏覽器查看Elasticsearch的日志;同時還提供了豐富的監(jiān)控告警等服務,幫助用戶便捷地管理ELK集群。
青云QingCloud產(chǎn)品兼運營副總裁林源表示,ELK是QingCloud首個集成多個產(chǎn)品的、一站式的、解決方案級的云應用,提升了QingCloud的大數(shù)據(jù)服務能力?;诖蛟煲詰脼橹行牡娜略品阵w系的理念,ELK on QingCloud將為企業(yè)快速構建一套高度整合的系統(tǒng),提供一體化的交付,從而加速獲取云端數(shù)據(jù)價值。未來,QingCloud AppCenter將集成更豐富的大數(shù)據(jù)組件,為用戶提供端到端的、全面的大數(shù)據(jù)服務。