如何在人工智能項(xiàng)目中使用Kubernetes

責(zé)任編輯:cres

作者:Anton Logvinenko

2021-08-23 10:27:13

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

本文介紹了Kubernetes幫助優(yōu)化人工智能項(xiàng)目的性能和成本的兩個(gè)實(shí)際用例。

在人工智能項(xiàng)目中使用Kubernetes有什么好處?人們可以了解Kubernetes如何幫助優(yōu)化人工智能項(xiàng)目性能和成本的實(shí)際用例。
 
根據(jù)一份針對科技公司和軟件開發(fā)商進(jìn)行調(diào)查的云原生調(diào)查報(bào)告,容器在生產(chǎn)中的使用量比上一年增加了84%,高達(dá)92%。Kubernetes的使用量比上一年增長了78%,達(dá)到了83%。
 
以下是Kubernetes如何幫助優(yōu)化人工智能項(xiàng)目的性能和成本的兩個(gè)實(shí)際用例。
 
Kubernetes用例#1
 
基于人工智能的需求預(yù)測系統(tǒng)的數(shù)據(jù)工程
 
1.項(xiàng)目描述
 
許多酒吧和餐廳采用了POS收銀軟件和場地管理系統(tǒng),而隨著時(shí)間的推移,積累了大量的歷史銷售數(shù)據(jù)。MobiDev公司的技術(shù)專家希望將人工智能算法應(yīng)用到這些數(shù)據(jù)的分析中,找到之前銷售的模式,并為每個(gè)階段做出下一個(gè)時(shí)期的預(yù)測。該公司為此開發(fā)了一個(gè)基于人工智能的需求預(yù)測系統(tǒng),并作為一個(gè)獨(dú)立的模塊集成到系統(tǒng)中。
 
2.需要解決的問題
 
由于人工智能計(jì)算需要大量資源,因此最初采用AWS EMR云服務(wù)中的虛擬機(jī)。而采用該系統(tǒng)的酒吧或餐廳越多,其基礎(chǔ)設(shè)施的運(yùn)營成本就越昂貴。當(dāng)機(jī)器學(xué)習(xí)算法處理每日銷售數(shù)據(jù)時(shí),人工智能模塊的高CPU負(fù)載可能會(huì)突然出現(xiàn),而在其他的時(shí)間處于空閑狀態(tài)。為了降低基礎(chǔ)設(shè)施成本,MobiDev公司采用Docker Swarm對計(jì)算資源進(jìn)行人工管理。
 
在最小可行性(MVP)開發(fā)階段,使用Kubernetes沒有意義,因?yàn)樗枰罅康难芯亢筒捎脮r(shí)間。然而隨著酒吧或餐廳數(shù)量的增加,需要一種新的數(shù)據(jù)工程方法來提供自動(dòng)化和可擴(kuò)展性以及成本優(yōu)化。
 
3.使用Kubernetes解決的技術(shù)任務(wù)
 
(1)定期收集歷史數(shù)據(jù)腳本。
 
(2)在Kubernetes內(nèi)部運(yùn)行的數(shù)據(jù)庫中的數(shù)據(jù)存儲(chǔ)。
 
(3)歷史數(shù)據(jù)更新成功后的人工智能腳本。
 
(4)與人工智能儀表板交互的API。
 
(5)顯示人工智能腳本結(jié)果的人工智能儀表板。
 
4.使用Kubernetes解決的業(yè)務(wù)任務(wù)
 
Kubernetes允許實(shí)現(xiàn)自動(dòng)擴(kuò)展,并提供實(shí)時(shí)計(jì)算資源優(yōu)化。
 
(1)性能和成本優(yōu)化
 
值得注意的是,在Kubernetes上,針對相同數(shù)量的數(shù)據(jù)計(jì)算相同邏輯的人工智能腳本返回結(jié)果的速度比AWS EMR快得多,同時(shí)消耗的計(jì)算資源比EMR少。在Kubernetes上,與之前的EMR生產(chǎn)環(huán)境相比,相同數(shù)量的場地運(yùn)行人工智能模塊腳本所需的平均時(shí)間減少了90%。
 
(2)可靠性改進(jìn)
 
系統(tǒng)穩(wěn)定性是從AWS EMR轉(zhuǎn)向Kubernetes的關(guān)鍵原因。在EMR上,腳本啟動(dòng)有時(shí)會(huì)因未知原因失敗,并且日志沒有提供任何有用的信息。
 
(3)可擴(kuò)展性改進(jìn)
 
在AWS EMR上,項(xiàng)目開發(fā)受到未來要添加的最大新場地?cái)?shù)量的限制。Kubernetes取消了限制和自動(dòng)擴(kuò)展,這對于快速增長的項(xiàng)目至關(guān)重要。
 
項(xiàng)目總結(jié)
 
Kubernetes上的系統(tǒng)提供更快的結(jié)果,消耗更少的計(jì)算資源,允許客戶降低AWS計(jì)費(fèi)成本,并確保穩(wěn)定和可預(yù)測的產(chǎn)品交付。
 
Kubernetes用例#2
 
人工智能視頻監(jiān)控系統(tǒng)的數(shù)據(jù)工程
 
MobiDev涉及的另一個(gè)Kubernetes實(shí)際業(yè)務(wù)用例是視頻監(jiān)控系統(tǒng)中面部模糊功能的智能計(jì)算資源自動(dòng)擴(kuò)展。該系統(tǒng)由以下應(yīng)用程序組成:前端、后端、后端隊(duì)列和基于人工智能的面部模糊功能。Kubernetes被用作所有這些應(yīng)用程序的Orchestrator。
 
當(dāng)出現(xiàn)新的視頻處理請求時(shí),后端在KubernetesAPI的幫助下自動(dòng)擴(kuò)展,并自動(dòng)添加更多工作人員來處理請求。
 
Kubernetes的未來發(fā)展
 
Kubernetes的分布式架構(gòu)和可擴(kuò)展性與機(jī)器學(xué)習(xí)和人工智能相得益彰。隨著這些技術(shù)的不斷成熟,2021年是Kubernetes領(lǐng)域快速增長的一年。
 
人們需要記住的是,采用工具不是最終目的,而是支持業(yè)務(wù)目標(biāo)。在2020年,幾乎所有企業(yè)都不得不面對意料之外的變化。Kubernetes有能力通過使用云原生生態(tài)系統(tǒng)構(gòu)建的解決方案加速應(yīng)用程序開發(fā)服務(wù),同時(shí)允許使用具有可塑性的應(yīng)用程序和數(shù)據(jù),從而使企業(yè)能夠通過其平臺和應(yīng)用程序的現(xiàn)代化獲得成功。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號