微軟開(kāi)源了MMLSpark,用于用于Apache Spark的的深度學(xué)習(xí)庫(kù)。MMLSpark可以與微軟認(rèn)知工具包和OpenCV完美整合。
微軟發(fā)現(xiàn),雖然SparkML可以建立可擴(kuò)展的機(jī)器學(xué)習(xí)平臺(tái),絕大多數(shù)開(kāi)發(fā)者的精力都耗在了調(diào)用底層API上。MMLSpark旨在簡(jiǎn)化PySpark中的重復(fù)性工作。
以UCI的成人收入普查數(shù)據(jù)集舉例,使用其他項(xiàng)目預(yù)測(cè)收入:
如果直接使用SparkML,每一列都需要單獨(dú)處理,整理為正確的數(shù)據(jù)類型;在MMLSpark中只需要兩行代碼:
model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData)predictions = model.transform(testData)深度神經(jīng)網(wǎng)絡(luò)(DNN)在圖像識(shí)別和語(yǔ)音識(shí)別等領(lǐng)域不遜于人類,但是DNN模型的訓(xùn)練需要專業(yè)人員方可進(jìn)行,與SparkML的整合也十分不易。MMLSpark提供了方便的Python API,可以方便地訓(xùn)練DNN算法。MMLSpark可以方便地使用現(xiàn)有模型進(jìn)行分類任務(wù)、在分布式GPU節(jié)點(diǎn)上進(jìn)行訓(xùn)練、以及使用OpenCV建立可擴(kuò)展的圖像處理管線。
以下3行代碼可以從微軟認(rèn)知工具集中初始化一個(gè)DNN模型,從圖像中抽取特征:
cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)MMLSpark已經(jīng)發(fā)布到Docker Hub上,使用下面的命令即可在單機(jī)部署:
docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlsparkMMLSpark使用MIT協(xié)議授權(quán)。