如何对SAP Leonardo上的机器学习模型进行重新训练

Jerry之前的两篇文章介绍了如何通过Restful API的方式，消费SAP Leonardo上预先训练好的机器学习模型：

• 如何在Web应用里消费SAP Leonardo的机器学习API

• 部署在SAP Cloud Platform CloudFoundry环境的应用如何消费

当时Jerry提到，Product Image Classification API只支持29种产品类别：

 

如果我们开发应用时需要支持额外的产品类别，就需要自行提供该产品类别的图片来重新训练模型。

 

下面介绍SAP Leonardo上机器学习模型的重新训练步骤。

假设我们期望重新训练之后，Product Image Classfication这个模型能够识别出不同种类的花，那么我们首先得搞到大量花的图片。Tensorflow的官网上，已经体贴地给想做模型训练的学习者们，提供了一个做练习用的压缩包，里面包含了大量各式花的图片。

http://download.tensorflow.org/example_images/flower_photos.tgz

SAP Leonardo接受的能用于重新训练模型的数据集，必须符合下图所示的层级结构，即training, validation和test三个文件夹下面，分别包含以产品类别命名的子文件夹，且数据规模之比为8:1:1.

 

有了用于训练的数据后，下一步就是把这些数据上传到SAP Leonardo的模型在线存储平台上。

Jerry的前一篇文章 部署在SAP Cloud Platform CloudFoundry环境的应用如何消费 曾经介绍了如何在SAP云平台上创建Leonardo机器学习的服务实例，这个实例的service key里包含了一个IMAGE_RETRAIN_API_URL，可以用来获取在线存储的url：

 

向这个url发送一个HTTP get请求，得到在线存储的url：

 

把这个url粘贴到浏览器里，输入postman里返回的accessKey和secretKey登录，就能以web的方式访问这个在线存储了：

 

下一步是把本地的训练文件上传到这个部署在AWS上的在线存储上去。

首先用命令行mc config host定义一个名为sapjerrys3的远程站点，将上一步从postman获得的AWS在线存储url，accessKey和secret绑定到这个站点上：

 

然后使用命令行上传文件：

mc.exe cp -r C:\Code\MachineLearningStudy\flowersjerry sapjerrys3\data

大概十几分钟后，文件上传完毕：

 

此时可以从浏览器里看到AWS在线存储上传完毕的训练文件。

 

现在可以提交一个后台作业了，让Leonardo去处理这些上传好的文件，ABAP顾问们可以把这个动作理解成在Netweaver事务码SM36里定义一个后台作业并提交。发送一个HTTP post请求，除了下图jobName, dataset和modelName需要自己维护外，其他字段都使用SAP官网上定义的默认值。

 

这个请求会返回一个后台作业ID，抄下来后把它拼到url末尾，然后重新发送一个HTTP get请求，即可查询到这个作业的执行情况。Jerry重新训练的时候，等待了大概五分钟，作业状态就变为SUCCEEDED了。

 

因为上一篇和本文做的练习都是在SAP Cloud Platform的CloudFoundry环境中进行的，因此我们也可以用cf命令行来查询这些作业的执行情况：

cf sapml retraining jobs -m image

 

如果遇到作业状态为FAILED的情况，去AWS在线存储上查看以作业名称命名的文件夹，里面包含了详细的训练日志，可以用作错误分析：

 

在这个训练好的模型能正式被使用之前，我们还需要对其进行部署，类似ABAP Netweaver里的“激活”动作。

 

和提交训练的后台作业类似，模型部署也是一个异步执行的步骤，提交部署请求后，得到一个部署作业ID：ms-26c5a22c-6d07-4164-8222-a4182969162d

 

根据这个部署作业ID可以查询模型部署状态：

 

成功部署后，我们就可以用Restful API消费这个模型了，url的格式为：

https://mlfinternalproduction-image-classifier.cfapps.sap.hana.ondemand.com/api/v2/image/classification/models/<model name>/versions/1

我从网络上随便找一张向日葵的照片，

 

将这张图片作为HTTP POST的参数发给我重新训练并且部署好的模型flowerjerrymodel，得到的结果显示，重新训练后的模型认为这张图片有大约87%的可能性是代表向日葵。

 

接下来如果有时间的话，Jerry打算搜集一些异形(Alien)的图片来训练，

 

 

看SAP Leonardo能不能把我桌上挂着的这些异形吊饰识别出来。感谢阅读。