如何架构机器学习平台kkyong

越来越多企业开始尝试使用机器学习算法来预测业务,并逐渐在线上部署。但机器学习和深度学习的技术栈繁渣。有多种编程语言,运行环境。稳定性,可用性,维护方式不同以往的IT服务。技术负责人需要设计良好的架构,发掘业务潜力也要保障生产系统稳定性。本文主要介绍:

1.理解机器学习算法训练流程。

2.提供线上模型部署架构方案

3.掌握模型治理和运维的方案。

电商:推荐系统

金融:反欺诈,打分卡,信用评分

安全:攻击检测

大家都知道机器学习训练是为了得到模型。那什么是模型呢?

假设如下算法用于预测房价。

Y=w1*x1+w2*x2+wn*xn+b

所谓模型训练就是找到预测最准的[w1,w2,wn,b]参数。训练结束后,将[w1,w2,wn,b].存储到文件中,可以称为模型。模型就等于训练得到的参数

部署到生产时候,使用保存的[w1,w2,wn,b]初始化Y=w1*x1+w2*x2+wn*xn+b。这个模型就可以用来预测房价。

整个过程类似序列化,反序列化过程。

Scikitlearn(python)

Tensorflow(python,c++)

sparkmlib(java)

Mahout(java)

Dl4j

R

各种工具都不能互相替代。生成的模型文件格式不同,编程语言不同。

甚至是同样参数用不同工具预测结果会相差很大。

PMML是一种事实标准语言,用于呈现数据挖掘模型。预测分析模型和数据挖掘模型是指代数学模型的术语,这些模型采用统计技术了解大量历史数据中隐藏的模式。预测分析模型采用定型过程中获取的知识来预测新数据中是否有已知模式。PMML允许您在不同的应用程序之间轻松共享预测分析模型。因此,您可以在一个系统中定型一个模型,在PMML中对其进行表达,然后将其移动到另一个系统中,并在该系统中使用上述模型预测机器失效的可能性等

有几点需要注意:

PMML支持部分模型。

各种工具都有生成PMML功能。

可以通过开源Openscoring来部署PMML模型。Drools也只支持PMML.

主要是准确率和召回率,AUC.比如复杂场景,需要自己设计标准。网上资料比较多这里就不详细说明

数据处理->特征处理-模型训练-模型选择->生产部署

可以考虑直接dump.然后在生产环境load运行。可以使amazons3做模型管理,md5做个hash用来管理版本管理。

比较标准做法是使用PMML.特别对外交付的场景。

PMM是一种标准化的模型表示方式。托管平台openscoreing.,

这种模式优点:

实现方式有主要两种,数据收集可以在前端完成或者后端,可以考虑实现难度和解耦承担来权衡。

所需数据全部由外部传入。基础服务一般使用这种架构。比如自然语言,图片处理,语音识别。

只有生成模型才可以在线学习。不是本文重点就不展开说明了。

需要设定一些业务指标,通过阈值,历史数据环比来进行监控和预警。

长期指标:反馈周期很长的指标。比如违约率,都需要2个月以后才能判断是否违约。所以数据库需要保留,贷款客户和模型版本的关系。

建议采用异步服务架构模式,一般可以考虑api-消息队列来处理。预测解决通过通知接口或者轮询获取

PMML有相应的版本说明。如果用原始模型文件需要自己添加一些机制,来处理。比如计算模型文件hash值。

如果模型一旦出现问题,很难debug.而且修复时候会很长。只考虑回滚或下线。需要和业务方明确这一点并提前做好预案。

THE END
1.在线学习系统关于在线学习系统的业务流程图在线学习系统 技术:Java、JSP等 摘要: 由于信息工程技术的不断发展, 使得在线学习技术受到越来越多的关注和应用。在线学习是利用网络技术的设计,传输,选择,管理和使用来延伸日常学习,打破了时空的界限,在继承传统教育的基础上,充分发挥网络时代的学习观念。https://blog.csdn.net/m0_52958155/article/details/138425106
2.知识无界:全球在线学习平台1.架构设计 -设计一个可扩展、安全且稳定的平台架构,确保可以处理大量用户在线学习的需求。 2.用户界面(UI)设计 -开发直观、清晰且吸引人的界面设计,以提升用户体验。 3.功能实现 -根据需求分析,开发平台的核心功能,如视频播放、作业提交、考试系统、讨论板等。 http://dongguan.11467.com/info/31999520.htm
3.基于云平台的在线学习系统设计与实现基于云平台的在线学习系统设计与实现,云计算,在线学习,AJAX异步刷新技术,UML模型,MVC架构,云计算技术以及大数据技术的发展,使得在线学习的实施具有了更多的条件,其具有资源更新便捷、实时沟通方便等优势,具有较高的稳定性https://wap.cnki.net/lunwen-1019605239.html
4.“互联网+教育”教学资源管理平台建设方案借助全媒体教学资源融合管理平台实现统一入口、统一管理和统一调度,系统架构支持云服务和模块化设计,底层搭建各种平台应用硬件设施和软件系统,中间架设平台所有基础功能组件,同时将这些功能组件以服务的形式提供给区域各级和各角色用户,用户无论在录播教室、会议室、班班通教室、教研室、办公室、差旅中,仅需采用自己最适合的https://www.douban.com/note/861125885/
5.新为股份e新为股份-e-learning平台系统专家,14年研发专注和6000+客户成功案例,新为学习发展系统可为企业事业单位提供专业的e-learning平台,移动学习系统,在线学习系统,在线培训系统,在线学习平台,培训考试平台,培训管理平台,企业学习管理系统,创建学习型组织企业大学首选新为e-learnihttp://www.newv.com.cn/products/7/1.html
6.智慧校园云教室项目建设方案云桌面产品及云桌面虚拟化方案供应商在满足当前使用的条件下,充分考虑未来的发展,从系统和结构发展的变化,采用集成技术和设计架构保证其扩充性,保证其扩展性和投资价值。 实用性 云平台建设充分考虑实用性。在平台设计和系统架构时,采用切实可行的信息技术设备,使整个云教室平台安全可靠、管理有效,使用方便。 https://www.yun0101.com/xwdt/hyxw946.html
7.在线学习培训系统平台架构简介20221210013817.doc在线学习培训系统平台架构简介.doc,在线培训系统平台架构简介 一、技术架构 在线培训系统完整基于云架构进行设计、开发、部署。平台部署在Linux操作 系统上,采纳目前运转稳固,安全性很高的JAVA语言开发,使用开源的MySQL数据 库储存数据,可以在平台上部署Redis、Memcachehttps://max.book118.com/html/2022/1210/8020051130005020.shtm
8.教学资源库建设多媒体教学资源库平台所配备的即时测试实现了学生在借助多媒体教学资源库进行自主性学习探究时,对学习效果的反馈,该部分的系统架构上包括三个部分,分别是题库资源、随机分配和提交评分,即时测试可以满足知识掌握验证的需求,也可以提高学习中的成就感,这样的互动可以提升学生对于学习的积极性和学习质量。 https://www.unjs.com/w/413210.html
9.系统架构师学习之路:从入门到初级实战例如,某在线教育平台需要支持大规模用户同时在线学习,系统架构师需要确定系统的可扩展性和可用性要求。 系统设计:设计系统的整体架构,包括数据库、服务器、网络等组件。例如,在设计数据库时,架构师需要选择合适的数据库类型(如MySQL、MongoDB)以及设计数据模型。 技术选型:选择适合项目的技术和工具,如编程语言(Java、https://www.imooc.com/article/361189
10.在线虚拟仿真实训平台建设方案1. 在线虚拟仿真实训平台架构 虚拟仿真系统按照功能分为三种:桌面型VR系统、沉浸型VR系统和共享型VR系统。其中,桌面型VR系统利用计算机和工作站实现仿真,用户借助鼠标、键盘、屏幕就可于虚拟环境进行交互,由于VR系统沉浸感不足,只适用于简单、交互性不强的实验项目;沉浸型VR系统对硬件设备要求较高,需要使用传感器跟踪https://www.lingtuvr.com/company-news/8334.html
11.网络中心a)数字校园不仅包括技术系统,还包括组织体系。技术系统涉及多部门、多系统,需要进行顶层设计,进行数据标准编制和系统架构设计,处理好各系统之间关系,实现良好的系统集成,便于系统联通、数据融合共享,构建一体化信息服务平台。组织体系涉及利益调整、组织变革,需要建成运行良好的数字校园规划、实施、运行管理、安全保障的体制http://www.xtzy.com/wlzx/detail.jsp?public_id=153330
12.网络党校考试系统党校在线考试系统网络党校在线学习平台亿博软件提供专业的网络党校,网络党校系统,网络党校考试系统,网络党校平台,网络党校在线学习系统,网络党校培训平台,党校入学考试,党校结业考试,是使用当今最核心的J2EE系统架构,研发出的专为学校组织部开展网上党校培训的新一代网络学习平台.http://www.dangxiaowang.com/
13.党校培训平台在线学习系统网络学习系统网络在线学习系统瑞德党校培训平台是瑞德软件依据多年的学习平台开发经验,使用当今最核心的J2EE系统架构,研发出的专为学校组织部开展网上党校培训的新一代网络学习平台。瑞德网上党校培训平台采用WEB2.0社区设计思想、友好的用户界面、灵活的权限分配机制、多服务器分布式管理架构和高并发量等特点,是各个高校的不二选择。 http://www.elearning51.net/cp/dxpt/2013/0312/2.html
14.数字化网络教学平台的研究与实现AET1 系统设计与架构 数字化网络教学平台包括教学资源、在线辅导、毕业设计辅导、计算机等级考试辅导、在线测试、热门文章和师生风采等模块,主要包括课程教学资料、教师在线辅导答疑、教师在线收发并批改学生作业和实验报告、实践项目的视频演示、网上论谈、计算机等级考试专项训练及模拟、大学英语专项训练及模拟、大学生挑战杯竞赛http://www.chinaaet.com/article/213447/
15.高校学习系统在线学习平台自考乐是一个高校在线学习平台,以大数据和智能化应用为发展路径,综合运用先进成熟的互联网技术,实现广大学生与学习内容、专业课程和知识结构上的精准匹配,能够为各高校定制性能优越、操作便捷、师生欢迎的学习培训平台。 电话:18580070692https://www.zsbxx.cn/
16.elearning平台系统专家新为软件新为公司发布了SmartLearning学习发展系统、SmartMedia P2P流媒体平台; 新为产品通过AICC与SCORM国际标准测试。 2007 新为SmartBOS学习运营系统、LiveLearning培训会议系统面世; 新为分布式E-Learning解决方案发布; 2006 新为顺利通过深圳市双软企业认定; 发布国内首套支持万人并发的全B/S架构在线考试系统; 2005 新为公司http://newlms.cn/article.html