MapReduce在MES中的应用tallrain

MapReduce作为一种重要的编程思想,在互联网开发特别是分布式开发中得到了广泛的应用,MES通常是集中式开发系统,但是MapReduce的方法论也可以予以借鉴,本文以三个实际应用的例子来进行探讨。

应用一:动态工艺参数下载

在MES中,动态工艺参数下载是一个很常见的场景,即在生产的过程中,需要从系统下载得到一些动态工艺参数,比如一些工单的属性、BOM中的特殊零件物料号、在某工位测试的次数等。

最简单的应对方法是写一个专门的程序,把所有可能的逻辑都包含进去,这样带来的问题是:

1)这个程序的逻辑非常复杂。

2)每次增加工位都需要对程序进行升级,并且升级时可能需要系统停线。

现在我们用MapReduce的方法论对它化繁为简。

首先我们认识到,这个程序的核心是一个函数,输入产品序列号和工位,输出工艺参数,其中工艺参数是若干个工艺变量的组合。而工艺变量的生成方法是:

1)常数

2)工单属性

3)正则表达式

4)数据库查询

现在我们分别进行Map和Reduce的操作。

首先我们建立一个Map表,把所有工艺参数的变量在数据库中进行配置:

2.Reduce

然后我们分两步进行Reduce:

1)分别得到各个工艺变量的值。

2)将多个工艺变量的值进行规范处理,并组合得到完整的工艺变量。

其中对于第1步,分别对每一种工艺变量类型定义一个Reduce函数,如:

1)常数直接从内存中提取Map查询得到的值。

2)正则表达式则进行运算处理。

3)对于数据库查询,则运行对应的数据库函数,并配合输入的产品序列号和工位,经过计算得到对应的变量值。

这样处理的好处是:

应用二:通过物化视图同步数据

常见的做法是通过SQL把原始数据映射到物化视图,然后另建一个SCHEDULEDJOB去定期刷新。

但是问题在于,这个SQL的业务逻辑非常复杂,要关联多张表,并且要进行分组统计、递归等较消耗资源的计算。

下面我们看看怎样用MapReduce的方法论来进行简化。

首先我们列一个表,看看最终输出字段的计算逻辑。

从上表中我们可以看到要查询很多的历史记录表,而这些表在设计时并没有针对统计进行优化。

首先有一个额外的因素要考虑:数据同步的时机。

场景一:数据同步和MES生产是错开的,比如生产在下午结束,而同步在晚上进行,那么即使同步时消耗了大量的数据库资源也不会对生产造成影响。

场景二:生产和同步同时进行,那么就必须排除同步作业时数据库查询对MES实时生产作业的影响。

下面我们分别针对各字段进行Reduce的优化说明。

1)产品序列号

由于序列号属性表是一个主表,结构较简单,一般直接查询即可。

针对场景二,如果数据量特别大(比如小型数码产品的生产,一天可能多达近100万的数据量),那么可以这样处理:

这样我们就得到了一个数据量较小的表,而且同步所需的许多数据直接查询此表就可以得到。

2)工单信息

直接从序列号属性表查询就可以得到了。

针对场景二,工单和序列号一起进行复制作业。

针对场景一,我们可以直接在查询SQL调用此函数得到输出字段。

4)上线工位

编写一个查询上线工位的数据库函数FFS,根据序列号检索,得到第一次经过上线工位的工位名称。

针对场景二,我们可以让触发器T调用此函数得到上线工位然后输出到表N。

6)下线工位

编写一个查询下线工位的数据库函数FLS,根据序列号检索,得到最后一次经过下线工位的工位名称。

针对场景二,触发器T直接更新表N的下线工位属性。

7)关键零部件批次号

由于BOM存在层级结构,零部件的追溯记录存在一定的递归关系,做递归查询较消耗资源。

但是由于要同步的关键零部件的结构关系是较固定的,因此我们可以编写一个视图VG来复制关键的业务数据。

针对场景二,如果结构特别复杂,我们可以针对每个关键零部件分别编写函数FG1/FG2/FG3来进行数据抽取,然后利用触发器进行调用后复制数据到表N。

8)关键检测工位检测次数

编写函数FTC来计算检测次数。

针对场景二,利用触发器进行调用后复制数据到表N。

9)是否一次性通过

编写函数FTT来计算是否一次性通过。

下表列出了新增的Reduce操作:

然后再辅助以下的操作,以方便将来的维护、调整:

2)把物化视图的SQL更新为:SELECT*FROMVW;这样做的好处是,如果需要做一些调整,我们可以直接在视图VW里进行更新,而不需要重新编译物化视图。

3)新建一个存储过程SPW,用于执行刷新物化视图的操作。

4)在SCHEDULEDJOB里直接调用存储过程SPW,实现定期刷新。

通过以上的Map-Reduce操作,我们就把一个业务逻辑非常复杂的物化视图查询逻辑,转换成许多个业务逻辑相对简单、耦合性弱、查询效率高的数据库操作,简化了逻辑,增强了性能。

应用三:与PLC通讯

在许多工厂,用PLC控制设备,然后通过OPC与MES建立通讯。

OPC是一个广泛使用的工业标准,开发和部署都非常方便,而.NET对OPC的集成支持也非常好。

通常的做法是,在MES服务器上部署一个OPCCLIENT,建立与OPC的通讯,而MES对OPC的读写可直接映射成对PLC的读写操作。

而这样做的缺点是:

1)MES和PLC的耦合性太强,一旦MES停止响应则PLC也无法指导设备工作。

2)MES里集成了很多和PLC握手的控制逻辑,和MES的业务逻辑交织在一起,增强了逻辑的复杂度,降低了问题诊断的效率。

这里有一个前提,就是所有握手逻辑都在PLC里实现,OPC中间层只转换业务数据。

更进一步地,我们可以建立一个ITPLC,专门处理控制层的逻辑,并且为OPC中间层准备特定格式的数据。这样就形成了设备PLC-ITPLC-OPC-MES服务器这4层结构。

下面举一个汽车装配工厂车辆识别模块的例子。

下图是传统交互式握手的示意:

我们可以看到在MES服务器上需要编写握手的逻辑。

下图是增加ITPLC后,以请求/应答方式进行握手的示意图:

我们用MapReduce的方法论对它进行分析:

我们可以看出,经过MapReduce处理后,在每个层面上的逻辑复杂度都得以减少,更加专注于业务的实现。

THE END
1.厂家产品控销怎么做?货源电商平台厂家产品控销(Controlled Sales)成为了企业确保市场稳定、维护品牌形象、提升利润空间的重要手段。产品控销不仅关乎产品从生产到消费者手中的每一个环节,更涉及电商市场策略、渠道管理、电商价格体系及售后服务等多个维度。 品牌控价:13429143069 一、控销的难点 https://www.163.com/dy/article/JCFAIT3T05568XRG.html
2.汽配配件下线跟原厂的区别2. 下线:指的是同样是主机配套生产的,没有独立包装。 3. 专业厂:又分进口专业厂和国内专业厂。 4. 副厂:国内其他厂家生产的零件。 二、汽车配件 汽车配件(auto spare parts)是构成汽车整体的各个单元及服务于汽车的一种产品。 随着汽车配件加工市场竞争的日趋激烈,环保理念的深入人心,以及技术的不断升级和应用https://www.pcauto.com.cn/wd/3374710.html
3.如何告别:「产品下线」产品经理该做些什么?一般来说在下线产品前,应该尽量保证产品中已经有了数据备份和导出的能力,这样,可以尽可能减少用户数据的损失。 比如如果哪天「简书」倒闭了,就应该保证能够有备份或者导出文章的能力。 当然,UGC产品来说,用户数据的备份和导出能力应该是一个基础能力,再比如很多图片社区,在生成并发布图片的过程中,已经将图片同事保存到https://www.jianshu.com/p/d3fc4d2b3b80
4.产品下线仪式策划方案.pptx产品介绍详细介绍下线产品的特点、功能和优势。嘉宾发言邀请重要嘉宾发表讲话,提升仪式的影响力。宣传内容策划在仪式前一周开始进行预热宣传,提高关注度。提前宣传对仪式进行全程直播,并实时发布社交媒体内容。仪式当天仪式结束后,发布感谢信和回顾文章,延续宣传效果。仪式后宣传宣传时间安排BIGDATAEMPOWERSTOCREATEANEWERA05https://www.renrendoc.com/paper/308955279.html
5.云客服版本产品下线公告客服工作台(CCS)一、云客服版本产品下线公告 尊敬的阿里云用户您好,非常感谢您对阿里云客服工作台产品的支持,为了提供更全面的服务体系,聚焦满足客户需求,提供更清晰简化的使用体验,将下线【客户工作台-云客服(ccs】版本; 1、 自 2024年 07 月 26日起将停止云客服(ccs) 的新客购买入口; 2、 已开通云客服(ccs)客户 自 2025 年 https://help.aliyun.com/document_detail/2773207.html
6.SEMer必看!搜狗Q3商业资源上下线和产品变化赵阳SEM博客以下,是对搜狗商业资源上下线和产品变化的一个小快讯。 本期产品风向标将从平台优化、产品迭代、工具升级三个方面为大家进行说明,五分钟时间让您对搜狗产品更加轻车熟路,跟小编一起来看看吧~ 平台优化 一站式投放平台整合型首页: 整合搜狗全商业产品,效果数据前置展示,更多宣传入口。 http://www.mysemlife.com/7733
7.关于产品下线的公示关于产品下线的公示 因我公司营销政策调整,2024年4月12日起下线短信礼包合约、彩信礼包合约(以下简称“短彩礼包”),从下线之日起,基础资费套餐不再包含短彩礼包,客户无法再办理短彩礼包或含短彩礼包的基础资费套餐。 目前已办理短彩礼包的客户可继续使用,以下情况将无法继续使用,且因产品下线,无法再办理含短彩礼包https://www.10086.cn/aboutus/news/pannounce/hn/index_731_737_detail_49721.html
8.搜狗Q4产品动态,资源上下线及产品变化资讯搜狗Q4商业资源上下线及产品变化快讯~ 本期产品风向标将从流量&策划、产品迭代、平台优化、工具升级四个方面为大家进行说明,五分钟时间让您对搜狗产品更加轻车熟路,跟小编一起来看看吧~ 1、新增流量&策略 >>> 新增搜狗号内广告 满足网民了解医疗知识的同时,获得精准的内容推荐,展现相关广告。 搜狗https://www.27sem.com/article/3500
9.阿里主动淘汰大批产品,如此“自残”真的需要勇气这两天,淘宝卖家在后台收到了一份产品下线公告,通告“慢慢付”业务下线。据称未来一段时间里,“天猫宝”、“快捷保镖”、“快捷分期”、“天猫分期”以及“话费卡”等一批产品将逐渐从支付宝付款页面下线,部分功能会与其他业务进行整合。 很佩服阿里巴巴有这样的勇气,如此大规模地开展业务和产品清理工作。产品应该有https://www.tmtpost.com/1001515.html
10.国内*台高原型矿用电铲三一下线7月21日,三一SES12高原型电铲及首台自主研发SET230交流电驱动系统在昆山产业园下线,SES12电铲是国内首台高原型矿用电铲,可与95吨矿用自卸车配套使用,适用于年产量500万吨以上的各种大型露天矿。该产品的成功下线,填补了国内高原型电铲领域的空白。三一重工总裁向文波,三一矿机董事长毛建华等出席了下线仪式。 https://www.sanygroup.com/case/8262.html
11.起底原生态网络供销平台购买三无产品也可发展下线近日,有网友投诉从网络供销平台“原生态财富平台”上买到“三无”产品,南都记者调查发现,在该平台销售的产品不需要许可资质,只要支付了保证金即可上架销售。此外,该平台还推广“三级分销”的销售和获利模式,分销商通过发展上下线提成回报。有专业人士指出,这种模式借助互联网作为掩护,却符合传销的基本特征。南都记者将该https://gd.sina.cn/finance/tousu/2016-06-12/finance-ifxszmaa1862360.d.html?from=wap
12.银行工作总结范文(精选21篇)产品 负责产品 一季度 二季度 三季度 四季度 合计 1、个人信贷业务月报 2、个贷业务年报 3、零售银行同业监测周报 4、零售银行同业监测月报 5、小微金融资讯 下线产品 银行零售业务月度观察 个性化再销售 零售银行专题研究 零售银行同业数据比较 零售银行年报 https://www.ruiwen.com/zongjie/4871147.html
13.银行工作总结(13篇)产品 负责产品 一季度 二季度 三季度 四季度 合计 1、个人信贷业务月报 2、个贷业务年报 3、零售银行同业监测周报 4、零售银行同业监测月报 5、小微金融资讯 下线产品 银行零售业务月度观察 个性化再销售 零售银行专题研究 零售银行同业数据比较 零售银行年报 https://www.oh100.com/a/202306/6992807.html
14.突发!极兔国际小包业务暂停很遗憾地通知您,由于我司战略规划调整,小包业务产品将于2024年2月29日全线路暂停运营,订单类型包含普通订单、头程订单、派送订单、转寄订单。具体安排如下: 1、下线产品: (1)极免环球专线-标准普货:JET-HQ-BZP (2)极兔环球专线-标准特货:JET-HQ-BZT https://www.cifnews.com/article/155508
15.产品下线的翻译是:Productreferrals中文翻译英文意思,翻译英语产品下线 青云英语翻译 请在下面的文本框内输入文字,然后点击开始翻译按钮进行翻译,如果您看不到结果,请重新翻译! 翻译结果1翻译结果2翻译结果3翻译结果4翻译结果5 翻译结果1复制译文编辑译文朗读译文返回顶部 Products off the assembly line 翻译结果2复制译文编辑译文朗读译文返回顶部http://eyu.zaixian-fanyi.com/fan_yi_8319649
16.知名德企全球最新产品在汉下线知名德企全球最新产品在汉下线 9月26日下午,由70余人组成的德国企业代表团访问武汉,走进武汉中德国际产业园。在知名德企伟巴斯特全球最大生产基地伟巴斯特武汉工厂,一条可升降式车顶传感器模块生产线吸引了代表团成员的关注。 伟巴斯特等一批先进制造业龙头企业集聚发展。https://3g.wuhan.gov.cn/sy/whyw/202309/t20230927_2271973.shtml
17.关于下线斗鱼产品的申明近期,斗鱼平台发现与平台运营主体武汉瓯越网视有限公司合作为斗鱼产品提供推广服务的公司,在合作到期终止后违反协议约定仍将斗鱼TV端产品上线于其享有代理权或经营权的渠道。对此,斗鱼已要求部分合作方公司在其渠道下线了斗鱼产品,同时斗鱼平台积极呼吁其他各合作方:请您遵守契约精神,在与瓯越的合作协议到期后,立即下线斗https://www.douyu.com/cms/detail/20211.shtml
18.1688下线部分商家产品预计6月15日之前完成5月25日消息,1688平台日前发布1688部分商家产品下线公告(以下简称公告)。 公告称,为了提升1688卖家产品的使用体验,简化使用规则,1688平台将对目前卖家产品进行升级改造。 公告显示,自2022年6月1日起,以下产品功能将会陆续处理下线:淘货源数据分析, 我的淘宝联营产品,淘宝大店产品,分销-淘宝入住,集采活动,淘货源品牌分https://www.dsb.cn/186689.html
19.汽车电子产品下线测试是德科技是德科技汽车制造测试解决方案有助于缩短汽车电子产品的开发和制造生命周期,推动自动驾驶汽车(AV)和电动汽车(EV)行业加速创新,打造未来更强大的电动交通系统。https://www.keysight.cn/cn/zh/industries/automotive-energy/manufacturing-test.html
20.下线按自己需要是否购买不是需购买才能变成下线下线可以发展自己的(三)组织者或者经营者通过发展人员,要求被发展人员发展其他人员加入,形成上下线关系,并以下线的销售https://www.66law.cn/question/7529490.aspx
21.广州日报2023年10月25日,位于广州花都区的高景太阳能高效光伏组件项目(以下简称“高景”)首块高效光伏组件正式下线。该项目从7月份打下第一根桩到第一块产品下线仅仅用时75天,彰显“花都进度”。这个进度的背后,是广州市规划和自然资源局花都区分局联合花都区住房和城乡建设局等部门,一起克服多个审批系统对接技术障碍,最终https://gzdaily.dayoo.com/h5/html5/2024-05/31/content_871_859670.htm