如何使用Prefect中的任务流和子流构建模块化数据流哈哈哈来了啊啊啊

您可以根据您要实现的目标,以各种方式将任务、流程和子流程组合成可组合和模块化的工作流程。

任何流动或者子流可以返回数据和状态.任务可以额外返回**PrefectFutures******当他们被提交给任务运行器时。让我们详细了解一下。

返回数据是什么意思?每当您的流程或任务直接返回任何Python对象时,都会发生这种情况。例如,这是一个返回整数值的流程:

Prefectflowreturninganintegervalue

这是一个数据流,其中任务和主要流程返回pandas数据帧:

FlowandtasksreturningPandasdataframes

当你运行这个(例如,从本地终端或Jupyter笔记本),您的计算结果是一个熊猫数据框:

PandasdataframereturnedbyaPrefectflow

返回数据(而不是状态或期货)是您调用任务或流时的默认行为。返回的值可以作为数据依赖项传递给任何下游任务甚至流:

Passingdatabetweentasks

但是您也可以有一个不返回任何内容的流程:

“Helloworld”inPrefect—flowreturningnothing

您可以将Prefect流代码视为带有“附加”的纯Python,仅当它变得有用时才应用。对于任何给定的工作流程,您可以根据需要尽可能多地利用Prefect。

返回数据的好处:

什么是**PrefectFuture**

**PrefectFuture**是一个对象,表示在任务运行器中发生的计算结果。它同时拥有:

返回一个是什么意思**PrefectFuture**当您使用调用任务时your_task.submit(),它们被提交给一个任务运行器,它为访问任务的状态和结果创建了一个未来。

期货可以作为数据依赖传递给下游任务,即使任务被提交并行执行仪表板或者射线,或并发执行异步:

ExampleshowinghowyoucanretrievethestateandreturnvaluefromaPrefectfuture,evenforfailedtasks

既然你知道如何与**PrefectFutures**,你可以更好地理解(并且可能会欣赏)任务运行者的好处。运行直接返回数据的流时,任何失败的任务运行都会堵塞进一步执行和立即停止运行(下图中的第一个流程)。

相反,当提交任务以供任务运行程序执行时,阻塞调用(返回一个_PrefectFuture_)允许您使用所有任务运行整个流程。一项任务的失败不会阻止另一项任务的执行(下图中的第二个流程)。

Blockingvs.non-blockingtaskcalls

什么是**知府**它是一个代表运行状态的对象。状态通常被称为Prefect编排的“货币”——它们决定了您的流程和任务在计划、提交和最终执行时的运行进度。有些状态表示重试、失败、完成、取消、崩溃等。

Prefect允许您在任务和流程转换到特定状态时采取行动,并让您控制自动化数据流对计算结果的反应方式。例如,您可能想要:

这一切都归功于Prefect州丰富的词汇。

返回一个是什么意思**知府**目的?任何时候你调用你的任务return_state=真参数,Prefect将直接返回一个状态对象,您可以使用该对象基于您关心的状态更改构建自定义行为,例如任务或流失败或重试。以下是如何在两者中调用该参数的示例任务和子流:

上面的流程演示了如何在执行任务时返回状态,以及从流程运行过程中的流程。下面是一个示例,展示了在将工作提交给任务运行器以进行异步

Prefect为您提供构建块,您可以在需要时灵活地应用到您的工作流程中。

根据您的工作流程的需要使用尽可能多的Prefect。

了解返回数据、状态和期货之间的区别后,让我们看看您可能更喜欢其中一种的常见用例。

你什么时候回来数据直接地,您的Prefect任务或流程与本机Python函数的工作方式相同。这样做的好处是自然蟒蛇经验。不利的一面是,如果您的任务或子流程失败,则会急切地引发异常,并且您的工作流程会在故障发生后立即终止。

这种行为对于顺序处理,例如,当您想要运行一些必须一个接一个地发生的数据转换时。如果之前的任何一个失败,您希望整个工作流程立即结束。

当您想利用Dask、Ray或异步事件循环时,您可以将任务提交给任务运行器并获得以下好处平行或者同时执行。如果您需要更多控制来处理故障,这同样适用。**PrefectFutures**由于阻塞了任务运行提交调用,它提供了高度可定制的编排功能,这与在分布式设置中的本地工作方式相同(例如,当向分布式Dask或Ray集群提交工作时),即使是异步任务和流(利用Python_异步_图书馆)。

如果您想根据特定的状态转换采取行动,状态就变得很重要。例如,如果某些API调用未返回任何数据,您可能希望提前完成流程运行:

下面是一个示例,展示了如何在重要任务成功完成时通过Slack获得通知:

Prefect根据返回值确定流程运行的最终状态。这就是它在实践中的含义——如果你的流程返回:

THE END
1.古田县图书馆新项目,文化事业发展的强大推动力金属制品古田县图书馆启动最新项目,成为推动当地文化事业发展的强大引擎。该项目致力于丰富群众文化生活,提升图书馆服务质量,通过优化图书资源、拓展服务领域、创新活动形式等方式,为公众打造更加舒适、便捷的阅读环境。这一举措有力地促进了文化事业的发展,提高了全民阅读素养,为构建和谐社会注入新的活力。 http://www.xkdns.cn/post/18254.html
2.城市书房项目推广,打造优化阅读环境,引领阅读新风尚建立健全的管理制度,确保城市书房的正常运行,加强日常维护,保持环境整洁卫生,确保图书的完好和更新。 城市书房项目的推广,对于提升城市文化品位、促进全民阅读具有重要意义,通过多元化筹资、扩大宣传、丰富书目资源、打造特色阅读空间、举办阅读活动等措施,推广城市书房项目,让更多的人参与到阅读中,享受阅读的乐趣,通过优化阅https://qyfw.qijianshiye.com/post/7229.html
3.东洲区图书馆现代化项目启动,打造知识殿堂新篇章新闻随着科技的飞速发展和信息时代的到来,图书馆作为知识的宝库,正经历着前所未有的变革,东洲区图书馆,作为本地区文化事业的重要组成部分,始终致力于为广大读者提供优质的服务和丰富的精神食粮,东洲区图书馆启动最新项目,以打造现代化知识殿堂为目标,进一步提升图书馆的设施与服务水平。 http://bxkxdz.com/post/20574.html
4.蔚县图书馆新项目,文化发展的强大驱动力合作伙伴蔚县图书馆自建成以来,一直致力于为广大读者提供优质的阅读服务,随着时代的变迁和科技的进步,图书馆需要不断更新和升级其设施,以适应读者的需求,为此,蔚县图书馆启动了最新项目,旨在提升服务质量,推动地方文化的发展。 1、数字化建设:为了满足现代读者的需求,蔚县图书馆最新项目将大力推进数字化建设,通过数字化技术,将https://todo8.cn/post/8309.html
5.图书馆,新气象高校图书馆拥有丰富多样的馆藏文献资源,肩负着向学生宣传、展示、传递科学文化知识、提供文献服务的重任。为学生人生观、世界观的塑造,品德的熔炼,情操的熏陶及学识的拓展等提供了必要的条件。 为引导学生养成“爱读书、读好书、善读书”的精神,图书馆加强与学校各系部的协同合作,在合作之https://mp.weixin.qq.com/s?__biz=MzUyNjU1MjIzMw==&mid=2247487155&idx=1&sn=0e04218f988d796f70788cdb4f78550a&chksm=fa0c5375cd7bda633ac80cfa3989183913721f0e562a89b8df6b96835a029c551123f0e0bd4e&scene=27
6.经常带孩子去图书馆的8大好处随着社会的发展,网络取代了更多的书面书籍,但对于青少年来说,书籍依然是孩子们不可或缺的精神食粮。除了在学校学习,家长应该鼓励孩子去图书馆读一些书。对于自己喜欢的书,不仅可以在图书馆里面接触到志同道合的同伴,而且图书馆环境安静,也没有手机、电脑和游戏吸引孩子,这对孩子有百利而无一害。1. 可以培养https://baijiahao.baidu.com/s?id=1763753961104451499&wfr=spider&for=pc
7.你也可以创建自己的电子图书馆在昨天的李笑来老师的分享中,介绍了阅读电子书的好处:电子书可以进行全文搜索,在需要的时候只需要通过关键词就可以找到自己需要的内容,这是纸质书做不到的。 他的公众号有一篇文章《如何在MacOS Spotlight 里全文检索 epub 书库》简单介绍了创建的方法,但不是特别详细。根据这篇文章我也创建了自己的电子图书库,整体https://www.jianshu.com/p/1952bc76f306
8.图书馆如何在抖音来客开通团购流程及好处图书馆在抖音来客开通团购流程及好处如下: 开通流程: 下载并注册:需要下载“抖音来客”App,并使用手机号码进行登录。 创建门店:在App中创建自己的门店,并上传相关的门店资质文件。这些资质文件通常包括营业执照、法人身份信息、卫生许可证以及健康证等。 审核通过:提交的资质文件需要经过douyinguanfang的审核,审核通过后https://fuwu.11467.com/info/32814770.htm
9.建立班级图书角有什么好处图书角的图书主要来源是学校购书,学校图书馆流动图书,教师或家长或学生荐书,社会赠书等等。学校提供多学段多类别的图书,师生也可以把家中闲置的,健康有益,形式多样的图书拿到图书角相互交流,同时学校图书馆拿出部分流动图书定期或不定期流动到班级图书角。图书角图书也需要按规则分类,编码,登记,按学科辅导读物,社会知识http://www.shsyzn.net/article-item-83.html
10.mysql多少数据建立索引mysql最多可以建多少个索引索引类似大学图书馆建书目索引,可以提高数据检索的效率,降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降,虽然官方文档说500~800w记录,所以大数据量建立索引是非常有必要的。 索引类型及创建 主键索引 主键索引是一种特殊的唯一索引,一个表只能有一个主键,不允许有空值。一般是在建表的时候同时创建主键索https://blog.51cto.com/u_12970/7768210
11.Vuejs页面的区域化与组件封装的实现vue.js图书列表页 - book.vue 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |- book.vue - html 页面 <template> 欢迎来到波波图书馆! <!-- 推荐读书 --> <!-- 大家注意 :books 是BookList.vue组件里图书对象数组 heading 是传给组件的标题 --> <book-list :books="recommendArrahttps://www.jb51.net/article/123373.htm
12.初中研究性报告(精选18篇)3、资料法:利用图书馆和校园网,查阅有关资料,借助前人的理论和经验,指导我们的实验研究,为课题研究提供丰富详尽的背景资料,并更新了课题组成员的教育观念。 4、培训学习:首先由部分课题组成员外出参观学习,然后组织全体课题组成员共同学习他们带回的学习内容及体会,进一步提高认识,转变教育思想。 https://m.ruiwen.com/gongwen/baogao/1399781.html
13.宁波图书馆宁波图书馆2022年3月活动安排 1.精灵妈妈的好处是什么 主讲人:陈丹燕(作家,电影导演) 时间:2022年3月5日(周六)14:00 主讲人简介:陈丹燕,作家,电影导演,塞尔维亚旅游局中国形象大使,上海辰山植物园文化园长,她的上海非虚构作品获得过上海图书奖一等奖,是长期的畅销书。她的青少年作品获得过奥地利国家文学奖金奖,联合https://www.nblib.cn/information/3771
14.《数字图书馆》教案6篇(全文)2.略读6、7段,了解一本普通的图书是怎样变成电子图书的。 3.合作学习8、9段。 (1)自己默读,勾画出说明数字图书馆的优点的相关语句。 (2)小组交流,总结出数字图书馆的优点。 (3)全班汇报。 4.把数字图书馆的优点与前面找出的传统图书馆的不足进行对照比较,深刻体会数字图书馆的好处。 https://www.99xueshu.com/w/fileglkttn5i.html
15.mysql之索引usingbtree好处: 类似大学图书馆建书目索引,提高数据检索的效率,降低数据库的IO成本。 通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗。 坏处: 实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的。 https://blog.csdn.net/m0_72167535/article/details/128752394
16.你可以使用的10款iPad和iPhone的最佳ePub阅读器推荐合集Gerty 还提供了一个有趣的功能,称为占位符书。你可以在 Gerty 图书馆中将其用作不在设备中但实际上是你拥有的实体书的书籍的占位符。这样,你的 Gerty 图书馆就可以代表你的整个阅读收藏,包括物理和数字。它太酷了。 该应用程序还提供阅读统计信息、对暗模式的支持、导出选项等等。我在这里看到的唯一问题是界面https://www.lsbin.com/28307.html
17.读书周活动总结(通用16篇)根据——省图书馆学会转发国家图书馆学会《关于开展——年“全民读书”活动的通知》要求,深入推进全民读书活动和精神文明创建活动,不断提高全民读书水平,提升我县市民文化素质,构建基层图书馆现代公共文化服务体系,发挥示范引领作用,图书馆举办了“全民读书”活动。 https://www.yjbys.com/zongjie/huodong/1032137.html
18.学习经验交流在学习型党组织创建活动中,我们切实加强了学习教育阵地硬件建设,逐步夯实学习教育发展基础,不断提高服务质量。在局机关和各学校为干部教职工配备了电脑,在各学校完善了图书室、阅览室、文化活动室的设施,由专人负责,免费为教职工开展服务,做到了活动有场所、培训有设施、学习有设备;为教育系统广大党员和干部职工学习https://www.fwsir.com/xinde/html/xinde_20230304120057_2484684.html
19.读书月活动方案15篇4.12月由求知书店在我院图书馆中厅举行为期两天的新书优惠展销活动。 读书月活动方案10 各二级学院(部): 为纪念“42世界读书日”,激发广大师生的读书热情,打造校园化精品项目,推进以化育人为基础的'明创建提升工程,学院联合xx数图信息技术发展有限公司(简称xx公司)、xx市图书馆等单位,于4月1日至4月0日共同举办“https://www.oh100.com/a/202304/6653465.html
20.九年级语文上册第二单元复习教案范文(通用14篇)4、拓展延伸:通过宽带网了解鲁班的故事,也可以到图书馆`上网等收集更多的资料。 教学重点: 习作 教学难点: 习作 教学用具: 小黑板 教学过程: 习作、指导 一、交流 1、在上次口语交际课上,老师分享了大家发现的乐趣。现在,让我们大家再来交流交流我们的“观察日记”。 https://www.yuwenmi.com/jiaoan/jiunianji/1003582.html
21.图书进销存用哪些软件零代码企业数字化知识站3. 使用图书进销存软件的好处有哪些? 图书进销存软件的使用能够为书店和图书馆带来诸多好处,具体包括: 提高工作效率:通过自动化的库存管理和销售记录,减少人工操作,降低错误率,从而提高整体工作效率。 实时数据监控:软件提供实时的库存和销售数据,管理者可以随时掌握经营状况,做出快速的调整和决策。 https://www.jiandaoyun.com/blog/article/922827/