2024年MaxCompute公告云原生大数据计算服务MaxCompute

云原生大数据计算服务MaxCompute:2024年

本文为您介绍MaxCompute2024年产品公告,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更等信息,以提升项目开发效率。

尊敬的MaxCompute用户:

阿里云将对云原生大数据计算服务MaxCompute服务等级协议(SLA)进行更新。具体变更内容如下:

因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute数据源访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。

为避免上述情形,请您确保以下两点:

同时,升级后的Logview将默认不再展示作业运行结果。

在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

若遇到该情况,您可在Session级别设置SETodps.optimizer.cbo.rule.filter.black=re;参数关闭该优化,之后即可正常执行UPDATE/DELETE/MERGEINTO操作。

此功能开放后,可以优化以下业务情形:

为确保安全性,MaxCompute将于2024年10月08日(周二)对控制台部分功能增加RAM权限管控,阿里云账号(主账号)默认拥有控制台所有功能的访问或操作权限,RAM用户需要添加对应功能的权限点方可访问,本次增加权限管控的功能及对应的RAM权限点如下:

模块

功能

权限点Action

工作区>Notebook

Notebook

租户管理>外部数据源

数据传输>迁移服务(MMA)

迁移服务(MMA)

注册完成后,您可通过以下两种方式开始体验新功能:

届时您通过MaxCompute控制台的配额(Quota)管理页面进行包年包月计算Quota配置时,会有如下变化:

为确保安全性,MaxCompute将于2024年09月10日(周二)对控制台部分功能增加RAM权限管控,阿里云账号(主账号)默认拥有控制台所有功能的访问或操作权限,RAM用户需要添加对应功能的权限点方可访问,本次增加权限管控的功能及对应的RAM权限点如下:

工作区>项目管理

odps:ListOutboundInternetAddress

odps:UpdateUsersToRole

工作区>配额(Quota)管理

工作区>资源观测

odps:ListTopJobInfo

工作区>作业运维

odps:ListJobSnapshotInfos

工作区>物化视图

租户管理>网络连接

租户管理>镜像管理

MaxCompute资源观测新增存储资源和作业性能观测部分指标。

您可以通过上述指标快速定位资源用量较多、耗时较长的作业,并及时治理。通过对比单位CU时处理的作业扫描量,判断是否存在性能异常时段,结合作业运维功能定位引发原因,并及时治理。

以上参数在作业运维列表默认隐藏,您可单击自定义列表选项设置显示。通过以上参数,您可以快速定位作业是否因等待资源耗时过长而导致整体运行较慢,进而结合作业分析判断具体由于资源供给不足或是存在多作业抢占资源导致,后续您可以依据具体业务情况优化作业执行情况、进行作业优先级调整或计算资源管理。

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口,并能直接利用MaxCompute的计算资源和数据接口,使得Python开发者可以更加高效、便捷地进行大规模数据处理和AI模型开发。MaxFrame不仅完全兼容Pandas接口,且自动实现分布式处理,您能够以更熟悉、高效的方式利用MaxCompute海量计算资源及数据完成数据处理、可视化探索、科学计算及ML/AI开发工作。

MaxCompute计算成本优化功能在中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)地域发布。该功能可基于您的实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,也支持查看当前使用按量付费计算资源的项目调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。此次发布后,共有以下十个地域提供该功能:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)、中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)。

因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute引擎访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。

在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。感谢您的配合!

MaxCompute包年包月商品的预付款资源新折扣于2024年4月7日10点(UTC+8)生效,包括标准计算资源、数据传输服务等包年包月资源规格。新折扣如下:

一次交易购买时长为1年可享8.5折优惠;2年可享7折优惠;3年可享5折优惠。

MaxCompute支持通过操作审计创建跟踪,将操作事件迁移入仓。

THE END
1.大数据算法一文掌握大数据算法之:大数据算法设计技术。大数据算法设计技术是处理和分析大规模数据集的关键。 通过采用精确算法设计方法、并行算法、近似算法、随机化算法、外存算法和现代优化算法等多种技术手段,可以从海量数据中提取有价值的信息。 在技术融合,交叉融合的当下, 掌握大数据算法,应用于工作中,是必不可少的一环。 我是小鱼: CSDN 博客专家; 阿里云 专家博https://blog.csdn.net/wuyoudeyuer/article/details/143093042
2.数据分析算法怎么做帆软数字化转型知识库袋装法是通过在数据上进行自助采样,训练多个模型,并将它们的预测结果进行平均;提升法是通过迭代地训练多个弱模型,每次训练时关注前一次模型的错误,逐步提高模型的性能;堆叠法是通过训练多个基础模型,并使用一个元模型对基础模型的预测结果进行组合。 总结,数据分析算法的关键步骤包括数据预处理、特征工程、模型选择与评估https://www.fanruan.com/blog/article/647171/
3.服务计算的思考腾讯云开发者社区重新审视服务范式与交付技术的叠加,尽管 Web 服务可能仍然与开发各种应用程序相关,但需要关注它们的底层服务需求。特别是,发展一种新的服务范式,其中包括可国际数据中心确定的四种技术,同时引进新技术,而不是强调扩大现有的网络服务标准和技术。 服务计算的一个目标是利用服务范式的功能和非功能组件的力量和简单性来构建https://cloud.tencent.com/developer/article/2185472
4.大数据算法模型架构图mob64ca12d9e536的技术博客数据存储:将数据存放在高效的存储系统中,如Hadoop、Spark或云服务。 数据处理:使用分布式计算框架进行数据清洗、转换和分析。 算法模型:在处理后的数据上应用机器学习或深度学习算法,生成可用的模型。 可视化:通过可视化工具展示数据分析结果,以便做出决策。 https://blog.51cto.com/u_16213339/12183691
5.数据统计服务(文末有算法)总点击数数据有误 从后台下载的数据,总点击数是 487 (后台是501),总花费77.92(后台是100,扣除佣金后是80)。 What:平台坑我的广告费 ? 3,算法:从奖励切入上让更多人转发和点击 参考数值:80% 的用户每分享一条朋友圈带来的点击 ≤12 个。 目的 https://www.jianshu.com/p/8793bcb8dcbb
6.栅格型空间数据服务体系结构与算法研究【摘要】:本文研究栅格型空间数据的服务体系结构与算法,侧重于地形服务器系统(Terrain Server Systems,TSS)的内容,其重点是管理海量地形和地表形态数据(多源遥感影像、数字正射影像和数字高程模型)和提供高速率数据服务。本文着重在系统体系结构、数据管理模型、数据分布方法以及服务器设计等方面进行研究,设计并实现了一个https://cdmd.cnki.com.cn/Article/CDMD-90008-2003111949.htm
7.好未来数据中台学而思网校户外广告投放实战初探通过丰富的,多样的潜客预估解决方案,支撑线下全场景业务的数据服务,合理资源配置。 投放平台技术简图 其中,我们这次网校户外投放方案的流量方为分众的传统媒体方,业务方为网校市场营销部的伙伴。 2)数据算法目标(点位目标人群分析) 问题抽象 利用现有数据资源,主要包括三个方面: https://maimai.cn/article/detail?fid=1603796396&efid=kBihX09ni6AbD-UcFzv3bw
8.数据服务方案为充分发挥数据价值,提高企业决策水平,本方案旨在制定一套合法合规的数据服务方案,以满足企业在数据采集、存储、处理、分析和应用等方面的需求。 二、目标 1. 确保数据服务全过程合法合规,遵循国家相关法律法规和政策要求。 2. 构建完善的数据服务体系,提高数据质量和数据利用效率。 3. 满足企业内部及外部客户的数据https://wenku.baidu.com/view/5615f3e5f4ec4afe04a1b0717fd5360cbb1a8d2a.html
9.谈谈哪些数据属于重要数据以及典型的数据安全法规和实践●涉及敏感物品的生产和交易以及可能被外国政府用来对中国实施制裁的重要设备的配备和使用;●为政府机关、军工企业等敏感重要机构提供服务过程中产生的,不宜公开的;●涉及未公开的政府数据、工作秘密、情报数据以及执法和司法数据;●可能影响中国政治、领土、军事、经济、文化、社会、科技、生态、资源、核设施、海外利益http://www.360doc.com/content/22/0518/10/78237952_1031891703.shtml
10.2023年重大网络安全政策法规盘点规定明确国家和地方网信部门统筹协调深度合成服务的治理和相关监督管理职责,国务院电信主管部门、公安部门以及地方相关部门的监督管理职责。 中国信通院《数据安全产品与服务图谱(2.0)》发布 《图谱》2.0在原图谱框架的基础上实现了更具体系化、层次化的升级迭代,旨在进一步打通供需双方对当前主流数据安全产品与服务的认知,https://www.eet-china.com/mp/a273064.html
11.[广东]2022年中国银行中银信息技术服务(深圳)社会招聘公告1.参与并负责银行数据平台管理,包括需求管理、数据管理、权限管理), 以及数据平台和应用的系统分析、设计、开发、维护,或者为数据平台建立框架、开发标准、企业级数据模型和方法论; 2.参与并负责大数据相关分布式平台部署以及数据服务应用实现。 (八)高级算法工程师(风控方向) http://www.yinhangzhaopin.com/zgyhzp/2022-06-06/128776.htm
12.金蝶云星空数据智能云数据智能软件数据分析平台金蝶云星空数据智能云是运用大数据与AI技术相结合的数据智能软件,通过数据分析、移动分析和AI大数据服务,满足企业的各类用数需求,提升企业智能化决策水平。https://www.kingdee.com/products/galaxy_data_service.html
13.邦信阳律师事务所11. 杭州市就《杭州市数据流通交易促进条例》公开征求意见 二、新闻与交易 1. 北京2024年将推动高级别自动驾驶示范区扩展至通州顺义 2. 网信办发布第二批应用程序分发平台备案编号 3. 工信部公布49个网络安全保险典型服务方案 4. 国家网信办发布第五批深度合成服务算法备案信息 https://www.boss-young.com/newsDetail?id=1f3da092-63ff-4eeb-0d79-08dc7407aea5
14.时空计算服务华为云Stack8.3.0解决方案描述03智能计算服务,在数据管理服务的基础上,实现影像的批量处理分析,在线提供多源遥感卫星影像数据服务、遥感数据生产处理服务、遥感智能解译分析服务以及数据共享云服务等。 GeoGenius平台预集成了多个即开即用的遥感AI智能分析算法服务,将复杂、耗时的生产环节编排成可自动化执行的生产流程,实现大规模影像数据的快速自动化生产,https://support.huawei.com/enterprise/zh/doc/EDOC1100328015/89e607b1
15.复杂能源系统智能计算教育部工程研究中心智慧能源系统包含了众多领域的物理设备,数据采集向多样化发展,且数据量呈指数级增长。常规的数据服务平台已无法满足对数据进行快速准确处理的要求,亟需构建云端–边缘端协同的数字孪生服务平台。边缘端需要利用智能设备进行一部分本地计算,云端则要求将各设备的数据整合后进行运算。通过建立“数据链”、通用算法库和模型库https://esic.ncepu.edu.cn/rdzt/zt2/a6806a4d78bc4da6a0c9e5ec4b4cbb84.htm
16.2023年中国移动互联网大事记(46月20日,国家互联网信息办公室发布境内深度合成服务算法备案清单,其中包括美团在线智能客服算法、快手短视频生成合成算法、百度文生图内容生成算法、百度PLATO大模型算法、天猫小蜜智能客服算法等41则深度合成服务算法备案信息。 23.中国移动正式发布6G公共试验验证平台 http://m2.people.cn/news/default.html?s=MV8xXzQwMDMwNTc0XzI0NDU2MF8xNjg4NzE3MzM1