云原生大数据计算服务MaxCompute:2024年
本文为您介绍MaxCompute2024年产品公告,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更等信息,以提升项目开发效率。
尊敬的MaxCompute用户:
阿里云将对云原生大数据计算服务MaxCompute服务等级协议(SLA)进行更新。具体变更内容如下:
因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute数据源访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。
为避免上述情形,请您确保以下两点:
同时,升级后的Logview将默认不再展示作业运行结果。
在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
若遇到该情况,您可在Session级别设置SETodps.optimizer.cbo.rule.filter.black=re;参数关闭该优化,之后即可正常执行UPDATE/DELETE/MERGEINTO操作。
此功能开放后,可以优化以下业务情形:
为确保安全性,MaxCompute将于2024年10月08日(周二)对控制台部分功能增加RAM权限管控,阿里云账号(主账号)默认拥有控制台所有功能的访问或操作权限,RAM用户需要添加对应功能的权限点方可访问,本次增加权限管控的功能及对应的RAM权限点如下:
模块
功能
权限点Action
工作区>Notebook
Notebook
租户管理>外部数据源
数据传输>迁移服务(MMA)
迁移服务(MMA)
注册完成后,您可通过以下两种方式开始体验新功能:
届时您通过MaxCompute控制台的配额(Quota)管理页面进行包年包月计算Quota配置时,会有如下变化:
为确保安全性,MaxCompute将于2024年09月10日(周二)对控制台部分功能增加RAM权限管控,阿里云账号(主账号)默认拥有控制台所有功能的访问或操作权限,RAM用户需要添加对应功能的权限点方可访问,本次增加权限管控的功能及对应的RAM权限点如下:
工作区>项目管理
odps:ListOutboundInternetAddress
odps:UpdateUsersToRole
工作区>配额(Quota)管理
工作区>资源观测
odps:ListTopJobInfo
工作区>作业运维
odps:ListJobSnapshotInfos
工作区>物化视图
租户管理>网络连接
租户管理>镜像管理
MaxCompute资源观测新增存储资源和作业性能观测部分指标。
您可以通过上述指标快速定位资源用量较多、耗时较长的作业,并及时治理。通过对比单位CU时处理的作业扫描量,判断是否存在性能异常时段,结合作业运维功能定位引发原因,并及时治理。
以上参数在作业运维列表默认隐藏,您可单击自定义列表选项设置显示。通过以上参数,您可以快速定位作业是否因等待资源耗时过长而导致整体运行较慢,进而结合作业分析判断具体由于资源供给不足或是存在多作业抢占资源导致,后续您可以依据具体业务情况优化作业执行情况、进行作业优先级调整或计算资源管理。
MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口,并能直接利用MaxCompute的计算资源和数据接口,使得Python开发者可以更加高效、便捷地进行大规模数据处理和AI模型开发。MaxFrame不仅完全兼容Pandas接口,且自动实现分布式处理,您能够以更熟悉、高效的方式利用MaxCompute海量计算资源及数据完成数据处理、可视化探索、科学计算及ML/AI开发工作。
MaxCompute计算成本优化功能在中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)地域发布。该功能可基于您的实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,也支持查看当前使用按量付费计算资源的项目调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。此次发布后,共有以下十个地域提供该功能:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)、中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)。
因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute引擎访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。
在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。感谢您的配合!
MaxCompute包年包月商品的预付款资源新折扣于2024年4月7日10点(UTC+8)生效,包括标准计算资源、数据传输服务等包年包月资源规格。新折扣如下:
一次交易购买时长为1年可享8.5折优惠;2年可享7折优惠;3年可享5折优惠。
MaxCompute支持通过操作审计创建跟踪,将操作事件迁移入仓。