智东西美国加州库比提诺苹果总部WWDC24现场报道，今日，苹果构建了一个全新AI帝国——个人化智能系统AppleIntelligence诞生，智能助手Siri迎来诞生13年以来的史诗级进化，打通苹果全家桶系统。
今天加州现场的阳光明媚又热烈，将衣服晒得滚烫。在动感的暖场音乐后，库克出来跟现场观众交流互动，之后整个Keynote所有现场媒体和开发者仍然是围坐在一起“看录播视频”。
紧接着主题演讲开始，苹果上来就先甩“核弹”——国行版VisionPro6月28日在中国上市！6月14日开始预定。
目前国内苹果官网页面已经上架VisionPro，售价29999元起。
在长达100分钟的主题演讲中，苹果相当会吊胃口，明知大家最关心AI，就是要把AI和Siri压箱底，开场1小时后才开始密集上猛料。
不过AI的猛料一上就是40多分钟：
iOS支持了通话录音！还上新语音转写。
Siri能免费调用ChatGPT了，还能关联GPT-4o。
Siri真的变聪明了，能更自然地回答问题、读懂模糊表达、理解多轮对话，还将能够识别屏幕、总结信息、个性化定制、跨应用操作、在App中执行数百项操作等。
其他全新生成式AI功能包括创建生成式AI表情包，草图秒生更丰富的图像，AI创作图像深度嵌入信息，此外AI修图及视频搜索、AI视频创作也将嵌入苹果图库。
此外，苹果全家桶六大系统全面升级！
MVP毫无疑问是iPadOS18计算器App！一发布就引起全场巨大的欢呼。还有超酷的手写数学笔记功能，备忘录也上线全量计算器功能。
iOS18大改屏幕图标、控制中心和照片App设计，新增卫星短信、游戏模式、地图离线徒步路线记录。
还把“金钱流失”具象化，两个iPhone一碰，钱就如流沙般“流”到另一部手机的账户里。
苹果AI这么猛，我们什么时候能用上呢？根据苹果公布信息，AppleIntelligence的英语试用版将于今年夏天推出，并于今年秋天在iOS18、iPadOS18及macOSSequoia中落地Beta版。
当然，要用上最新的苹果AI，门槛着实不低：支持iPhone15Pro、配备M1芯片的iPad和Mac以及后续机型。
用AI刺激新品销量，库克你是懂的。
哦对了，今天OpenAICEO萨姆·阿尔特曼也亲自来到了WWDC现场，距离他上次来WWDC，已经过去了十六年。
▲2008年阿尔特曼参加WWDC（左）与2024年阿尔特曼参加WWDC（右）
马斯克作为OpenAI曾经的发起人之一和现在的死对头，不但抨击苹果AI面临数据隐私安全问题，还直接在库克X平台推文下方留言道：“不想要。”
马斯克还不忘“恶搞”一下，以一张表情包表达了内心的真实想法：
这次智东西作为受邀现场报道的少数AI媒体之一，现在带你直击苹果总部ApplePark现场。
主题演讲后，特别环节在乔布斯剧院进行，苹果机器学习和AI战略高级副总裁JohnGiannandrea、苹果公司软件工程高级副总裁CraigFederighi在接受采访时透露说，苹果在iPhone上运行的大语言模型有大约30亿个参数，并确认苹果与其他第三方大模型供应商合作的计划，称期待在未来与其他模型进行集成，比如谷歌Gemini，但“现在没有什么可宣布的”。
一、苹果个人AI系统来了：AI贯穿系统每个角落、所有App！
AI，一定是这次WWDC最重要的主角。这次苹果正式发布了自家的个人化智能系统——AppleIntelligence，这无疑是一个具有里程碑意义的时刻。
库克说，生成式AI和大语言模型的发展带来了更多新的强大AI功能。苹果在落地这些功能的过程中，希望能符合苹果核心原则，今天，苹果正式公布了自己做AI的五大关键原则：
1、强大，能在各种要紧的事上帮到你。
2、直观易用。
3、深度整合到产品的使用体验中。
4、懂你，并以你个人的情境为基础。
5、从设立之初就注重隐私保护。
基于这些原则，苹果正式发布了AppleIntelligence——苹果全新的个人化智能系统，也就是苹果AI的核心系统。
苹果高级副总裁Craig特别提到，苹果要做的是更懂你的个人化智能系统。
AppleIntelligence将生成式AI模型置于iPhone和iPad的核心中，根据个人的情境来提供智能的协助。
苹果从功能、架构、体验三个方面深入介绍了AppleIntelligence。
首先是功能，AppleIntelligence，可以让你的iPhone、iPad和Mac理解并生成语言和图像，还可以代替你执行操作，简化跨多个App进行操作的流程。
苹果说，AppleIntelligence真正的独特之处就是能够理解你的个人情境。
AppleIntelligence内置大语言模型，可以深刻的理解自然语言，让日常生活中的各种大事小事都做得更快、更轻松。
比如你的iPhone可以为通知设定优先的次序，减少不必要的干扰，但又不会错过重要信息。
这些功能贯穿邮件、备忘录、Safari浏览器、Pages、Keynote甚至是三方的App。
AppleIntelligence可以识别你照片图库中的人物，比如给朋友发生日祝福时，AI可以生成一张朋友的图像，让你的祝福更带感。
当你想告诉妈妈，她是你心中的超人时，你可以发一张他身穿超人披风的照片。
生成的图像有三种风格：素描、插图和动画。
当然，这种体验不仅限于信息App，系统中所有的App都适用，比如备忘录、无边记、Keynote、Pages。
AppleIntelligence另一个重要能力就是跨多个App执行操作，你可以开口说，调出上周Joe给我发的文件、看看妈妈和我的所有照片、播放前几天太太发给我的播客。
AppleIntelligence能实现数百种这种复杂的操作。
此外，Craig重点提到，个人化智能还有一个极其关键的要素，就是要深刻理解你的个人情境。
Craig特别提到，能够理解这些个人情境，才能提供真正实用的智能技术。但是做法必须要注重隐私。
端侧设备处理是AppleIntelligence的核心，苹果将它深度整合到iPhone、iPad和Mac中，苹果无需收集这些数据，就可以实现这些功能。当然，这离不开苹果独特的软硬件整合能力。
苹果对芯片多年的投入，让苹果的芯片可以支持端侧AI的处理。
苹果特别提到，苹果先进的Apple芯片，包括A17Pro和M系列芯片，给AppleIntelligence提供了坚实的算力基础。
AppleIntelligence包含专为日常活动而设计的大语言模型和图像生成扩散模型，能飞快的根据你当前的活动进行调整。
大多数这类模型都能在完全的端侧运行，有时用到的模型大到无法放在随身携带的设备，这时候服务器就可以产发挥作用了。
传统的服务器会储存你的数据，但苹果创造了PrivateCloudCompute——私密云计算技术，私密云计算技术让智能系统能够扩展引入更大的基于服务器的模型，来处理更复杂的需求，同时妥善保护数字隐私安全。
苹果提到，这些服务器基于苹果芯片，可以提供与iPhone相同的芯片级别的隐私和安全保护。
Craig说，数据绝对不会被存储，连苹果也无法访问，数据只会为了用来执行请求。
苹果通过加密形式确保iPhone、iPad、Mac可以拒绝与服务器对话，除非这个服务器的软件已经得到公开的安全标准认证。
可以说，在个人数据隐私保护上，苹果是死磕到底了。
AppleIntelligence将于今年夏天推出英语试用版，今年秋天Beta版将作为iOS18、iPadOS18及macOSSequoia的一部分推出。另外的功能和其他语言、平台的支持将在明年陆续推出。
二、苹果智能免费可用，给Siri“换脑子”，交互更自然更个性化
基于AppleIntelligence，Siri的交互变得更自然，上下文理解力更强，用户使用也将更个性化。
首先，Siri具有更丰富的语言理解能力，即使用户表达不清楚，它也能理解意思；它可以在对话时联系上下文，比如知道用户说的“那里”是之前提到的一个地方。
Siri支持用户切换语音和文字交互方式。当不想出声时，用户可以打字给Siri，让它实现定闹钟等功能，选择适合场景的交互方式。
Siri掌握了大量关于功能和设置的信息。当用户想知道如何在iPhone、iPad或Mac上做某事时，即使不知道某个功能的确切名称，用户也可以简单地描述它，Siri能明白用户所说的功能是什么。
在接下来的一年里，苹果将推出更多功能，使Siri更加个性化和强大。
AppleIntelligence将为Siri提供屏幕感知能力，支持其针对屏幕信息采取行动。例如，一个朋友从消息中发短信写到新地址，用户可以让Siri把这个地址添加到他的联系人卡片上。
Siri将可以理解用户在App中的很多操作，能在App内及跨App执行数百个新操作，包括一些利用苹果新的写作和图像生成功能的操作。比如当用户对Siri说找到某张照片，并要求对这张照片优化，Siri将能够去照办。
这些功能将通过AppIntents实现。这个框架允许一系列针对Siri和其他系统体验的操作，不仅限于苹果自有应用程序。开发者将能够通过AppIntentsAPI来在他们的应用程序中引入AppleIntelligence。
Siri还将拥有一组很酷的功能，它将可以感知用户的个人背景，包括照片、日历日程和文件等语义索引，以及藏在消息和电子邮件中的信息，从而预测用户接下来要做的事，且不会泄露隐私。
比如新的Siri是个找东西的好帮手。在用户的要求下，Siri可以帮用户帮用户找到驾驶证号，并填写到表格里。
今年标志着Siri新时代的开始，所有这些Siri的更新会同步iPad和Mac。
三、AI文本润色、图像生成潜入应用程序，还支持录音转文字、自动生视频
AppleIntelligence还被用到了整个系统的其他地方。
比如AppleIntelligence提供重写（Rewrite）功能，帮用户在各种应用中优化写作内容。同时，写作工具也可以帮用户校对内容，检查语法、字词及句子结构，提供编辑建议。
此外，AppleIntelligence还支持智能回复邮件，用户轻点几下就可以完成操作。现在，用户也可以从电子邮件列表中看到摘要，快速了解邮件内容，获取优先级信息。
除了邮件，用户几乎可以在任何地方访问系统范围内的写作工具，包括第三方应用程序。
AppleIntelligence支持用户进行AI图像生成，第三方应用程序也支持这种体验。
消息中最有趣的沟通方式之一是表情符号。苹果推出Genmoji（表情生成），支持用户通过自然语言描述生成表情符号，比如挑选相册里的一个人创建与他非常相似的表情符号，并添加到消息等应用中。
在图像生成方面，苹果进一步推出了ImagePlayground（图像游乐场），这是一种在几秒钟内创建有趣图像的新方式，将内置在消息等应用中。
不需要复杂的描述词，用户可以从主题、服装、配饰、地点等一系列概念中进行选择并添加至ImagePlayground，几秒钟后，用户将看到AppleIntelligence创建了用户想要的图像。当然，用户也可以输入具体描述进行图像生成。
苹果还构建了ImagePlaygroundAPI，支持开发者将图像生成功能集成到他们的应用中去。
为了深入理解和创建图像，苹果推出全新的笔记应用程序工具ImageWand（图像棒），它可以将一个粗略的草图变成精致的图像，补充笔记，增加可视化效果。
AppleIntelligence还帮助用户充分利用不断变大的照片库。修图、搜索照片和视频都变得更加容易。
同时，AppleIntelligence还将支持自动视频创作，当用户想使用照片和视频自己创作一部电影时，比如输入“学钓鱼”，AppleIntelligence会挑出适合的素材，自动生成一段视频，画面还会伴随着自动匹配的配乐。
除此之外，AppleIntelligence还开启了很多其他有用的功能。比如，在笔记应用中，用户现在可以录制和转录音频，并提供智能摘要；该功能也将进入其他应用，当用户在实时通话中开始录音时，参与者会自动收到通知，实时通话转录。
四、联手OpenAI尘埃落定，无需注册、Siri实时调用GPT-4o
对于苹果AI在合作方面的一些进展苹果也在今天做了重要官宣。
除了自家大模型，苹果还将Siri变成使用外部模型的入口，这些外部模型的能力会全部融入用户的使用体验中。
苹果与OpenAI此前盛传已久的合作终于尘埃落定，苹果首选了GPT-4o作为外部大模型之一。
首先，Siri支持调用ChatGPT，例如需要菜品灵感、家装建议等，都可以让ChatGPT直接给出答案，不止文字、照片，就连文档、PPT、PDF都可以直接提问。
此外，苹果将ChatGPT融入了全系统适用的书写工具中。其编写功能让用户分分钟搞定带插图的睡前小故事。
ChatGPT将集成在iOS18、iPadOS18和macOSSequoia中，今年稍晚推出。未来苹果还会增加对其他AI模型的支持。
对于开发者，大模型的更新也大有裨益。
苹果以全新的API和框架更新了SDK。例如，开发者在ImagePlayground中只需要添加几行代码，就能加入自己的App，BearNotes这类App自动支持用户对笔记进行重写、校对和摘要。
同时，苹果还在努力打造更多的实现途径，让用户直接在各种App中使用Siri执行指令。
苹果在快捷指令框架AppIntents中，将海量App与AppleIntelligence关联了起来，并在所有操作系统中定义新的Intent机制，然后将经过预定义、训练和测试的Intent免费提供给开发者。
例如用户直接口述提出“给昨天XX拍的照片应用电影效果预设”的指令，就可以直接让Siri执行。
这些都只是其SDK更新的冰山一角，未来开发者可以将各种实用且智能的功能添加到自己的App中，打造适用于每一个人的AI时代。
五、iOS18来了：支持主屏自定义及应用锁，卫星通信上iPhone，游戏模式来了
上述各类AI新功能都已经融入到了苹果的各大OS中，首先我们来看看iOS。
这次iOS18为开发者提供了更多方式去定制iPhone，让设备保持连接，以及让用户重温重要时刻。
1、定制iPhone：主屏幕个性化定制，控制中心可扩展
从主屏幕开始，用户已经可以使用自己喜欢的壁纸、应用程序和小部件自定义主屏幕，现在可以做的更多。
比如用户可以设置自己喜欢的照片为壁纸，自定义App图标的位置及颜色和风格，比如深色模式的风格会随之变化，以及用户可以根据主题照片自定义App图标色调。
苹果还将更高阶的自定义和功能带进了控制中心。用户用手指扫向屏幕右下角，控制中心出现，增加了媒体播放、家居控制等更多控制项，支持便捷添加更多其他控制项。iOS18增加了控制中心的可扩展性，支持调整布局和大小。
在隐私方面，用户有时会把手机给别人使用，iOS18支持开启隐私模式，锁定某个App或者隐藏某个App。在用户与App共享信息方面，iOS18将用户与App共享哪些联系人的控制权交给了用户；用户还能更强地控制设备配对。
2、保持连接：信息增加个性化表情符号，支持卫星通信
iOS18对用以保持连接的应用程序进行了重大增强。
在信息功能上，iOS18为用户解锁了新的表情符号和贴纸，还增加了设置信息稍后发送的功能。用户可以使用一些文字效果强化信息语气，比如通过文本斜体、下划线等格式强调词句，通过视觉放大强调某个信息点，让某个词语震动等。
当没有网络时，iOS18支持通过卫星提供信息服务。现在，用户可以使用iPhone14及后续的机型的卫星功能，连接到距离地球数百英里的卫星，发短信给亲友，且这些信息均经过端到端加密的。
邮件App增加了新的类别功能，并且提供全新的摘要模块，帮用户将同类信息汇集在一起，信息交互变得更容易，该分类功能今年晚些时候推出。地图App提供了新的地形图，包含详细的步道网络和远足路线都可以保存到用户的手机上。
对于游戏玩家来说，游戏模型将登陆iPhone，支持在游戏时维持更高帧率，还大大提高了AirPods和手柄的反应速度。
3、重温回忆：图片App最重磅升级，视图大更新
最后，iOS18在重温回忆方面升级。这主要是指图片App，带来了迄今最重磅更新。
图片App首页已统一为一个视图，顶部是照片网格，下面是按主题组织的图库。当用户想要快速跳转到特定日期时，照片网格支持直接跳转。
用户可以自定义下部图库的主题，将看重的主题放在显著位置。图片App也将新增全新栏目，右扫可以出现照片轮播，支持用户自定义添加喜爱的照片。
六、visionOS2发力内容生态，相册所有照片一键3D化
OS方面，其实今天苹果上来直接先讲了苹果的“第六大”操作系统——visionOS的更新，正式发布了visionOS2。
当然，对于大家伙最关心的AppleVisionPro销售问题，库克今天正式宣布，VisionPro将于6月28日开始在中国等八个国家开始销售！
今年针对visionOS2，苹果做的最关键的就是一件事：内容，内容，内容。
苹果高管宣布，现在已经有2000多款专门为AppleVisionPro打造的App，兼容的iPhone和iPad的App也已经超过了150万个，VisionPro的应用生态成长速度，着实够快的。
visionOS2这次首先升级了空间照片，图库里现有的照片可以直接通过机器学习技术，从2D升级为3D了。
也就是说，苹果可以直接把你相册里所有的2D照片一键变成3D！大家再也不用担心没有3D内容可以看了。
此外，Mac在VisionPro上的投屏可以变成超宽屏，相当于两台4K显示器并排摆放，也就是大家熟悉的“超宽带鱼屏”。
好家伙，苹果直接帮你免费升级mac显示屏。显然，苹果在强化VisionPro作为“虚拟大屏”的作用。
七、iPadOS甩王炸应用，数学笔记惊艳全场
在iPadOS18中，有很多跟iOS18相似的功能，比如个性化的主屏幕、自定义控制中心等，但苹果这次特别推出了几个“王炸级”的新App和功能。
这次苹果iPadOS18终于有计算器了！苹果将其称之为“神迹”。
计算器针对iPad的大屏做了一些优化和适配，加入历史记录、单位转换。
这次苹果发布的“数学笔记”新功能，是真正的“王炸”，
你可以直接用ApplePencil写各种的公式，就像在纸上一样，只要写下“等号”就会马上跳出计算结果。
你可以实时修改等号前的计算过程，然后结果会实时的改变，非常的神奇。这个功能也引起了现场观众的一片欢呼。
当你要计算一系列数字的总和时，只需要在这些数字下面画一条横线。在解决数学问题的时候，改变题目中任何的数字，计算结果也会实时的改变。
系统还可以直接根据方程式直接创建坐标图像，当你想了解题目中的不同的参数，对这个图像的影响，你可以直接点击这个参数，并且实时的调整预览。
可以说这个数学笔记是一个惊艳全场的新功能。
苹果还给备忘录增加了SmartScript功能，它可以随着书写自动美化你的笔记，端测机器学习模型可以根据你以往的笔记来重建你的手写体。生成的字体看起来更像，但是会写得更端正。
在备忘录中，你可以对写好的内容进行补充，只需要轻点按住文字就会流动的调整，从而腾出更多空间。想删除，就直接划掉，整个体验更高效、更流畅，更易读。
可以说，人人都可以化身笔记达人。
除了王炸应用和新功能，在基础体验方面，iPadOS18新的悬浮标签页栏，可以让你更轻松的导览到App的不同位置，内容铺满屏幕。
标签栏和边栏可以自由转换，你可以自定义标签页，将标签页都留在手边，这种体验贯穿于整个系统的所有应用中。当然，所有的系统动效都十分的精美。
SharePlay中的屏幕共享功能这次支持了通过屏幕轻点或者手绘向对方示范应该如何操作的功能。你可以直接出手帮助，也可以要求对方远程操作他的iPad，这对于帮助父母来说，应该是一个非常有用的功能。
八、macOS：支持iPhone镜像，推出密码管理应用
今日，苹果推出macOSSequoia操作系统，这是一个将可以提高用户生产力和创造力的重要版本。
据悉，用户将可以快速平铺窗口获得更大的工作空间，新的iPhone镜像（iPhoneMirroring）功能允许用户无线使用iPhone，Safari的大规模更新可帮助用户轻松浏览网页，此外还有一系列新游戏也将进入Mac。
聚焦iPhone镜像功能，它支持用户在Mac电脑上接收iPhone的信息，无缝操作iPhone，即使在iPhone锁屏情况下也能实现Mac大屏协作，多屏协同。
此外，macOSSequoia在密码管理等方面有较大的更新。苹果推出密码（Passwords）新应用，将使得用户更轻松地访问密码，采用先进的加密技术，将密码存储在安全的位置，从验证到安全预警都十分完备。该程序将上线Mac、iPad、iPhone、VisionPro和Windows。
macOSSequoia开发者测试版将于今天推出，公共测试版将于下月推出，所有的操作系统版本将在今年秋季向用户提供。
九、watchOS：实时运动打分，打造手腕上的私人运动管家
AppleWatch已经成为用户运动健身不可或缺的一部分。这次，watchOS11的更新围绕着运动、健康、连接三大核心。
watchOS11新增了训练负荷功能，让用户对运动与自己身体的关系更加了解。其原理是将心率、配速、高度这些热量值数据，结合用户的年龄、体重等个人数据，通过新算法自动将传感器数据转为对你训练的1-10耗能评分，1代表轻松，10代表竭尽全力。
然后，耗能评分和锻炼时长将用于计算用户的训练负荷，让用户在运动过程中更能了解自己的身体状况。
在日常运动中，通过完成健身圆环获得运动奖章可以激励用户保持日常习惯，现在健身目标更加灵活了。用户可以对一周中的某一天自定义健身圆环的闭合目标，或者暂停一天、一周或更久，都不会影响你获得运动奖章。
为了让用户更快速直观的查看身体各项关键指标，watchOS11推出了一项新功能VitalsApp。
其中会同步显示用户的心率、睡眠呼吸、手腕温度等，并将当前的各项指标与用户此前的正常指标进行对比，超出正常范围的指标会高亮显示，如果多项指标超出还会有专门的信息通知用户。
对于孕妇而言，现在经期跟踪还会显示孕龄，并跟踪心率等各项指标。
去年，AppleWatch新增了小组件的智能叠放功能，如今这一功能可以自动识别当前用户状态，从而调整位置。比如马上下雨就会有降水概率组件、出国旅行就有翻译组件，用户直接使用听写功能就能在手表上看到并听到翻译内容。
另一个体现是，实时活动也可以在AppleWatch上看到，还有新增的与朋友互动的“平安确认”功能。
八、音频&家居：耳机点头就能与Siri交互，个性化空间音频进军游戏
此次AirPods的重点更新围绕着两大重点，交互更简单、听得更清晰。
首先在交互方面，日常佩戴AirPods接收到Siri的来电提醒时，用户不方便开口回应只需要轻微点头和摇头就能听松回应，无需在面对大风天气或者公共场所大声与Siri交流的尴尬局面。
其次在听方面，为了确保声音在大风天气清晰，AirPodsPro新增了VoiceIsolation功能，这一功能可以基于计算音频消除背景噪音。
同时，个性化空间音频模式也扩展到游戏领域，苹果构建了新的PersonalizedSpatialAudioAPI，腾讯游戏和EA联合出品的NeedforSpeedMobile将成为首批采用个性化空间音频技术的游戏，将于今年秋天推出。
在家居领域，观看电视节目时，InSight功能能实时将演员的信息显示出来，还能将电视中正在播放的BGM添加到AppleMusic列表中。
同样，tvOS在音频领域发力，增强对话功能利用机器学习提高人声清晰度，确保演员对话清晰。并且智能提供字幕功能，当用户静音或跳回时，字幕就会出现在屏幕上。
此外，tvOS的更新还包括新增对21:9投影支持、史努比屏保。
结语：苹果AI史诗级升级，软硬件生态全面出击
毫无疑问，苹果AppleIntelligence的发布，标志着苹果AI的一次“全面进化”，Siri助手的升级、各类重磅AI能力在苹果生态全家桶中的打通、应用，苹果系统级的AI能力构建，都给行业树立了一个新的AI体验标准。
当然，客观来看，相似的AI功能在安卓、Windows阵营中我们也已经见过不少了，苹果可以说是后来居上，在功能丰富度、体验完善成度上更有优势，微软、谷歌以及国内众多安卓手机厂商将如何接招，值得期待。
VisionPro虽然此前在美国市场销售遇冷，但新一轮的全球发售必将给XR产业注入新一轮动能，visionOS2在内容生态方面的大力推动也极具价值，可以说，苹果再次给空间计算时代的到来按下了一次加速键。
整体看下来，苹果这场发布会可以说是干货满满，虽然此前诸多爆料信息都得到了印证，但苹果真正将这些大招亮出来的时候，还是给人十足的惊艳感，也引发了产业内的广泛热议。
今天，苹果正式跟上AI大部队，并冲在了最前面。
您当前使用的浏览器版本过低，导致网站不能正常访问，建议升级浏览器