声明:本文来自于微信公众号 量子位(ID:QbitAI),作者:明敏 西风,授权靠谱客转载发布。

千呼万唤,苹果如何用AI重塑iPhone,答案终于揭晓!

各种令人闻之激动的传闻,通通都是真的——

确定和OpenAI达成合作,接入ChatGPT,使用GPT-4o模型。

Siri完成重生,iPhone人机交互模式重构,手机智能助手代劳一切近在咫尺。

Apple Intelligence,就此要成为AI的全新代名词了。

图片

图片

发布一结束,WWDC24立马冲进热搜前三。

图片

网友们都在感慨苹果这逆天的整合能力,各种AI新功能通通满足大家想象力。

图片

图片

还有人说,这回骂早了……

图片

简单总结,这场发布的内容就是苹果家族OS大更新。

图片

尤其是iOS、iPadOS,在Apple Intelligence加持下,AI浓度飙升。

而且Apple Intelligence,免费提供!支持iPhone15Pro及以上设备,搭载M1及更高配置芯片的Mac。

图片

内置的ChatGPT也无需注册即可使用。

今年秋季,iOS18、iPadOS18、macOS Sequoia的测试版将以英文版发布。

具体带来哪些新体验?抢先来看。

Apple Intelligence+ChatGPT强强联手

如何定义AI Phone?

苹果选择系统AI化+引入强大云端大模型。

也就是Apple Intelligence和ChatGPT联手。

先来看Apple Intelligence(以下简称苹果AI)。

图片

它是iPhone、iPad及Mac具备强大生成式AI能力的关键。

它的基础能力共分为四个方面:语言、图像、行动和个性化。

图片

语言方面,基于内置的大模型,苹果AI能为iPhone通知设定优先次序,把最要紧的事放最上面。

图片

加强的全系统内的写作工具(Keynotes以及第三方APP等), 支持重写、校对、提取摘要、创作评论等功能。

图片

图像方面,苹果AI能分清楚相册中不同的面孔,并基于他们生成图像。

图片

一共支持素描、插画、动画3种生成风格,可在信息、无边记等各种APP中使用。

图片

如果想不到提示词,Image Playground还支持根据标签生成图像,模型在端侧运行。

图片

另一个重大的图像生成能力是emoji都能自定义了!

Genmoji能根据提供的描述生成最符合你心意的emoji,还能根据相册中的人物定制。

图片

同时,苹果AI还成支持清除照片中的干扰物:

图片

使用自然语言搜索图像视频:

图片

根据输入的提示词选择出最佳相片一键剪辑:

图片

行动力方面,主要是指苹果AI可以在APP内或者跨APP执行更多操作

比如只需开口说,找到XX上周发的文件、找到和妈妈相关的照片等,系统就能代劳。

同时还能深刻理解个人情景。

不仅分析各种个人信息数据,还能读懂屏幕。

举个栗子,比如突然邮件通知了一个临时会议,那么还能赶上接下来女儿的演出吗?苹果AI可以自动识别分析邮件中的会议时间、知道“女儿”是谁、找到女儿演出的时间地点日程、并从地图中规划路线,最后给出分析。

图片

但如此深度的智能,个人信息隐私如何保障?

苹果表示推出了专门的隐私架构,涉及到个人隐私的计算,能在端侧就在端侧进行。在这方面,他们对硬件进行深度整合,A17Pro以上的芯片都支持。同时在云测,他们也推出了Private Cloud Compute,可以提供芯片级的信息保护。

在用户发出指令后,苹果AI会先分析请求是否能在端侧利用大模型解决,如果不能再调用云端模型。

苹果自信表示,这是为AI隐私保护设立了全新标准。

除此之外,苹果AI还能对录音内容自动生成摘要、总结电话录音。

图片

这些能力都是随着iOS18、iPadOS18、macOS Sequoia免费提供的。

而对于需要更广阔知识、专长特长的任务,苹果搬出了ChatGPT

比如想要为菜谱提供灵感,可以问问Siri,Siri推荐使用ChatGPT,如果接受这一建议,就能立马获得来自ChatGPT的答案。

多模态任务也支持,Siri会询问是否可以查看照片、PDF等。

图片

所有会分享给ChatGPT的信息,都会事先征求用户意见。

想要免费使用ChatGPT也不用创建账户,所有请求都不会被记录。ChatGPT的订阅用户能关联自己账户,也能接入付费功能。

这个功能将在今年稍晚推出。苹果表示,未来还将增加对其他AI模型的支持。

那么更具体的,苹果AI还能做什么?

来看Siri的全新升级。

Siri新纪元的起点

苹果表示,在Apple Intelligence加持下,Siri正式迈入新纪元

接下来的Siri,更自然、更贴合语境、也更接近用户。

图片

从外观来看,当和Siri对话时,屏幕边缘会环绕一圈光晕。

从智能度来说,Siri现在可以理解更丰富的语言,就算说的不连贯,也OK:

图片

并且Siri现在还可以联系上下文信息

即使停顿一下再让它安排日程,它也能理解安排“那里”指的是哪里。

图片

Siri现在还支持语音打字切换输入,只需在屏幕下方快速轻点两下就能召唤出键盘:

图片

更重要的是,Siri已经掌握了大量关于功能和设置的信息,能够解答数千个关于操作的问题。

就算不知道某项具体功能是什么名字,只需要表述个大概,Siri就能懂你说的是哪个功能。

图片

苹果表示明年会推出更多功能。首先,Apple Intelligence将为Siri带来屏幕内容感知功能

图片

Siri还将能够理解用户在APP中的更多操作,然后代劳用户在数百种APP内以及APP之间操作,其中还会用到写作和图像生成功能。

比如让它找到某张照片,然后一键修图:

图片

Siri还可以进行跨APP操作,将修好的图自动添加到指定的备忘录中:

图片

据苹果介绍,能够做到这些,还得益于其对APP Intents框架的增强,能让app定义Siri、快捷指令及其它系统体验。

而这些增强功能并不局限于苹果开发的APP,开发者可以借助APP Intents API定义他们开发的APP中的各种操作。

图片

还没完,Apple Intelligence所提供的个人情境的认知能力,让Siri发现和理解的内容范围远超以往。

例如,直接询问“妈妈的航班几点到?”,Siri就能自主参考邮件中的航班详情以及航班的实时动态,提供最新到达时间。

图片

询问“午饭怎么安排的?”,Siri就能追踪信息闲聊里的内容,回答在哪里吃饭,吃什么。

图片

紧接着还能给出机场到吃饭地点需要的时长。

图片

一系列操作完全不需要用户在几个APP之间跳转自己查询,询问Siri几秒钟就能搞定。

Siri的所有更新均同样适用于iPad和Mac。

iOS18更加个性化了

在Apple Intelligence以外,iOS18也迎来重大更新。

全新iOS18,主打“个性化”。现在,iOS18可以设置深色模式:

图片

且所有APP小组件的主题色可自定义,iOS还能根据壁纸风格自动推荐色调:

图片

控制中心现在也能自定义控制项了,开发者可把APP加进控制中心,长扫即可调出其它控制项:

图片

布局和大小均可调整:

图片

所有控制项还可以设置在锁屏页面,替代原来的手电筒和相机:

图片

iOS18在隐私安全方面也推出了个性化设置。

用户现在可以为APP上锁,需面部识别等进行身份验证才能打开,且上锁后APP的内部信息也不会出现在搜索、通知等手机系统的其它地方。

图片

或者,还可以直接隐藏某个APP,将其放在一个带锁的隐藏文件夹中:

图片

iOS18加持下,众多APP也一并大更新。

其中,图库(Photos)的新功能被官方称作是“迄今为止最重磅的设计更新”。

现在图库布局上半部分延续之前的的网格视图,适合浏览所有图片;下半部分新增对图片按时间、主题进行分类整理的“小相册”。

图片

每个小相册的位置可以自定义,并支持一键导出分享。

图片

在浏览所有图片时,底部设有筛选按钮,可以选择一键过滤所有截图等,缩小图片查找范围:

图片

另一大APP——短信(Messages)也解锁了新功能,不仅可以使用emoji、贴纸,还能更改文字格式,进行加粗、斜体、下划线、删除线等操作。

图片

如果这些还不足以表达你的情绪,还可以给文字添加特殊效果:

图片

而且现在短信还支持延迟发送了:

图片

值得一提的是,iPhone14及后续机型还支持卫星功能,无需联网就能发信息。

除此之外,邮箱(Mail)增加邮件分类整理功能,可自动提取重要邮件,比如带有时效性的信息的文件,还能一键提取“摘要”。

图片

钱包、游戏等APP也有新功能推出,这里就不逐一细说了。

一张图来看iOS18推出的新功能:

图片

iPad、Mac、Vision Pro系统迭代

除了iPhone,Apple其他智能硬件系统也都进行全新升级。

图片

下面我们挑重点来看。

iPad终于有计算器啦

iPadOS18绝对称得上是重大更新……因为它终于引入计算器了!

而且针对iPad的手写场景推出了“数学笔记”功能,支持识别手写公式、自动求解、自动画函数曲线等功能。

用Apple Pencil写一个数学表达式,写下等号的一瞬间,计算器就自动算出结果。

图片

如果对表达式做出修改,结果也会实时更新。

图片

除了基础运算以外,计算器支持的所有运算都能如此实现。同时这些计算笔记也能被保存下来。

甚至还有更简单的计算方式,画个横线。

比如正在计算项目预算,在一串开支数字下画个横线,答案就自动计算出来。非常自然,就像是在纸上手动计算一样。

图片

当然也支持更复杂的计算,比如正在算一个物理题,以不同角度和速度击打乒乓球时,乒乓球能到达的最高高度。

只需在数学笔记中写出各种变量的数字,然后就能让计算器直接带入数字在公式中计算。改变相应的变量,计算结果随之变化。

图片

写成函数表达式,点击等号,还能直接画出函数曲线。调整变量,函数曲线随之改变。

图片

另一个重大改变也体现在手写方面。

备忘录中推出了Smartscript新功能,利用机器学习,它能模仿你的笔迹,让书写更加工程,还支持将键盘打出的内容一键生成手写笔记、拼写检查、校对纠错等。

图片

如此看来,买一支Apple Pencil变得更加有必要了。

除此之外,iPad OS18在更多细节上也做了提升。

图片

VisionOS2更3D

VisionOS2同样也提到了AI。

它能利用AI将普通2D照片“空间化”。

图片

而且支持在照片应用中和好友沉浸式分享内容。

交互方面,VisionOS2支持双指轻点切换至主屏幕,翻转手掌调出控制中心的通知、快捷方式等。

旅行模式中增加了对火车场景的支持。

苹果表示,今年晚些时候将支持在Vision Pro上连接Mac上的内容。

开发者方面,新增了体积应用API,名为TabletopKit的游戏开发工具包以及企业应用API。

图片

苹果宣布,接下来将在中国、日本、新加坡、加拿大、法国、德国、英国八个国家发售Vision Pro。

中国、日本和新加坡的上市时间是6月28日,其他5个地方则要等到7月12日。

MacOS支持iPhone镜像

MacOS方面,Sepuoia让设备互联更丝滑了。

现在,可以在Mac桌面上直接打开iPhone镜像,并且操作iPhone,比如点个咖啡、添加备注。

图片

iPhone的通知、音频也都能在Mac上互通。但是iPhone本身会处于锁屏模式,其他人动不了。

当然Mac的内容也能更方便地传送到iPhone上,比如剪辑好的视频,一键拖到镜像内,便完成了传输。

图片

另一个值得关注的是Safari中的Highlights功能。

它能利用机器学习将浏览页面的重点内容突出显示,能让人更快了解内容。

图片

同时在安全方面,最新版本的Safari不仅具备智能防追踪功能,还能阻止网站窥探你在浏览时做了什么。

新出的Keychain则能将各种密码安全管理好,Mac、iPad、iPhone等都适用。所有密码都能安全同步于你的各个设备。

图片

One More Thing

在发布结束后,库克发布了一条推特,其中写道:

Apple Intelligence是苹果AI的下一篇章。

图片

而在被机器学习、大语言模型、扩散模型等AI专业词汇灌满的发布会中,苹果也多次提到“新纪元”、“just begining”这样的字眼。

总之,AI Phone苹果是终于出手了。

对于这场WWDC,你对哪部分最感兴趣?

欢迎来唠~

(举报)

点赞(82)

评论列表共有 0 条评论

立即
投稿
返回
顶部