在数字助理中，Siri的表现相当不错（与竞争对手微软（Microsoft）推出的命运多舛的助手小娜（Cortana）相比无疑是如此），现在苹果正致力于让Siri变得更加智能，让它能更好地感知你在屏幕上看到的东西，并将其称为“屏幕感知”。
苹果已经在苹果开发者文档页面上详细介绍了该功能的开发，该页面还指出，该功能将包含在即将发布的各种苹果操作系统（OS）测试版中进行测试。
苹果最初在2024年6月展示了屏幕智能，这是一个非常明确的迹象，表明它仍在开发中。
屏幕感知的核心思想非常简单——如果你正在看屏幕上的项目，比如一份文件或一个打开了页面的浏览器，如果你对正在看的东西有疑问，你可以问Siri（配备了苹果智能）。然后Siri应该能够用相关信息回答你的问题，或者执行要求它执行的操作，比如将内容发送到支持的第三方应用程序。
如果它能像预期的那样工作（这是一个很大的“如果”），它将产生一个更智能的Siri，而不需要你像现在这样大量地描述你想让它做什么。例如，您可以打开一个文档并要求提供摘要，而无需自己输入文档的内容。
苹果对Siri可预见未来的计划
据MacRumors报道，苹果已经为开发者提供了api，使他们能够将应用程序中的内容提供给Siri和Apple Intelligence。我们的想法是提前几个月向开发者提供这个API，这样当它正式推出时，你就可以使用第三方应用的屏幕感知功能。
目前，我们知道苹果正在最新的iOS 18.2测试版（以及其他苹果操作系统）中试用ChatGPT， ChatGPT与Siri的集成将使你能够对屏幕上的项目（如图像，pdf和视频）提出问题。然后，Siri会截屏并将其传递给ChatGPT来回复你的查询。这意味着，目前，该功能仅限于屏幕截图。
