
苹果公司在其2024年全球开发者大会（WWDC24）上介绍的Apple Intelligence系统的一部分，特别是关于其基础模型的。Apple Intelligence是一个集成在iOS 18、iPadOS 18和macOS Sequoia中的个人智能系统。这个系统由多个高度能生成模型组成，这些模型专门针对用户的日常任务，并且能够实时适应当前的活动。

这些模型包括一个约30亿参数的设备上语言模型和一个更大的基于服务器的语言模型，后者可在Private Cloud Compute上使用，运行在苹果硅服务器上。这些基础模型已经被微调，以支持用户体验，如文本写作和精炼、通知的优先排序和总结、为与家人和朋友的对话创建有趣的图像，以及简化应用程序之间的交互的应用程序内操作。

苹果公司强调了其负责任的AI开发重点，包括保护用户隐私、代表用户、谨慎设计和保护隐私等原则。这些原则贯穿于支持Apple Intelligence的架构中，连接了特性和工具与专门的模型，并扫描输入和输出，以确保每个特性能够负责任地运行。

在训练这些基础模型时，苹果使用了其AXLearn框架，这是一个在2023年发布的开源项目，它建立在JAX和XLA之上，允许在各种训练硬件和云平台上高效、可扩展地训练模型。苹果还采用了数据并行、张量并行、序列并行和完全分片数据并行（FSDP）等技术来扩展训练。

此外，苹果公司还介绍了其在模型优化方面的创新技术，包括分组查询注意力、共享输入和输出词汇嵌入表、低位量化、LoRA适配器框架、Talaria工具等，以提高设备和服务器模型的速度和效率。

在模型适应方面，苹果使用适配器——小型神经网络模块，可以插入预训练模型的不同层中，以针对特定任务微调模型。通过仅微调适配器层，原始预训练模型的参数保持不变，同时适配器层被定制以支持特定任务。

在性能和评估方面，苹果公司专注于提供能够使用户在苹果产品上进行通信、工作、表达自己和完成任务的生成模型。他们通过人类评估来基准测试模型，发现这些结果与产品中的用户体验高度相关。苹果还使用了IFEval基准测试来比较模型遵循指令的能力，并在内部摘要和写作基准测试中评估了模型的写作能力。

最后，文章提到了苹果公司对于安全性的持续评估，包括手动和自动的红队测试，以及与内部和外部团队的合作，以继续评估模型的安全性。


AI总结：Apple’s On-Device and Server Foundation Models