苹果公司在其2024年全球开发者大会(WWDC24)上介绍的Apple Intelligence系统的一部分,特别是关于其基础模型的。Apple Intelligence是一个集成在iOS 18、iPadOS 18和macOS Sequoia中的个人智能系统。这个系统由多个高度能生成模型组成,这些模型专门针对用户的日常任务,并且能够实时适应当前的活动。
这些模型包括一个约30亿参数的设备上语言模型和一个更大的基于服务器的语言模型,后者可在Private Cloud Compute上使用,运行在苹果硅服务器上。这些基础模型已经被微调,以支持用户体验,如文本写作和精炼、通知的优先排序和总结、为与家人和朋友的对话创建有趣的图像,以及简化应用程序之间的交互的应用程序内操作。
苹果公司强调了其负责任的AI开发重点,包括保护用户隐私、代表用户、谨慎设计和保护隐私等原则。这些原则贯穿于支持Apple Intelligence的架构中,连接了特性和工具与专门的模型,并扫描输入和输出,以确保每个特性能够负责任地运行。
在训练这些基础模型时,苹果使用了其AXLearn框架,这是一个在2023年发布的开源项目,它建立在JAX和XLA之上,允许在各种训练硬件和云平台上高效、可扩展地训练模型。苹果还采用了数据并行、张量并行、序列并行和完全分片数据并行(FSDP)等技术来扩展训练。
此外,苹果公司还介绍了其在模型优化方面的创新技术,包括分组查询注意力、共享输入和输出词汇嵌入表、低位量化、LoRA适配器框架、Talaria工具等,以提高设备和服务器模型的速度和效率。
在模型适应方面,苹果使用适配器——小型神经网络模块,可以插入预训练模型的不同层中,以针对特定任务微调模型。通过仅微调适配器层,原始预训练模型的参数保持不变,同时适配器层被定制以支持特定任务。
在性能和评估方面,苹果公司专注于提供能够使用户在苹果产品上进行通信、工作、表达自己和完成任务的生成模型。他们通过人类评估来基准测试模型,发现这些结果与产品中的用户体验高度相关。苹果还使用了IFEval基准测试来比较模型遵循指令的能力,并在内部摘要和写作基准测试中评估了模型的写作能力。
最后,文章提到了苹果公司对于安全性的持续评估,包括手动和自动的红队测试,以及与内部和外部团队的合作,以继续评估模型的安全性。