转自：金融界

本文源自:财联社

c苹果GPT就在你口袋里？这或许会更快成为现实。

苹果人工智能（AI）研究人员近日在预印本网站arXiv上发表了一篇论文，其中提到了一种创新的“闪存利用”技术，可以在iPhone和其他内存有限的苹果设备上部署大型语言模型（LLM），这几乎是一项重大突破。

内存的约束

基于LLM的聊天机器人（如ChatGPT、Claude等）都非常依赖于数据和内存，其需要同时处理的数据量非常庞大，往往需要大量内存才能运行。

　　来源：华尔街见闻

　　这项新研究支持有限容量的设备运行内存2倍大小的LLM，GPU的推理速度可以提升数十倍。媒体称，苹果将生成式AI集成到iOS 18的计划或将加快推进。

　　AI iPhone要来了？

　　据媒体报道，近日，苹果发布了一篇论文，介绍了一种可以再超出可用DRAM容量的设备上运行LLM（大语言模型）的方法。

　　通过大幅提高内存使用效率，这项新研究支持有限容量的设备运行内存2倍大小的LLM，GPU的推理速度可以提升数十倍。