终结闭源霸权 Meta Llama 3.1横空出世！Intel第一时间适配并提供加速

转载：https://ai.zol.com.cn/886/8868238.html

2024-07-25 15:39:17·[??中关村在线 原创??]·作者：牛奶秋刀鱼

近日，Meta正式发布了其开源大模型Llama 3.1。这款模型凭借其庞大的参数量和卓越性能，在多项基准测试中首次超过了业界领先的闭源模型，如GPT-4等。Llama 3.1支持128k的上下文长度和多语言能力，并展现出在基本常识、可操作性、数学、工具使用和多语言翻译等方面领先于其他模型的能力。

紧随其后，芯片巨头Intel宣布其AI产品已全面适配Llama 3.1，并针对Intel AI硬件进行了软件优化。这些产品包括数据中心、边缘计算以及客户端AI产品，旨在确保用户在Intel平台上获得最佳性能体验。Intel的适配工作涵盖了PyTorch及Intel PyTorch扩展包、DeepSpeed、Hugging Face Optimum库和vLLM等，以提供从研发到部署的全流程支持。

根据基准测试结果，在配备第五代Intel至强处理器和锐炫显卡的AI PC上运行80亿参数的Llama 3.1模型，每秒吞吐量可达176 token，并保持下一个token延迟小于50毫秒。此外，在配备酷睿Ultra处理器和锐炫显卡的AI PC上进行轻量级微调和应用定制也变得更加容易。同时，AI工作负载可以无缝部署于CPU、GPU和NPU上，并实现性能优化。

基于Llama 3.1的端到端RAG流水线，由Intel Gaudi 2加速器和至强处理器提供支持。Intel已经全面适配了Llama 3.1，并计划将其用于企业的AI开放平台OPEA（企业AI开放平台）。