2月21日消息，据Groq官网的测试数据显示，搭载Groq LPU芯片的Meta Llama 2模型推理性能比云计算供应商高出18倍。Groq创始人Jonathan Ross声称，在大型语言模型任务上，LPU芯片的性能比英伟达的GPU芯片快上10倍，而其价格和耗电量仅为后者的十分之一。更令人印象深刻的是，单张LPU卡的内存仅为230MB，价格仅为2万美元。
一夜之间Groq迅速崭露头角，其同名模型启动器上运行的大型语言模型，能够以惊人的速度每秒输出近500个token。相比之下，其性能超越了Gemini的10倍，并且比GPT-4还要快上18倍。
值得一提的是，Groq并未涉足新模型的研发。其主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。然而，Groq之所以能够实现如此高效的响应速度，源于其自研的语言处理单元LPU。据Groq官网介绍，LPU是一款专为AI推理设计的芯片。相比其他AI聊天机器人，Groq闪电般的响应速度迅速引爆互联网讨论。经过网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。
Groq的LPU技术不仅实现了高效能，还兼具了经济实惠和环保的特点。这一创新为大型语言模型推理领域带来了革命性的突破，使得Groq在初创公司中迅速崭露头角。未来，Groq有望在这一领域持续领先，推动人工智能技术的发展和应用。
_892.png "亿配芯城 (2).png")
*部分图文来自网络，如侵权请联系本号删除*
