资讯

Groq表示,基于其LPU芯片的云服务器在Llama2或Mistreal模型在计算和响应速度上远超基于NVIDIA AI GPU的ChatGPT,其每秒可以生成高达500个 token。
但是,根据最新的报道显示,Groq CEO Jonathan Ross近日在接受采访时控诉NVIDIA阻碍公平竞争。 “我们见过的很多人都说,倘若双方见面的消息传到NVIDIA ...
几乎在你按下发送按钮的瞬间,大模型便以惊人的速度完成了回复的生成。这一次,Groq大模型以每秒500个token,彻底颠覆了GPT-4的40 tok/s的速度纪录!
虽然Groq公布的数据似乎表明,其LPU芯片的推理速度达到了NVIDIA GPU的10倍以上,并且能耗成本仅是它十分之一,等于是性价比提高了100倍。
美国人工智能初创公司Groq最新推出的云端大模型推理芯片引起了业界广泛关注。该芯片采用了全新的TensorStreamingArchitecture(TSA)架构和超高带宽的SRAM ...
尽管NVIDIA的市值目前稳居美国股市前三,但其市场地位已经不如之前那么稳固。一个标志性的事件,是Google使用TPU芯片(张量处理单元),训练出了 ...