正文
返回

Groq大幅提升Hugging Face运行速度——AWS和谷歌面临挑战

发布:  at  05:49

源信息经过deepseek翻译并总结

摘要:

人工智能初创公司Groq通过支持阿里巴巴Qwen3 32B模型的13.1万token完整上下文窗口及成为Hugging Face官方推理提供商,挑战AWS、谷歌云等巨头。其定制LPU架构实现每秒535个token的处理速度,定价低于主流服务商。与Hugging Face的集成可触达数百万开发者,但全球化基础设施和盈利模式仍是挑战。面对1540亿美元规模的AI推理市场,Groq以专用硬件和激进定价策略争夺份额,其能否规模化保持性能优势将决定成败。


Groq大幅提升Hugging Face运行效率——并将挑战AWS与谷歌 | VentureBeat

[作者:Michael Nuñez](https://venturebeat.com/author/michael_nunez/ "Michael Nuñez的文章")[@MichaelFNunez](https://twitter.com/MichaelFNunez)  
2025年6月16日 下午2:49  

* [Facebook分享](//www.facebook.com/sharer/sharer.php?u=https%3A%2F%2Fventurebeat.com%2Fai%2Fgroq-just-made-hugging-face-way-faster-and-its-coming-for-aws-and-google%2F&t=Groq大幅提升Hugging Face运行效率——并将挑战AWS与谷歌)
* [X平台分享](//twitter.com/intent/tweet?text=Groq大幅提升Hugging Face运行效率——并将挑战AWS与谷歌&url=https%3A%2F%2Fventurebeat.com%2Fai%2Fgroq-just-made-hugging-face-way-faster-and-its-coming-for-aws-and-google%2F&via=VentureBeat&related=VentureBeat,GamesBeat)
* [LinkedIn分享](https://www.linkedin.com/cws/share?url=https%3A%2F%2Fventurebeat.com%2Fai%2Fgroq-just-made-hugging-face-way-faster-and-its-coming-for-aws-and-google%2F&token=&isFramed=true)

图片来源:VentureBeat使用Midjourney制作

---

人工智能推理初创公司[Groq](https://groq.com/)正通过两项重大公告向亚马逊云服务([AWS](https://aws.amazon.com/))和[谷歌云](https://cloud.google.com/?hl=en)发起挑战,这些举措可能重塑开发者获取高性能AI模型的方式。

该公司周一宣布,现已支持[阿里巴巴的Qwen3 32B语言模型](https://groq.com/groqcloud-now-supports-qwen3-32b/)完整的13.1万token上下文窗口——据称这是其他快速推理服务商无法实现的技术能力。同时,Groq成为[Hugging Face平台](https://huggingface.co/blog/inference-providers-groq)的官方推理提供商,有望将其技术触达全球数百万开发者。

这是Groq在快速扩张的AI推理市场中最激进的一次市场份额争夺尝试。当前该领域由[AWS Bedrock](https://aws.amazon.com/bedrock/)、[谷歌Vertex AI](https://cloud.google.com/vertex-ai?hl=en)和[微软Azure](https://azure.microsoft.com/en-us/)等巨头主导,它们通过便捷访问主流语言模型占据优势。

"与Hugging Face的集成扩展了Groq生态系统,为开发者提供了更多选择,进一步降低了采用Groq高速高效AI推理的门槛,"Groq发言人向VentureBeat表示,"Groq是唯一支持完整13.1万token上下文窗口的推理提供商,使开发者能够构建规模化应用。"

### Groq的13.1万token上下文窗口如何与竞争对手抗衡

Groq关于上下文窗口(AI模型单次处理的文本量)的声明直击实际AI应用的核心痛点。大多数推理服务商在处理大上下文窗口时难以兼顾速度与成本效益,而这种能力对分析完整文档或保持长对话等任务至关重要。

独立基准测试机构[Artificial Analysis](https://artificialanalysis.ai/)测得Groq的Qwen3 32B部署运行速度约为每秒535个token,这一速度可实现长文档实时处理或复杂推理任务。该服务定价为每百万输入token 0.29美元,每百万输出token 0.59美元——低于许多主流提供商。

根据Artificial Analysis的独立测试,Groq和阿里云是目前唯二支持Qwen3 32B完整13.1万token上下文窗口的提供商,多数竞争对手的限额显著更低。(图片来源:Groq)

"Groq提供完全集成的技术栈,专为规模化设计的推理计算能力使我们能在保证开发者所需性能的同时持续降低推理成本,"发言人在被问及支持超大上下文窗口的经济可行性时解释道。

这一技术优势源于Groq定制设计的[语言处理单元(LPU)架构](https://groq.com/wp-content/uploads/2024/07/GroqThoughts_WhatIsALPU-vF.pdf),该架构专为AI推理优化,而非竞争对手普遍采用的通用图形处理器(GPU)。这种专用硬件方法使Groq能更高效地处理大上下文窗口等内存密集型操作。

### Hugging Face集成如何为Groq开启数百万新开发者

[与Hugging Face的集成](https://huggingface.co/blog/inference-providers-groq)可能是更具战略意义的长远布局。Hugging Face已成为开源AI开发的事实标准平台,托管数十万个模型,月服务数百万开发者。成为官方推理提供商后,Groq得以通过统一账单和便捷访问触达这一庞大开发者生态。

开发者现在可直接在[Hugging Face Playground](https://huggingface.co/playground)或[API](https://huggingface.co/docs/inference-providers/en/index)中选择Groq作为提供商,费用计入Hugging Face账户。该集成支持包括Meta的[Llama系列](https://ai.meta.com/blog/llama-4-multimodal-intelligence/)、谷歌的[Gemma模型](https://blog.google/technology/developers/gemma-open-models/)及新增的[Qwen3 32B](https://huggingface.co/Qwen/Qwen3-32B)在内的多款流行模型。

"Hugging Face与Groq的合作是让高性能AI推理更易获取、更高效的重要一步,"联合声明中表示。

这一合作可能大幅提升Groq的用户基数和交易量,但也引发对其规模化服务能力的质疑。

### Groq基础设施能否与AWS Bedrock和谷歌Vertex AI抗衡

当被问及应对[Hugging Face](https://huggingface.co/blog/inference-providers-groq)潜在流量增长的基础设施扩展计划时,Groq发言人透露了当前全球布局:"目前Groq的基础设施覆盖美国、加拿大和中东地区的数据中心,每秒处理超过2000万token。"公司计划继续推进国际扩张,但未透露具体细节。

这一全球化扩张至关重要,因为Groq正面临资金雄厚的竞争对手压力。例如亚马逊的[Bedrock服务](https://aws.amazon.com/bedrock)依托AWS庞大的全球云基础设施,谷歌的[Vertex AI](https://cloud.google.com/vertex-ai?hl=en)则受益于其全球数据中心网络,微软的[Azure OpenAI服务](https://azure.microsoft.com/)同样拥有深厚基础设施支持。

但Groq发言人对其差异化战略充满信心:"作为行业从业者,我们才刚刚看到推理计算真实需求的开始。即使Groq今年部署双倍计划量的基础设施,仍无法满足当前需求。"

### 激进定价对Groq商业模式的影响

AI推理市场以激烈价格竞争和微薄利润为特征。Groq的竞争性定价引发对其长期盈利能力的质疑,尤其是在专用硬件开发部署所需的高资本投入背景下。

"随着更多AI解决方案面世并被采用,推理需求将继续呈指数级增长,"发言人在谈及盈利路径时表示,"我们的终极目标是扩大规模满足需求,利用基础设施将推理计算成本降至最低,从而推动未来AI经济发展。"

这一押注大规模增长实现盈利的策略与其他基础设施提供商类似,但成功远非必然。

### 企业AI应用对1540亿美元推理市场的意义

这些公告发布之际,AI推理市场正经历爆发式增长。据Grand View Research预测,到2030年全球AI推理芯片市场规模将达1549亿美元,驱动力来自各行业AI应用部署的增加。

对企业决策者而言,Groq的举措既代表机遇也蕴含风险。若其性能承诺能规模化验证,将显著降低AI密集型应用成本。但与依赖云巨头相比,选择较小供应商可能带来供应链和连续性风险。

完整上下文窗口处理能力对文档分析、法律研究或复杂推理等需要保持长对话上下文的企业应用尤为重要。

### 结语

Groq的双重公告是一次精心计算的豪赌——相信专用硬件和激进定价能克服科技巨头的基础设施优势。这一战略成功与否,很可能取决于其在全球扩张中保持性能优势的能力,这对许多基础设施初创公司都是艰巨挑战。

目前,开发者在日益竞争的市场中获得了又一个高性能选择,而企业界正密切关注Groq的技术承诺能否转化为可靠的大规模生产级服务。
```### 你需要的AI洞察力  

提交  

感谢订阅。查看更多[VB新闻通讯请点击这里](/newsletters/)。  

发生错误。


上一篇
1Password与AWS携手为企业AI及云环境保驾护航
下一篇
MiniMax-M1是一款全新开源模型,具备100万token上下文处理能力及超高效强化学习技术