FriendliAI近日宣布完成2000万美元种子轮扩展融资，由Capstone Partners领投，Sierra Ventures、Alumni Ventures、KDB和KB Securities共同参与。这家专注于AI推理优化的创新公司，通过其领先的平台技术，能够在保持模型精度的同时，将GPU成本降低高达90%，并显著提升推理速度。

据IBM数据显示，大语言模型90%的运行时间都花在推理阶段。FriendliAI针对企业在AI生产环境中面临的三大核心挑战提供解决方案：基础设施成本、推理速度和运营复杂性。目前，该平台已支持来自Hugging Face的超过43万个模型的一键部署，并与LG AI Research合作发布EXAONE 4.0大语言模型API访问。

公司通过创新的"连续批处理"(continuous batching)技术解决了大语言模型处理请求时的延迟问题。传统批处理模式下，即使单个请求处理完成，也需等待整个批次完成才能返回结果。FriendliAI的技术优化了推理请求的处理顺序，在某些情况下可将LLM吞吐量提升10倍以上。

FriendliAI还支持N-gram推测解码等先进技术，通过复用历史响应数据来提升生成效率。公司提供三种产品形态：面向私有GPU集群的Friendli Container，以及两款云服务，分别支持开源AI模型和定制LLM的推理需求。公司目前拥有25-30个大客户，预计今年收入增长可达600%。