深圳元始智能有限公司
入驻时间: 2024-01-19 11:14:11
公司简介
RWKV元始智能是一家国产开源非Transformer架构大语言模型提供商,其产品兼具Transformer和RNN的优势:推理效率高且恒定,显存占用少且恒定,支持无限上下文,对芯片友好。RWKV(发音为 RwaKuv)是一个具有出色 LLM 性能的 RNN, 也可以像 GPT 转换器一样直接训练 (可并行化)。我们在 RWKV-7 “Goose”。
它结合了 RNN 和 transformer 的优点 - 太棒了 性能、线性时间、恒定空间(无 KV 缓存)、快速训练、无限 CTXLEN 和自由文本嵌入。而且它是 100% 无注意力的, 以及 Linux 基金会 AI 项目。
企业档案
工商全称:
成立时间:
统一社会信用代码:
注册资本:
国家/地区:
公司性质: