深圳元始智能有限公司
收录时间: 2024-01-19 11:14:11
企业简介更多>>
RWKV元始智能是一家国产开源非Transformer架构大语言模型提供商，其产品兼具Transformer和RNN的优势：推理效率高且恒定，显存占用少且恒定，支持无限上下文，对芯片友好。RWKV（发音为 RwaKuv）是一个具有出色 LLM 性能的 RNN， 也可以像 GPT 转换器一样直接训练 （可并行化）。我们在 RWKV-7 “Goose”。
它结合了 RNN 和 transformer 的优点 - 太棒了 性能、线性时间、恒定空间（无 KV 缓存）、快速训练、无限 CTXLEN 和自由文本嵌入。而且它是 100% 无注意力的， 以及 Linux 基金会 AI 项目。
2025-01-04 10:01:33
2024-01-19 11:17:43
2025-04-26 10:01:30
2025-04-26 09:31:29
2025-04-23 22:31:24
2025-03-23 08:01:53
2025-03-18 23:19:14
2025-03-18 23:17:06
2025-02-22 15:19:26
2025-01-15 20:59:08
贵公网安备 52062402000207号