RWKV模型

2024年1月16日，开发开源大型语言模型RWKV的元始智能完成了种子轮融资的工商变更。这一轮融资得到了陆奇于2018年创立的奇绩创坛和一位匿名投资者的支持。目前，元始智能正着手进行第二轮融资。

RWKV（Receptance Weighted Key Value）模型是一种革新性的大型语言模型，旨在解决传统Transformer模型在处理长序列时的计算复杂度问题。它结合了RNN的线性复杂度和Transformer的并行处理优势，引入了Token shift和Channel Mix机制来优化位置编码和多头注意力机制。RWKV在多语言处理、小说写作、长期记忆保持等方面表现出色，其推理成本和训练成本显著低于传统Transformer模型。此外，RWKV支持针对特定任务的微调，其World Tokenizer支持100多种语言，解决了非英语语种处理的问题。作为一个环保且开源的模型，RWKV在社区开发者中受到欢迎，提供了新的可能性，特别是在多语言处理和AI模型的开发方面。