RWKV，作为国产领先的开源非Transformer架构大型语言模型，已成功迭代至第六代，标志着中国在人工智能领域的一大飞跃。从2022年5月彭博开始训练100M参数的RWKV-2到2023年3月推出拥有140亿参数的RWKV-4，这个进程不仅展示了技术的快速发展，也突显了中国在人工智能技术创新上的决心。
令人兴奋的是，RWKV-5的15亿和30亿参数版本已面世，而其70亿参数版本将于2024年1月发布。RWKV-6的15亿和30亿参数版本也将在2024年2月亮相，并计划推出更高参数版本。这些模型的亮点在于它们支持100多种全球语言及多种编程语言，使得全球开发者能够在 https://www.rwkv.com/ 上体验在线Demo。
彭博，香港大学物理系毕业生，前量化交易员和智能硬件开发者，因对AIGC小说生成的兴趣而设计了RWKV。他将GPT的Transformer架构创新性地改造为RNN形式，加速了推理速度，同时保持了并行训练能力和性能。彭博6岁起编程，拥有超过30年的经验，坚信大型模型不应被少数公司垄断，并因此将RWKV开源，以促进更开放的模型生态。
彭博提出的AI宇宙观认为，人类正处于与AI的关键对抗阶段。他从量子物理的角度出发，推测人类可能只是宇宙实现更高目标的工具。若AI更适应这些目标，它可能最终取代人类，这对人类而言是一个巨大的挑战。
RWKV的Discord社群已聚集超过8000名来自全球的开发者，而国内有五个QQ群，成员达数千人。RWKV元始智能联合创始人罗璇分享了奇绩创坛投资RWKV的原因：他们认为RWKV的非Transformer架构可能会给大型模型带来创新和突破。
在Transformer主导大模型的时代，RWKV的不同架构提供了突破现有局限的可能性。2022年2月，OpenAI就注意到了RWKV和彭博，并发出了入职邀请。然而，彭博婉拒了邀请，坚持其开源理念，期待与未来可能开源的OpenAI合作。
目前，RWKV已置于Linux基金会旗下的LF AI & Data孵化器（https://lfaidata.foundation/projects/rwkv/），以增加其曝光度。RWKV团队目前近十人，正计划扩大至15至20人。彭博本人负责基底模型的训练，其他团队成员则致力于模型应用、微调、优化、多模态和生态建设。
彭博的目标是在训练千亿级别模型前，优化模型架构以更有效利用算力资源。RWKV-6已代表非transformer架构的前沿，团队正着手设计第7代模型架构。基于RWKV从1亿到140亿参数的性能稳定提高曲线，千亿模型的训练仅需充足的算力支持。
团队的未来计划包括：训练千亿模型、开发高效的端侧运行基础设施（与高通、英特尔和联发科等芯片巨头合作）以及孵化应用和生态。国内外已有公司在用RWKV训练模型，其中国外公司已经使用RWKV开源模型进行创业并获得融资。
过去一年中，RWKV在To C（如代理人、游戏、音乐生成、角色扮演）和To B（如银行、律所）领域均有实际应用。据罗璇透露，此次融资将主要用于工具栈建设、孵化生态和应用，模型训练主要依赖赞助和合作。当前最大的挑战是获得更多的算力以训练出千亿级别的模型。
原创文章，作者：Xaiat
，如若转载，请注明出处：https://www.xaiat.com/rwkv%e5%85%83%e5%a7%8b%e6%99%ba%e8%83%bd%ef%bc%9a%e9%9d%9etransformer%e6%9e%b6%e6%9e%84%e7%9a%84%e5%bc%80%e6%ba%90%e5%a4%a7%e5%9e%8bai%e6%a8%a1%e5%9e%8b%e6%88%90%e5%8a%9f%e5%ae%8c%e6%88%90%e7%a7%8d/
