4090

原本需要一张16万元的80G A100干的活，现在只需要一张不到2万元的24G 4090就够了！
上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。而且不用量化，就用FP16精度，也能让40B模型在个人电脑上运行；如果加入量化，甚至2080 Ti也能流畅运行70B模型。

据称，RTX 4090D 显卡将在不久的将来作为中国独家台式机型号推出，据说将配备 AD102-250 GPU。这种 GPU 变体与最初的 RTX 4090 不同，后者配备的是 AD102-300。