与传统方案相比,HC1不仅将推理速度提升10倍,更将成本压缩至二十分之一,功耗降低至十分之一,为LLM(大语言模型)的实时应用开辟了新可能。针对DeepSeekR1-671B等超大模型,团队提出了多芯片协同方…...
除了Llama 3.1,Taalas也尝试将其它模型集成到HC1上,例如对DeepSeekR1-671B的多芯片解决方案。 将SRAM部分拆分到单独的芯片上,然后可以将每片HC1的存储密度提高到约20位参数…...