添加对deepseek v3的支持

[jqhr]

Feature request / 功能建议

添加对deepseek v3的支持

Motivation / 动机

deepseek v3已开源，希望能跟进一下，非常感谢

Your contribution / 您的贡献

摩搭链接https://modelscope.cn/models/deepseek-ai/DeepSeek-V3/summary

[qinxuye]

deepseek v3 架构和 deepseek v2.5 是一致的。目前这个模型太大了，我们需要一些时间完成测试。

[jqhr]

了解了，感谢🙏

[su400]

我下载了int4版本，在384G显存的机器上勉强能载入，但出来的全是乱码。估计要二台384G显存的机器来分布推理。

[qinxuye]

我下载了int4版本，在384G显存的机器上勉强能载入，但出来的全是乱码。估计要二台384G显存的机器来分布推理。

int4 的模型权重是哪个的？

[frankjoey2048]

我下载了int4版本，在384G显存的机器上勉强能载入，但出来的全是乱码。估计要二台384G显存的机器来分布推理。

have you tried this? a version of 2bit https://huggingface.co/unsloth/DeepSeek-V3-GGUF/tree/main

[github-actions]

This issue is stale because it has been open for 7 days with no activity.