分布式节点部署，launch时指定卡有问题

[syd1997]

cuda 12.2
python3.10
transformers 4.47.0

xinference version ：1.0.1

start supervisor

conda activate XXX
export XINFERENCE_HOME=/data/xinference
nohup xinference-supervisor -H $IP_ADDR

#start worker
conda activate XXX
export XINFERENCE_HOME=/data/xinference
export XINFERENCE_ENDPOINT=$IP_ADDR
nohup xinference-worker -e "$IP_ADDR:$PORT" -H $IP_ADDR
我有三个节点，分别是4卡，2卡，4卡，启动顺序也是4卡，2卡，4卡
当我启动三个不同的模型时，第一个模型指定了4卡，正常启动，第二个模型启动时最多只能选择2卡，将2卡的节点占用之后才能在启动第三个模型时选择4卡并在4卡的节点上运行。

[syd1997]

都是在web上启动的

[qinxuye]

比较稳定的做法可能是通过 worker_ip 指定运行节点。

[syd1997]

之前有别人出现过这种情况吗？有没有优化的办法？未来会不会有优化？感谢！

[github-actions]

This issue is stale because it has been open for 7 days with no activity.