torch多gpu使用分配问题，有无一套cpu gpu都通用的代码？

Question

先device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")``
对于model.to(device)和model.cuda(device)，
那显而易见to device是可以cpu和gpu的，cuda的话只能gpu。
我显然不只想说这个。

背景

组内有服务器，服务器有4个显卡，我们组用0号显卡。其余的给其他人用。我自然是想cpu gpu都用一套代码，于是

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# 之后的都是这样写：
model.to(device)

结果好家伙，当其余3块gpu都0%占用时候，0号开始运作；当其余3块都被99%占用后，0号直接停止，转成cpu了。

alternative

组内同学用这样子写了下;

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# 之后的都是这样写：
model.cuda(device)

结果就能用了，不管其余的gpu是否占用。

老铁们，这什么情况？