远程桌面连接服务器，本地连接状态会影响服务器网络服务？

Question

我有一台云服务器专门用来写代码，不管在哪里只要有网络都是直接通过windows自带的远程桌面连到服务器无缝开发。
这个服务器上平时也运行着一些nodejs进程，为我的一些不太占资源的系统提供后台服务，这些服务大部分通过socket与客户端长连接通讯，但是最近客户反馈与这些后台相关的页面频繁连接中断。
我之前始终排查不出问题，一直到今天才意识到可能是与远程桌面连接有关，我最近本地网络不稳定，客户反馈掉线也总是在远程桌面窗口打开的情况出现。
我尝试复现，在远程桌面打开的情况下，拔掉本机网线使连接异常中断，其它与服务器相连的socket的连接也瞬间断掉，一直到我这台机器重新连上，或远程连接自动终止为止。
请问这是什么原理？是否可以避免呢？