对于数据量不同的参与者,每个参与者训练相同网络下,比较其loss有意义吗,或者说,如何比较其loss值?

具体问题情境是这样的
网络结构就按照最简单的多层感知机假设好了。

a、b、c有不同的数据量1e2、1e4、1e6,他们各自有相同网络结构的模型(模型完全一样),用相同的loss_function,三个人都对自己的模型训练,训练过程中有loss值。

由于数据量不同,loss的值会不一样,数据量大的相对大一些。
如果只是单纯$\frac {loss}{数据量}$的话由于loss的值变动范围小,而数据量变动大,会使得数据量大的一方不管loss本身多大都会过小

如何去比较三者的loss值呢?(如果比较无意义,为什么无意义呢?)

回复
阅读 1.2k
1 个回答

个人感觉,
loss的意义是表征训练是否正常,而test accuracy是表示模型在任务上表现好坏。
所以比较loss按照这个点来说的话,是没有意义的。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏