比较好奇,如果算力足够的话,比如从 torchvison 里面选一些什么 resnet34 之类的网络,然后对立面的所有层的超参可能出现的值的选出一些可能的大小,然后排列组合后,全部都训练一遍,选出效果最好的,这种对于普遍性的数据集是有意义的工作吗?还是说只能用来针对单一数据集,换个数据集就不好使了。有人用这种技巧来刷榜吗?
1
KarenTendo 2021-11-19 08:19:54 +08:00 via iPhone
应该有一些?但是单独拿出来发论文可能不足,efficientNet 就对 baseline network 的 alpha,beta,gamma 三个缩放常数做了网格搜索
|
2
chenzhekl 2021-11-19 16:04:27 +08:00 via Android
这就是 grid search ,有意义肯定是有意义的,但想获得突破性的提升是不太可能。
|