AI无相神功 #105 benchmark很重要

不然怎么去评估呢？
例如跑100条数据，你总共耗时0.1，改造后总共耗时0.09秒。这种基线就开始不是那么好，需要调整数据，用新的基线。
相当于是本来有差距度的，但是现在在这么一个度量衡之下，差距度体现没有之前那么明显了。
开始要用非常小的小数才可以表达这种差异了，这种就不是很好。而且每次机器执行都会有波动，说不定就0.01秒的是因为波动导致的。
此时此刻，我们可以换一个基线，例如跑1万条数据。或者10万条数据。
你可以这样想这个问题。如果高考题目太简单，所有人都是满分，那还有区分度吗？就没有了区分度。所以高考需要难度适中，让区分度可以一直保持。
这是当前AI一直在做不同的benchmark的含义。一开始模型能力没那么强，所以会选一个适中的benchmark。后面模型能力进一步增强之后，于是会换一个更加强大的benchmark。
对你自己的系统也要如此。