@DXpro #92 对钱没概念是这样的

还真有人抱着“都用上 gpt 了，怎么可能不会 /没有 xxx”这种想法看问题啊？即使在 V 站尚有相当一部分人天天问 ChatGPT“爱莲说的作者是谁？”、“树上八只鸟”这类问题，有的人真别以为自己会打开网页会敲字会注册个 Depay 、OneKey 就等于会玩 gpt 了，贻笑大方。有些人对于其他圈子 /阶层的人不知道电子邮箱的现实不仅是被动忽略，甚至到了拒绝接受的程度，习惯性从自我出发分析别人产品和困扰的样子真是一叶障目，坐井观天呢。

可以看出 v2 很大一部分程序员仍然停留在认为商业成功和技术水平强相关的水平上……

@syaoranex #18 实际上你至少需要每次提数十万个不同的问题才能达到你想要的可信阈值，这就是我说没意义的原因

> 这些问题能够用来？
> 帮助确定某些"GPT4"是否是真实的 GPT4 ，还是其他模型的套壳。
不存在这样的问题，LLM 是基于所有已知的 token 对下一个 token 的概率预测，本质上就不是在以你想象的方式“解答”你的问题，所以这样的测试方法本身就没有价值，具体问什么问题更是毫无意义。
想了解模型能力边界可以看看 OpenAI 的官方项目 https://github.com/openai/evals ，里面专门强调了模型能力需要在足够多的样本中才能体现。换句话说，即便一个样例在 GPT-3 中只得到 10%的准确率，而 GPT-4 能够做到 90%的准确率，你仍然无法通过直接提问这个问题来判断调用的模型版本，这种逆向思维是不成立的。

你问出这个问题，应该就知道那些赚 100 万的人从哪赚到的了

未来不是一夜之间就来的

@bytetony #30 感谢勘误，现在确实和官网不一样了……