新智元报道
编辑：润
Claude 3 不但数据集跑分领先，用户体验上也将成为最强大的 LLM，GPT-5 在哪里？
Claude 3 和 GPT-4 到底谁厉害？
自从 Claude 3 发布以来，Anthropic 官方对外宣称的说法就是「全面超越 GPT-4」，在技术报告中给出的各个测试集的数据来看，也都几乎稳压 GPT-4-Turbo 一头。
但之前的新模型出来都要在跑分上「吊打」GPT-4，但实际体验却很少有真的能和 GPT-4 掰手腕的。
各行各业用户试用过 Claude 3，发现体验似乎也比 GPT-4 要好。
在通过人类用户打分进行排名的 lmsys LLM Arena 中，Claude 3 在不断积累了真实用户反馈分数之后，排名不断爬升。
众所周知，这个排行榜因为是基于人类对于大模型回答的真实感受打分来排名的，对于越早初现的 LLM，就能积累越多的评价，分数也越容易刷高。
所以之前出现了 Claude 1.0 排名高于 Claude 2.0 的情况，就是因为如果提升不明显，先发布的模型得分会更有优势。
而距离 Claude 3 发布一个多星期的时间，它就已经和发布了几个月的 GPT-4 最新版并列第一了。
而且 Claude 3 大杯也超过了香草版的 GPT-4。
因为 LLM Arena 评分系统对于先推出的模型有偏爱，所以按照这个趋势发展下去，Claude 3 超过 GPT-4，在用户体验上排名第一似乎只是一个时间问题了。
Claude 3 也终于能让 Anthropic 在这个榜上打破之前的「新模型不如旧模型」的挤牙膏魔咒，彻底为自己的能力正名。
Claude 3 出乎意料的用例
Claude 3 和 GPT-4 比数学
这位网友设计了一个小实验，来比较两者的算数能力，Claude 3 Opus 在数字上比 GPT-4 好得多！
9-10 位数的加减法算数，Opus 的整体准确率达到 100%。
随着测试用例变得更加复杂，GPT-4 开始出错。GPT-3.5 被彻底碾压了。
所有模型的乘法能力都不太行，但 Opus 表现最好，把 GPT-4 远远甩在了后边。
Opus 是唯一能在 5 位数乘法上具有非零精度，并且在一般乘法上具有更好分数的模型。
因为 Claude 3 会像人类一样做乘法，并使用其他技巧来简化。
这个用例中，可以实打实地看到 Claude 3 和 GPT-4 强大的地方。
让 Claude 3 翻译古文物上的语言
网友突发奇想，找了一个古代文物，让 Claude 3 来尝试翻译斐斯托圆盘？
这是一件神秘的古代文物，由意大利考古学家 Luigi Pernier 于 1908 年在费斯托斯的米诺斯宫殿中发现。
- 直径为 15 厘米（5.9 英寸）：
学者对翻译斐斯托斯圆盘进行了很多尝试，从宗教文件、日历、游戏，甚至乐谱的角度来理解它的内容，都没有成功。
网友先尝试让 Claude 3 明白自己要做什么？用提示词让他明白需要去把一些意义不明的符号归纳出能够被理解的内容。
然后网友向 Claude 提供了一些现成的信息，让他明白了迄今为止对费斯托圆盘的了解。
信息主要来自维基百科。
如果你要求它直接翻译或者破译内容，它会拒绝。
但是网友让他做一些推测性的翻译，Claude 3 突然就开始干活了。
A 面翻译：
「伟大的女神（标志 02）为城市/宫殿（标志 24）提供保护（标志 12）。人们（标志 01）带来祭品（标志 11、27）并在她的体内进行神圣仪式（标志 13、18）荣誉。女神的祝福（标志 35、38）确保了这片土地的繁荣（标志 28）和胜利（标志 02、12）。」
B 面翻译：
「统治者（标志 07）带领战士（标志 22、08）进行一场伟大的战斗（标志 25、45）。敌人（标志 29）被击败（标志 24、07），胜利的军队（标志 22、 07）返回家园（标志 23）。众神（标志 06、09）对供品（标志 27、39）感到满意，并给予土地（标志 40）祝福（标志 35、36）。」
现在，让我们将 A 面和 B 面结合起来。
「在伟大女神（标志 02）祝福的土地上，人们（标志 01）生活在她神圣的保护之下（标志 12）。他们将供品（标志 11、27）带到她神圣的宫殿（标志 24）并进行神圣的仪式。仪式（征兆 13、18）来纪念她的名字。女神将她的恩惠（征兆 35、38）赐予这片土地，赐予繁荣（征兆 28）和富足。
当敌人（标志 29）威胁和平时，强大的统治者（标志 07）聚集勇敢的战士（标志 22、08）来保卫王国。在一场激烈的战斗（征兆 25、45）中，他们战胜了敌人（征兆 24、07）并凯旋（征兆 22、07）回到自己的家园（征兆 23）。诸神（征兆 06、09）向胜利的英雄微笑，并接受他们感激的奉献（征兆 27、39）。
在神的祝福（征兆 35、36）下，土地（征兆 40）再次繁荣。人们赞美伟大的女神和英勇的统治者，因为他们的忠诚和勇气赢得了上天的青睐。就这样，在女神永恒的保护和人们坚定不移的信仰下，生命的循环继续下去，世世代代如此，未来也将如此。」
再让他把内容中的各个名词做了解释：
神：解释中提到的「伟大女神」可能是米诺斯母神，例如「蛇女神」或希腊女神瑞亚的前身，瑞亚与生育和保护有关。 统治者：解释中的「强大的统治者」可能代表米诺斯国王或克里特神话中的传奇人物，例如米诺斯国王，据说他统治了克里特岛并委托建造了著名的迷宫。 王国：故事中的王国可能是指古代克里特岛本身，在青铜时代拥有繁荣的城市和先进的文明，例如克诺索斯、斐斯托斯或马利亚。 人民：解释中提到的「人民」可能代表米诺斯人民，以其复杂的艺术、建筑和宗教习俗而闻名。 战争：推测翻译中描述的「激烈的战斗」可能暗指克里特岛与邻国之间的历史冲突，例如来自希腊大陆的迈锡尼人，或者神话中的战斗，例如忒修斯与牛头怪之间的战斗。而当网友要求 Claude 应用A面和克里特岛象形文字做比较，再把斐斯托斯圆盘符号和其他米诺斯文字之间的一对一映射。
Claude 给出了它的理解：
伟大的宫殿（标志 24，类似于线性 A 标志 041「宫殿」）在这对神圣夫妇的注视下高高矗立（标志 02 和 06，类似于线性 A 标志 038「神」和 037「女神」）。神圣的公牛（符号 28，类似于克里特岛象形文字 012「公牛」）被用来献祭（符号 27，类似于线性 A 符号 031「奉献」），以确保上天的青睐。 勇敢的战士（符号 08，类似于克里特岛象形文字 059「战士」）起航（符号 25，类似于线性 A 符号 086「船」）保卫王国的边界。凭借双斧的力量（符号 13，类似于克里特象形文字 042「双斧」）和神圣盾牌的保护（符号 12，类似于克里特象形文字 024「盾牌」），他们战胜了敌人（符号 29，类似到线性A标志 080「敌人」）并胜利归来。 明智的统治者（符号 07，类似于线性A符号 038「主」）和贵族女士（符号 09，类似于线性A符号 037「女士」）监督着土地的繁荣。丰富的收成（符号 35，类似于线性A符号 031「谷物」）和熟练的手工艺（符号 19，类似于克里特岛象形文字 054「工匠」）给人们带来了财富和欢乐。 神圣的文字（符号 41，类似于线性A符号 070「文字」）在圣殿（符号 23，类似于克里特岛象形文字 057「神庙」）中被背诵，以维持宇宙秩序。生命、死亡和重生的永恒循环（标志 10、11 和 34，类似于线性A标志 010「生命」、036「死亡」和 057「出生」）在不朽者的指导下继续进行。」用 Claude 3 来将自己的创意分解为可操作的创业规划
这个初创公司的 CEO 分享了两个他个人非常常用的 Claude 提示词，一个可以帮助普通人来检验自己的想法能不能变成可以赚钱的生意，一个可以来让 Claude 在某个自己不熟悉的领域来做一些工程上的决定。
当然，他的提示词是用的英文，但是为了方便大家理解，我们做了翻译。
如果有自己不熟悉的领域的知识需要快速理解，这个 Claude 3 的提示词也可以帮上忙。
除了生成商业计划和工程方面的建议，按照这个思路可以让他做很多专业化的处理工作。
以下是他通过这个提示词获得的结果。
可以看出，Claude 能严格按照你设置的格式和要求来回答你的问题。
用 Claude 3 编写一段解释勾股定理的代码
提示是：「编写 manim 代码来动画解释毕达哥拉斯定理。在编码之前一步步思考并向我提供完整的代码」
虽然它并没有在第一次尝试中为我提供完全完美的代码，但这是一个非常好的开始。
不过小哥也承认，刚开始 Claude 3 生成的代码是有 Bug 的，他花了几分钟改了之后才能运行出这个动画。
参考资料：
