红豆 鱼羊 丽翔 凹非寺

物理位 报导 | 社会公众号 QbitAI

搞机器学习的小伙伴们，不免要在各式各样统计数据K568，给AI数学模型跑分。

那时，Papers with Code(那个以学术论文搜标识符的宝物) 项目组，面世了手动跑分服务项目，名为sotabench，以走遍大部份开放源码数学模型为核心理念。

有了它，不必上载标识符，如果相连GitHub工程项目，就有使用者端GPU帮你跑分；每天递交了捷伊commit，控制系统又会离线跑分。除了当今世界榜单，能检视一呼百应强敌的战绩。

除全力支持数十家非主流统计数据集，还全力支持使用者上载他们的统计数据集。

也能看一看，他们的学术论文结论，究竟可信赖不可信赖。

比如，fork呵呵Facebook的FixRes那个工程项目，实用性呵呵评估结果文档：

接着全屏关连，让Sotabench的GPU跑呵呵ImageNet的影像进行分类试验。

就能获得这种的结论：

Top-1准确率，Top-5准确率，跟学术论文的结论有何差距（见注），运行速度，全球排名，全部一目了然。

注：ε-REPR，结论与学术论文结论差距在0.3%以内时打勾，差距≥0.3%且比学术论文结论差显示为红叉，比学术论文结论好显示为勾+

那个免费的跑分宝物，一天，便受到热烈欢迎：twitter点赞600+，Reddit热度270+。

网友纷纷表示：这对开发者社区来说太有用了！

那么，先来看呵呵sotabench的功能和用法吧。

用法简单，海纳百川

项目组说，sotabench就是Papers with Code的双胞胎姐妹：

Papers with Code大家很熟悉了，它检视的是学术论文报告的跑分。能用来寻找高分数学模型对应的标识符，是个造福人类的工具。

与之互补，sotabench检视的是开放源码工程项目，标识符实际运行的结论。能试验他们的数学模型，也能验证别家的数学模型，是不是真有学术论文说的那么强。

它全力支持跟其他数学模型的对比，全力支持查看速度和准确率的取舍情况。

那么，sotabench怎么用？简单，如果两步。

第一步，先在本地评估结果呵呵数学模型：

在GitHub工程项目的根目录里，创建一个sotabench.py文档。里面能包含：加载、处理统计数据集和从中得出预测所需的逻辑。每递交一个commit，那个文档都会运行。接着，用个开放源码的基准试验库来跑你的数学模型。那个库能是sotabench-eval，那个库不问框架，里面有ImageNet等等统计数据集；也能是torchbench，这是个PyTorch库，和PyTorch统计数据集加载器搭配食用更简单。

一旦成功跑起来，就能进入下一步。

第二步，相连GitHub工程项目，sotabench会帮你跑：

点击那个按钮，连到你的GitHub账号，各式各样工程项目就显现了。选择你要试验的那个工程项目来相连。连好之后，控制系统会手动试验你的master，接着记录官方结论，一切都是跑在使用者端GPU上。试验环境是根据requirement.txt文档设置的，所以要把那个文档加进repo，让控制系统捕捉到你用的依赖项。

从此，每当你递交一次commit，控制系统都会帮你重新跑分，来确保分数是最捷伊，也确保更捷伊数学模型依然在工作。

这种一来，数学模型出了bug，也能及时知晓。

如果要跑他们家的数学模型，fork到他们那里就好啦。

目前，sotabench已经全力支持了一些非主流统计数据集：

列表还在持续更新中，项目组也在盛情邀请一呼百应豪杰，一同充实benchmark大家庭。

既全力支持创建一个捷伊benchmark，也全力支持为现有benchmark添加捷伊实现。

你能给sotabench-eval或torchbench工程项目递交PR，也能直接创建捷伊Python包。

一旦准备就绪，就在sotabench官网的论坛上，新话题，项目组会把你的benchmark加进去的：

好评如潮

这种的一项服务项目面世，网友们纷纷点赞，好评如潮，twitter点赞600+。

有网友表示：

太棒了！对刚入门的新手来说，统计数据集获取、预处理和评估结果的手动化和标准化很有用。通过分析不同数学模型及其超参数结论，来评估结果这些数学模型，本身是挺困难的一件事，你得在各式各样学术论文中查阅大量的非结构化统计数据。有了那个，这件事就轻松多了。（部分意译）

许多网友对那个工程项目进行了友好的探讨及建议，而开发人员也在线积极回应。

比如这位网友建议：能在每天递交的时候报告数学模型的超参数吗？

作者很快回复说：英雄所见略同。下次更新就加上！

并且，他们还考虑在将来的更新中，让使用者把链接添加到生成数学模型的训练参数中。

传送门

sotabench官网：

https://sotabench.com/

基准试验库通用版：

https://github.com/paperswithcode/sotabench-eval

基准试验库PyTorch版：

https://github.com/paperswithcode/torchbench

— 完 —

诚挚招聘

物理位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在物理位社会公众号(QbitAI)对话界面，回复招聘两个字。

物理位 QbitAI · 头条号签约作者

վᴗ ի 追踪AI技术和产品新动态