刚刚，ICML2024顶会最终录用结果，公布了！
本次会议的投稿量初步统计为9653篇，而去年的投稿量只有6538篇。
第42届ICML会议（每年一次）将于7月21-27日在奥地利维也纳举办，中稿的小伙伴可以开始准备了！
从历年的统计中可以看到，ICML的投稿量增长速度非常快，今年更是创下了历史新高，提交量大涨3000多篇。
审稿质量太差
作为会议的AC，PeterRichtarik表示他总共处理了19篇论文，接受论文的平均分为4.25-6.33，被拒论文的平均分为2.60-6.00。
他也指出了一个严峻的问题，就是审稿意见的质量太差了，不管是正向还是负面的意见，有很多都是错误的，导致自己经常很晚才能提交meta-review，不得不亲自读一遍论文。
他们给出的意见包括「不是预训练的神经网络，不能很好地泛化」、「只使用了小数据（论文明确说明用于小数据学习）」、「基于树的方法无法扩展」、「结果并不是所有使用的数据集上最好的，所以该方法没用」、「有2021年之前的参考资料，太过时了」之类的逆天言论。
另一个被拒稿的评分为6653，作者认为其中3人明显误解了方法，并在rebuttal环节中道歉了，但只是将置信度分数从4更改为3，然后AC还是决定拒稿。
只能说，被拒稿倒是小事，审稿水平低才是大问题。
网友晒出成绩单
滑铁卢大学矢量研究所、北京大学、微软研究院的研究人员提出的「可提高语言模型效率的外推算法」EAGLE被ICML2024录用。
EAGLE是一种快速解码大型语言模型(LLMs)的全新基线模型，通过实验证明了模型性能几乎不会损失，该方法将LLMs第二顶层的上下文特征向量进行外推，从而显着提高生成效率：
1、生成速度比标准解码（13B）快3倍、比Lookahead(13B)快2倍、比Medusa(13B)快1.6倍
2、在生成文本的分布中，证明了其结果与普通解码具有一致性；
3、1-2天内可训练完毕，在8xRTX3090GPU上进行测试，即使GPU资源匮乏的人也能使用该算法加速；
4、可与其他并行技术相结合，例如vLLM、DeepSpeed、Mamba、FlashAttention、量化和硬件优化。
伊利诺伊大学厄巴纳-香槟分校、上海交大、纽约大学等机构的研究人员发布的StructChem，使用了一种简单而有效的提示策略，就可以让LLMs进行复杂的化学推理。
文中总结了当前最先进的LLM（例如GPT-4）无法解决的四个主要错误。
新方法StructChem包括三个步骤，可以作为LLM的引导：
1、公式收集，要求LLM提供公式及其解释作为基础；
2、逐步推理，以PoT生成的公式为基础，确保精确性；
3、基于置信度的审查和细化，进一步检查每个推理步骤的准确性。
在SciBench上进行的实验结果显示，StructChem在few-shot和zero-shot设置的复杂化学难题中实现了30%的性能飞跃。
值得一提的是，来自StabilityAI、医学AI研究中心（MEDARC）等机构的研究人员升级了模型MindEye2。
只需要1小时的数据，它便可以从fMRI大脑活动中重建和检索图像，甚至可以将2D图像转化为3D视频，堪称一项革命性的技术。
这篇论文同时被ICML和ICLR接收。
而在实际的应用中，MindEye2表现出了惊人的性能。比如，在图像检索任务中，其准确率超过90%，超越以往的方法。
另外，得益于使用预训练的生成模型，MindEye2在图像重建方面也取得了显著的效果。
来自CMU、清华大学交叉信息研究院、MIT等机构的研究人员提出的RoboGen论文被接受收。
这项研究提出的RoboGen，是一种通过通过生成式模拟，自住学习多种机器人技能的生成机器人智能体。
最新方法利用了基础模型和生成模型的最新进展。
不是直接使用或调整这些模型来产生策略或低级别的行动，而是生成式方案，其用这些模型来自动生成多样任务、场景和训练监督，从而在最少的监督下扩大机器人技能学习。
论文解决了在单调博弈（monotonegames）中学习纳什均衡的问题，其中收益函数的梯度在策略配置文件空间中是单调的，可能包含加性噪声。
研究人员首先建立一个统一的框架来学习单调游戏中的平衡，适应完整和嘈杂的反馈；
然后在不考虑噪声的情况下，构建出趋向于近似平衡的收敛率。
最后通过更新弹弓策略（slingshotstrategy）来引入一个转折（twist），以有限的间隔锚定当前策略，使得模型能够确定具有保证率的基础博弈的确切纳什均衡。
文中所提出的框架非常全面，集成了现有的收益扰动算法，并且通过实验证明了，基于该框架的算法可以显着加速收敛。
来自伦敦大学AI中心的研究人员，关于图高斯过程的论文正式被ICML接受。
该论文不止使用二元任务设置，而是考虑多元关系，包括顶点、边及单元（cells）之间的相互作用。
具体来说，研究人员提出了单元复合体（cellularcomplexes）的高斯过程，可以捕获高阶单元之间相互作用的图的泛化。
论文的主要贡献之一是对两种全新内核进行推导，包括Matérn内核和另一种混合了不同单元类型的信息的内核。
除此以外，还有很多大佬纷纷晒出了自己的成绩单。
开创性论文有几篇？
与此同时，Reddit网友在线发出灵魂拷问：
ICML、NeurIPS、CVPR等顶会，究竟有多少篇论文是真正具有开创性的？
我自己也在顶会上发表过一些论文，但每当我坐下来反思时，又觉得我的工作虽然不错，但影响力并不大，就像砌墙时的一块普通砖头。我困惑的是，我们什么时候可以看到像「AttentionisAllYouNeed」这样有重大影响力的突破性工作。
有网友表示，会议评审过程总是偏爱略有创新的论文。通常情况下，具有极大突破性的论文被接受的概率较低。
最典型的例子是，RuslanSalakhutdinov和GeoffreyHinton合著的论文——为Netflix竞赛提出的方法，被NIPS2006拒绝了。
没想到，他们的论文最终被ICML2007接受，并且这个方法成为了最终冠军团队算法中的一个重要组成部分。
一位审稿人承认道，也许我有某种偏见。
但作为一名评审，我经常看到这种情况。「略有创新」的东西很容易被接受，而更具突破性的想法往往至少有一个审稿人完全误解了一切，或者本能地不喜欢这个想法。
这只是同行评审制度的自然结果——略有创新的论文很容易被理解。
只要写得好，有大量实验，其被接受的几率就很高。
攻击一个已经被社区广泛接受的想法也是困难的。相反，一篇创新的论文需要审稿人付出更多的努力，而且很容易被误解。
而真正具有开创性论文，在我们产出的大量「垃圾」论文中所占比例不到1%。