没有导师和经费 作为独立研究员 我是如何成功投稿ICLR的？
大数据文摘出品
来源：medium
编译：楚阳、奥vi丫、马莉、李雷
没有博士学位，没有导师，没有科研经验。来自丹麦的Andreas Madsen在求职、申博屡屡失败后，决心成为一个独立研究员。
而就在2019年年底，他的论文被AI顶会ICLR录用，并被选为了会议的spotlight论文。
咸鱼翻身，Andreas的经历不可谓不励志，也令人遐想纷纷。
作为一个AI科研界的菜鸟，Andreas是如何一步步“上位”、征服顶会的呢？他又为什么会奉劝其他人不要做一个独立研究员呢？
让我们一起来读一读他的心路历程。
为什么要成为一个独立研究员
2018年3月，我以独立作者的身份在distill.pub上发表了《RNN中的可视化记忆机制》一文，阐述了NLP模型的交互式可视化，说明即使两个模型具有很极其相似地准确率，其行为也可能大相径庭。
文章链接：
https://distill.pub/2019/memorization-in-rnns/
我以为凭借这些加上我机器学习的硕士学位足以证明我可以申请博士学位，或者可以胜任任何软件研发工程师，谷歌高级实习计划或机器学习工程师的职位。
于是给不同的教授写信，并参加大大小小的公司应聘，谷歌、微软、日本乐天、ElementAI、英伟达、Hypefactors、英特尔、JD、亚马逊、三星等等。
然而，我并没有得到任何面试机会。
在谷歌应聘软件研发工程师的时候，我甚至得到了一个高级研究员的推荐，他鼓励我去他的部门面试并递交了正式的推荐信。为保险起见，我还叫一个曾与我合作了很久的谷歌高级工程师也递了推荐信。然而，我还是没能得到面试机会，HR也没有联系我。
残酷现实：“你需要在AI顶会上发表过1-2篇论文”
但是，我确实从一位教授那里得到了这样的回复：
“非常感谢您的邮件，写得非常好。一般来说，如果您没有在顶刊上发表过1到2篇文章的话，想要在我这获得博士学位是有点困难的。不过您在Distill上发表的文章和您的从业经历可以弥补这一点。然而，不幸的是，我这里目前没有合适您的职位。”——X大学的教授（X大学在QS榜上排名前100）
我的一个朋友，他认识另一所大学的学术委员会前成员，得到了如下说法：
“新政策要求顶级博士必须在顶级期刊上发表文章，如果你没有在ACL、EMNLP、CVPR、ICCV、ICLR、NeurIPS 或者 ICML上发表过文章，那得到博士学位的可能性微乎其微。”——Y大学的委员会前成员（Y大学在QS榜上排名前5）
好吧，大部分邮件都没有被回复。回复我的教授貌似都对我的申请不感兴趣。我怀疑他们也要求1到2篇的顶刊论文，只不过他们不想承认，因为这种政策只对极少数幸运学生有利。在我读硕士的大学里，是绝对不被鼓励发论文的。所以丹麦是一个获得硕士学位的好地方。
要想申请博士学位，如果没有内部推荐，你就得和半个博士一样优秀。
就这样吧。为了实现我从2011年就有的梦想，我需要发表1到2篇顶刊论文，于是我决定放手去干。我把2019年4月到2020年1月之间的时间全部奉献给我的梦想——在NeurIPS 或者 ICLR上发表一篇文章。如果不成功，那我就去当JS程序员。
如何找到研究课题？如何在没工作的情况下养活自己？这是我迄今为止被问得最多的问题了。当然，这确实是一个问题，但却也很好解决。找到一个好想法的办法很多，同样，如果你没有对别人承诺过什么，也可以有很多方法轻松地节省开支。自然地过渡到“独处但保持理智和拥有希望”的生活状态，我的答案不会让你失望的。
从2017年9月到2018年10月，我一直是一名自由职业者。直到我的一个朋友推荐我去了NearForm公司，我参与了一个名为clinic.js的项目，这个项目需要技术人员不仅有统计学背景，而且要对Node.js的内部结构和网络可视化有深入的了解。这个项目持续了6年，在这期间，我同时取得了机器学习的硕士学位。一切都是如此地完美，我的薪水很高，足以让我过三四年简朴的生活而无需工作。
生活问题貌似就这么被轻而易举地解决了。然而，不可否认的是，丹麦是一个消费水平很高的国家，在其他国家生活压力可能要小一些。
2019年，我还参与了一个物联网智能手表的TensorFlow部分开发，这个项目在node.js社区会议NodeConf EU 2019上发布，这或多或少又减轻了我的生活压力。
如我所言，有很多办法可以找到研究课题，不必太过拘泥，要发挥自己的创造力。
2019年2月，我参加了以前大学的AI学生社团开幕活动。我希望能和以前的导师谈谈博士学位的事，很不巧，他没法帮我。
不过我遇到了助理研究员Alexander R Johansen，他正在找人合作。2019年3月下旬，我写信给他；他解释说，有几名学生试图重现DeepMind论文《NALU》的结果，但没成功。因此他问我是否想研究这个课题，或许还可以写一篇NeurIPS论文。
我的硕士论文以及在Distill发表的论文，都是对他人的工作进行批判性思考，这些工作或者被夸大，或者是误导，然后对其进行改进。这些大都是围绕“优化”问题，这是我比较熟悉的领域，所以我感觉自己可以做些事情。
几乎所有论文对其研究结果都存在言过其实的情况，改进他人的工作是一个切实可行的研究策略。
研究课题有了！尽管这不是寻找课题的最佳策略，而且也伴随着巨大挑战，但这的确行之有效。
现在转入正题吧！
孤军奋战，绝不丧失理智或希望
作为一名独立研究员，你不能期待有来自他人的鼓励。我知道，许多博士导师也不鼓励他们的博士生，但他们最起码可以得到处境相同的博士生同侪的鼓励。对于一名独立研究员而言，这几乎不可能。
在撰写论文时苦苦挣扎而得不到同行支持和鼓励，这种痛苦是我不赞成成为独立研究人员的第一个原因。
每个人都需要一点鼓励，不要认为自己可以在没有任何鼓励的情况下能坚持7个月。一些问题一直萦绕我心头：找不到优化方案，受到不公正的同行评议，得不到有用的结果，发现一个明显漏洞……即使论文发表了，它也可能因为是个小众课题而毫无影响。
在没有资助的情况下进行7个月研究是非常大的冒险。如果论文没发表，所有付出将是巨大浪费。作为一名独立研究员，客观地说，我的机会低于平均水平，仅仅因为我得到的反馈更少。
然而，尽管没有同行的鼓励，你可以做些其他尝试：
我通常每周与Alexander见面，讨论研究课题。尽管Alexander没有博士学位，但他擅长批判性思维。我认为，与那些有多篇论文第一作者身份、或多年导师经验的人讨论是没有必要的，最重要的是与敢质疑你工作的人讨论。否则到最后，我们可能都变懒，对自己工作中的错误视而不见。与他人讨论你的论文，不投机取巧，会给你带来更大的压力。做些副业项目。把所有时间倾注在一件工作上风险很高。花些时间做些你认为有用的小项目，例如写段开源工具程序等。这有助于你从研究中抽身出来休息一下，假如你的研究项目失败了，你至少还做了一些事。以我为例，我的一些副业项目得到了知名研究人员的认可，这也是鼓励的重要来源。
一个3天完成的副业项目
撰写优异的论文
所有提交的论文中大概仅有20%能获得发表，审稿人们会寻找各种理由拒绝你提交的论文。“还可以”是不够的，你需要做到“优秀”！但你没有导师帮助你，你也从来没有提交过论文，那么你怎样才能真正实现“优秀”？
以我为例，我的第一篇论文发表在distill.pub杂志上，回头看看，这其实是非常幸运的。Distill注重论文是否“写的好”，即是否有清晰的解释和对别人有启发，而不只是为了让那些自己都写不好文章的审稿人们通过。对我而言，为了解释和启发去写作，比去迎合匿名审稿人们要容易得多，所以这是个好的开端。
但Distill编辑驳回了我的论文第一版稿。他们不明白我论文的目的是什么，是批评Nested LSTM？还是提出了一种新的关于NLP任务“自动完成”的建议？又或者是交互式可视化？
因此，如果一篇论文中有1-2个信息被误解，会因编辑感到困惑而被拒。
为避免这种情况，不要害怕重复解释这些信息。这样的话，再懒惰的审稿人也能理解。
进行了大量修改后，我再次向Distill提交了论文，这次他们的反馈更多。Distill的Chris Olah和 Ludwig Schubert在提交同业评议前给我提供了反馈，这对我的帮助很大。
最后，我想提一下，我花了几天时间和Alexander在一起，打磨论文，他对我帮助非常大，尤其是写文摘和引言时。
被NeurIPS2019拒绝
不幸的是，我们向NeurIPS 2019提交的论文被拒了。我感到非常伤心，所有的付出，一无所获！梦想破碎，我似乎没机会追求自己ML研究的梦想了。
自己的命运掌握在一群匿名的同业审稿人手里是多么奇怪呀。
为什么会被拒？我的总结如下：
一些审稿人不相信我们成功重现了NALU的结论。他们反复质疑“原论文的结果为什么比你给的结果要好得多”。一些审稿人要求我们重现NALU论文中声称可实现的每件事情，即使我们提供了清晰的证据表明，NALU模型无法圆满地完成这些事。
第二点归根到底是有些审稿人不相信我们的结论和重现，这也是对原论文的夸大进行改进时最难的部分。
审稿人很可能会站在已发表的论文一边，他们只会批评你提交的论文，而不会批评之前发表的论文，尤其是当论文来自DeepMind的时候。
提交ICLR，大获全胜
基于NeurIPS2019被拒，我们对论文进行了修改。提交给ICLR时，我们增加了更多证据和实验来支持我们的论断。
我们做了一件聪明事，就是发表我们关于NALU的实验配置和重现结果，并作为NeurlIPS2019年SEDL研讨会的研讨会论文。我们发推，并@了NALU第一作者A. Trask，他回应称：“太棒了！没有好的基准，我们就无法改进。”这非常有帮助，因为我们不必为实验配置和新模型争论不休。相反，我们只需要集中精力讨论我们建议改进的模型。
我希望这个做法能带来很大改变，然而我只能相信我们是很幸运地遇到了一个出色的审稿人。此外，（ICLR的）OpenReview上的讨论是公开的，这鼓励了更优质的讨论内容、更具有批判性思维的意见和辱骂性的评论的减少。
值得一提的是，我们得到4条评论，这对我来说意味着我们的论文相当吸引人。其中一位审稿人同时也在NeurIPS上审阅了我们的论文，可能是第三审稿人，他给了最具建设性的意见。在我们完成了所有修改之后，他将NeurIPS上的评级从Weak Reject改为Weak Accept，并最终将ICLR上的状态改为Accept；他甚至对其他审稿人的想法评论道，“本论文的意义非凡。”
“我明白其他审稿人对本文所介绍之模型是增量模型存在担忧，但我认为本文的优势不仅仅在于模型本身，更在于通过全面的理论分析和实验分析带来改进，并保留了开源代码，这是原论文没有做到的。本文很好地实践了最近提出的模型，分析了它们的失败之处，并记录了分析和修复模型的详细过程及基准。本文直面原始模型是否可再现的问题，并对该模型进行了大幅改进。这就是我认为本文绝对应该通过的原因。
我不知道本文提出的模型是否会在该领域产生重大改变，但是这种方法可能会影响并激发其他研究人员进行更深入地分析。
因此，我提高了我的打分，希望本文可以通过。”
——ICLR上的第四审稿人
https://openreview.net/forum?id=H1gNOeHKPS
读到这条评论让我感到非常高兴。当时仍然有两个Weak Rejects，因此仍有可能被拒。但是，即使我们被拒，至少我也会觉得这不是我的失败，而是审查过程的失败。
努力是否值得？
最后，我们的论文发表了。我希望这可以帮助我获得一个研究岗位，但是说实话，我也不确定。我刚刚看到一所大学的电子邮件说，你需要“发表两篇顶会（最好是与知名合著者）文章，才能获得顶尖博士学位的入读资格”。这是我作为独立研究员永远都无法实现的目标。希望这只是那所大学的要求吧。
研究机器学习的道路对所有人来说都是漫长的。但是，如果你不去尝试，你就一点机会都没有。如果你确实愿意尝试，请花点时间看有没有其他的路可以走，比如成为一个独立研究员。
总结
最后，我想重复我对其他独立研究员的几条建议。
与他人合作。他们不一定是撰写论文的专家，只要是可以对你的工作提出建设性意见的人就可以。在大学里找一个可以使用大量计算资源的合作伙伴非常有必要。接受失败，但永不放弃尝试。只有大约20％的论文会通过，而作为一名独立研究员，你的机会可能低于平均水平。不要因为一次被拒而灰心。做一些兼职项目，这样即使你失败了，也不会感觉时间完全浪费了。最好不要成为独立研究员。如果你还有其他选择，那就没必要成为一名独立研究员。也许你的硕士导师经常不管你，但至少你可以和其他读博的同学交流。成为一名独立研究员，你可能得不到任何支持。