姐妹花 porn
新智元报谈
剪辑：LRS 好困
【新智元导读】薛复昭博士通知行将加入Google DeepMind，共享了他在博士生计中的七点心得，包括工程智力的迫切性、与优秀东谈主才合营、专注于迫切论文、量度趋势的演变、换位想考以及博士学位的价值。
就在Gemini 2.0发布之前几天，一位新晋华东谈主博士通知加入Google DeepMind，行为高等量度科学家奋力于Gemini预教师和多模态量度。
薛复昭，博士毕业于新加坡国立大学师从尤洋素养，2021年以5.0的GPA收货硕士毕业于南洋理工大学，师从庄永聪素养和孙爱欣素养。
在新加坡国立大学攻读博士期间，曾在Google Brain与谷歌天才科学家Yi Tay和Mostafa Dehghani一齐实习，并在NVIDIA GEAR与Jim Fan和Yuke Zhu一齐实习。
读博3年的7点心得
工程智力是量度的基础
固然工程智力普遍很迫切，但在学术界似乎尽头被低估。举例，在我几年前的履历中，东谈主工智能博士招生很少进行编程口试。这很令东谈主骇怪，因为达成是将东谈主工智能想法付诸履行的要道设施。许多东谈主可能会平凡计议量度观念，但无法将其转动为本色把握。
庞大的工程智力不仅能让咱们为大界限技俩作念出孝敬（这是在大说话模子社区产生迫切影响的常见模样），还能引发转换的量度想路。最近的进展，如Scaling Law， MoE， GQA， Flash Attention，往往源于对底层期间和社区濒临挑战的深远交融。
与优秀东谈主才同事对进步量度试吃极其有匡助
什么是「量度试吃」？在我看来，便是比他东谈主更早识别出有远景的量度场地的智力。那么...该奈何作念？去问他们！就像咱们在大说话模子中在强化学习之前进行监督教师相似姐妹花 porn，咱们需要率领和开发来培养我方的「量度试吃」。
在我博士早期，我有幸在谷歌与Yi Tay和Mostafa Dehghani合营，这段履历权贵塑造了我的处事轨迹。我履历的文化冲击令东谈主深省。受此启发，我主动寻求契机与其他了得量度者合营，如Jim Fan (范麟熙)、朱玉可、Scott Reed、符尧等。
要实在交融他们的量度试吃，咱们需要在两个要道方面达成一致：
为什么这个问题在期间上很迫切？
这个东谈主是奈何培养出这么的妙技和想维模样的？
情理的是，具有邃密量度试吃的东谈主并不总能明晰回应这些问题，尤其是第二个问题。这便是为什么我以为与这些东谈主密切合营能让咱们深远了解他们的日常风俗、方案经由和措置问题的步调，尽管你也不错通过电子邮件等模样商讨他们。
博士期间要奋力于作念出大约而有眼力的45分钟演讲，而不是追求长长的发表清单
东谈主们攻读博士泛泛有两个主要原因，即享受科研乐趣和找到好责任。关于责任口试，有一个「还不错」的发表记载泛泛足以让你通过初选。
关系词，在口试经由中实在迫切的远不啻论文清单和简历。泛泛会有量度演打仗几次一双一的量度口试（除了基础学问和代码）。固然听众界限不同，但中枢目的永久沟通：作念出悠悠忘返且连贯的演讲。
要在这些时势发达出色，要专注于创建一个塌实的举座演讲，并依期（如每5分钟）加入敷裕眼力的不雅察，以保握听众的意思意思。
专注于极少迫切论文并深远交融，而不是浅尝辄止地阅读许多著作
香蕉视频在线观看手机板免费我泛泛会果决筛选掉arXiv上99%的论文，只关切有影响力的责任、著名作家和声誉邃密的机构。
（我交融这种步调有其偏见——一些有价值的责任可能因多样原因被低估。但事实是，这种步调泛泛很高效。我以为最佳的责任最终都和会过援用、计议或他东谈主保举出当今咱们眼前。）
固然你可能偶尔会错过一些被埋没的好论文，但更迫切的是不要被杂沓的论文归并。花太多期间在这些责任上可能会将你的量度试吃拉向局部最小值，尽头是当你刚参加这个领域窒碍甄别智力时，这可能需要格外长的期间和努力来改良。
在战斗新课题时，要按期间顺次阅读论文以量度量度趋势的演变
举例，你不错按照这个顺次来阅读和学习MoE-LLMs。这么，你不错更容易地识别和转头趋势，创建邻接不同责任的「想维链」，比如Expert-Choice MoE措置了baseline MoEs中的什么问题。这个经由不仅加深了你的交融和推明智力，还能让你杰出领域确刻下气象进行履行。
有了这个更精深的视角，你可能会发现存价值的未来量度场地。此外，东谈主们当然倾向于更好地记着最近的信息。行为量度者，跟上最新发展至关迫切，是以这种步调与咱们处理和保留信息的模样很相符。
换位想考是进步写稿和演讲的灵验步调
我的写稿仍有很大进步空间。不外，我发现换位想考在以下两种情况下尽头有匡助：
写稿时身历其境为读者着想。读者来自不同配景，并且期间有限。计议到这些身分来撰写文稿很迫切。要道是要让你的写稿易于目的受众交融。保握大约，既不要太长，也不要太浅或太深，专注于你想传达的最迫切不雅点。计议在读者的放胆条目下，什么内容最有影响力。
阅读时设想作家写稿时的所想所想。学术论文和演讲信息密度很高。作家泛泛破耗大都期间精好意思它们 ，但背后的原始数据或想法往往横三竖四。在阅读他东谈主的作品时，不要被迫秉承，要想考你会奈那边理原始材料。若是你能战斗到启动数据，你会讲述什么样的故事？你会画什么图来呈报不雅点？与你我方平时的写稿步调比较，作家的想路的哪些部分更值得鉴戒？这个锻练让你有时常的契机锻练写稿和演讲，而不是等花几个月完成所有这个词技俩后才有契机来锻练。
博士学位有匡助但不是从事大说话模子量度的必要条目
攻读博士不错提供可贵的学习教化。除了科研妙技，学术界擅长的一个领域是教学模块——这在工业实验室中很少遭遇。行为助教，你有契机策画讲座、功课、提醒和查验。这种教化与进行量度或率领低级量度东谈主员不同，若是你的目的是成为素养，这是必不成少的。
关系词，若是你的主要目的是径直为开首进的大说话模子作念出孝敬，径直加入量度实验室可能更灵验。在工业实验室，你可能会有：
取得更庞大的忖度资源。
与履行教化丰富、妙技出众且自我驱动的同事合营。
参与具有紧要影响力的大型技俩的契机。
在我的博士期间，我在工业实验室实习，但读者也王人备不错行为量度工程师或AI驻地量度员加入这么的实验室。在我看来，这些职位不错成为成为大说话模子量度者的快速通谈，让你有契机在履行性强、影响力大的环境中学习所需的大部分妙技。
值得谨防的是，像Google DeepMind姐妹花 porn，OpenAI这么的地方有许多了得的量度东谈主员并莫得博士学位。这凸显出固然博士学位有意，但它并不是在大说话模子量度领域取奏效利的独一阶梯。