我们拥有10亿参数的模型，其基准测试成绩比（实际上）如今大多数初级开发者都高，但我们仍然假装这些工具不存在，像2010年那样刷Leetcode仍然是唯一的途径。不要误解我的意思——我认为了解各种不同的算法是一项在现实中有用的宝贵技能。但这实际上只能转化为一种糟糕的模式识别能力（而这正是大语言模型存在的意义）。如果我拥有一家科技企业，我会测试以下一些真正的技能：他们能否在不使用人工智能的情况下解释问题并进行讨论？他们是否知道人工智能在哪些方面完全不行？（说的就是你，复杂的状态管理）他们是否知道如何分解复杂问题并逐步思考？他们是否真的能阅读/改述人工智能输出的代码？或者他们是那种只会Ctrl + C、Ctrl + V祈祷式操作，会浪费3个小时试图让一个有问题的人工智能解决方案生效的人？他们能多快检测出看起来合理但逻辑上不正确的代码？我是有创意还是想多了？
讨论总结
该讨论围绕技术面试是否应该允许并评判使用大型语言模型（LLMs）展开。原帖作者认为当下1B模型基准高于很多初级开发者，但面试仍假装LLMs不存在，依旧采用如2010年的Leetcode刷题为主要面试方式不合理，还列出如果自己开科技公司会测试的技能。评论者们各抒己见，有的表示不反对但面试中不鼓励使用，有的认为面试应关注候选人思考、操作、应对挫折的能力，也有赞同在一定条件下允许使用LLMs并要求候选人解释其输出内容等观点，整体讨论氛围理性且争议颇多。
主要观点
- 👍 面试应关注候选人思考问题的方式和过往经验而非直接实现能力
- 支持理由：对候选人有直观感受更重要，思考方式和经验能反映真实能力
- 反对声音：无
- 🔥 用LLM得出的成果可能只是表面好看，后续答疑能力差
- 正方观点：通过实例说明使用LLM者虽能得出优质总结但后续问题回答不佳，AI存在虚假生产力衡量问题
- 反方观点：无
- 💡 Leetcode面试与工作技能和表现基本无关
- 解释：现场叙述自己解简单谜题的能力与工作技能和工作表现几乎没有关系，更多是对求职者绝望程度的测试和掩盖招聘偏见的手段
- 💡 若公司不禁止，不应因使用LLMs就否定候选人
- 解释：面试应评估候选人在公司实际环境中的表现，现代工程中开发人员可利用LLMs处理小任务以聚焦大局
- 💡 允许候选人使用自认为合适的工具完成任务，但要理解并解释工具的输出
- 解释：体现技术招聘中更灵活、更注重实际应用能力的态度
金句与有趣评论
- “😂 作为进行过数十次面试的人，我不反对LLMs，但在面试中不会鼓励使用。”
- 亮点：表达出一种对LLMs存在的理性态度，既不反对也不鼓励在面试中使用
- “🤔 然而，如果我问使用LLM的人一个后续问题，他们可能不如其他人回答得好。这就是我眼中AI炒作的问题：它采用虚假的生产力衡量标准，然后承诺在这些虚假衡量标准上获得惊人的收益，仅此而已。”
- 亮点：深刻指出AI炒作中存在的虚假生产力衡量问题
- “👀 我只在意候选人是否知晓概念，而非他们是否知晓特定语法或者忘记某个生僻的关键词。”
- 亮点：强调面试中对概念理解的重要性，弱化特定语法等细节
- “😎 除非你的组织禁止使用LLMs，否则因使用它们而对候选人进行负面评价是不合理的。”
- 亮点：从公司政策角度看待对LLMs使用的评判
- “👍 我允许候选人使用他们认为合适的工具来完成任务。他们需要理解并解释这些工具所产生的输出内容。”
- 亮点：提出一种较为灵活且合理的技术招聘方式
情感分析
总体情感倾向较为复杂，既有赞同原帖观点的，也有反对的。主要分歧点在于LLMs在技术面试中的使用以及传统面试方式（如Leetcode面试）的合理性。赞同者认为面试应与时俱进，考虑到LLMs的存在并合理利用，关注实际能力；反对者则担心LLMs可能带来的虚假成果、过度依赖等问题，以及认为传统面试方式有其存在的价值。
趋势与预测
- 新兴话题：技术面试形式可能会向更注重实践、结合实际工作需求的方向发展，如采用带回家作业加讨论的形式。
- 潜在影响：可能促使科技公司重新审视面试流程和评判标准，改变传统的以Leetcode为代表的面试方式，更加注重候选人的实际工作能力和对工具的合理运用能力，进而影响初级开发者的学习和发展方向。
详细内容：
《关于科技面试是否应允许使用LLMs的热门讨论》
近日，Reddit上一则关于“科技面试应该允许（并评估）使用LLMs，而非否认其存在”的帖子引发了热烈讨论。该帖子获得了众多关注，评论数众多。原帖指出，如今拥有性能远超多数初级开发者的1B模型，但我们仍假装这些工具不存在，还像2010年那样死磕Leetcode。
原帖还提出了一些在科技面试中真正应该测试的技能，如候选人能否在无AI辅助下解释和讨论问题、是否了解AI的短板、能否逐步拆解复杂问题等。
讨论的焦点主要集中在以下几个方面： 有人认为作为面试官，不反对LLMs，但更关注候选人思考问题的方式和以往经验，而非直接的实现过程。有人则表示，如果让10人总结20页文本，使用LLMs和不使用的会有明显差异，后续提问时，使用LLMs的可能回答不好，这就是AI热潮的问题所在，它夸大了生产力。
还有人指出，对于开发者，关键在于能否理解相关代码和标准，面试中更想看到候选人的操作和思考方式，而非单纯的结果。也有人允许候选人使用认为合适的工具完成任务，但要求理解和解释工具的输出。
讨论中的共识在于，大家都认同在面试中考察候选人对概念的理解很重要。特别有见地的观点是，认为LLMs只是让采用“带回家作业+讨论”这种面试形式的理由更充分了，但那些仍在进行Leetcode面试的公司短期内不会改变。
总之，这场关于科技面试与LLMs的讨论十分激烈，展现了大家对这一话题的深入思考。
感谢您的耐心阅读！来选个表情，或者留个评论吧！