{"text":[[{"start":null,"text":"

"}],[{"start":9.57,"text":"欢迎回到《AI变革》。在这个栏目中，我们每周都会探讨最新证据，看看AI如何改变工作岗位和职场世界。本周我们关注的是一项关于AI是否正在提高知识工作者生产力的新研究，并进一步思考：我们究竟应该如何去回答——甚至是如何去提出——这个问题。"}],[{"start":30.3,"text":"

约翰写道

"}],[{"start":31.53,"text":"到现在，我们已经进入生成式AI时代三年半，也进入AI智能体时代一年。尽管人们在AI的一般能力和实用性方面的共识不断增加，但关于它究竟能带来多大生产力提升，却几乎没有硬数据。其中最早尝试在个体员工层面量化这一问题的研究之一由AI研究非营利组织METR完成。该研究得出了一个非常惊人的结果：软件工程师主观上觉得AI帮助他们把工作速度提高了20%，但精确测量后发现，AI实际上让他们的工作速度慢了20%。"}],[{"start":67.52000000000001,"text":"本周，METR发布了一项新的问卷研究，测试不同提问方式是否能引出更有用的结果。这一次，他们调查了350名技术知识工作者，包括软件工程师、研究人员和管理者，询问他们在使用AI之后，在工作中实际创造的价值增加了多少，而不是仅仅评估他们完成任务的速度快了多少。"}],[{"start":90.35000000000001,"text":"我们已经知道，目前衡量个人生产力提升的主要问题在于：这些提升多由本人自报，而正如METR早先的实验所示，这通常意味着被大幅高估。不过，这份新报告强调了另一个问题：如果让人比较“现在使用AI完成工作”和“AI出现之前完成工作”的速度差异，也会导致对收益的高估。原因在于，你现在往往会用AI去做一些对你的工作并不那么重要的事情——比如，快速做一个配套的交互式仪表盘，或进行更复杂的分析。没错，如果在没有AI的情况下手工完成这些事会非常耗时，但它们其实只是额外加分项；这些在假设情境下看起来巨大的节省时间，在今天现实中只会带来你工作价值的小幅提升。"}],[{"start":137.25,"text":"为了解决这一问题，METR改为提出了三个问题，试图探究AI为员工产出所带来的附加价值："}],[{"start":145.12,"text":"“如果你的团队要用和你一模一样的人（相同技能、相同知识），但他们无法使用人工智能来取代你，团队需要雇用多少个这样的‘你’？”"}],[{"start":154.55,"text":"“如果你当时无法使用人工智能，要花多少个月才能交付与你上个月所交付工作同等价值的成果？”"}],[{"start":162.42000000000002,"text":"“如果无法再使用AI工具，你目前所创造的价值中还能产出多少？”"}],[{"start":167.91000000000003,"text":"正如预期，当被引导去思考“价值”而非单纯“速度”时，人们对AI带来收益的估计更低，大约是2倍而不是3倍，其中第三个问题给出的估计最小，为1.6倍——也就是平均来看，AI带来的价值提升约为60%。"}],[{"start":184.43000000000004,"text":"正如研究人员自己也承认的，那些数字其实更应被看作“上限”。当他们更仔细审查一些最引人注目的、由受访者自报的效率提升时，对这些产出工作的评估是：这些工作极不可能像受访者所说的那样有那么高的价值。另有一例中，他们确认确实有更多工作是借助AI完成的，但从客观角度看，这是否就意味着创造了更多价值，就不那么清楚了。我还要补充一点，这些估计之所以应被视为上限，还有第二个原因：这类高度依赖编码的工作，比起大多数其他工作（即便是在知识经济中），更适合被AI自动化或增强。事实上，METR发现，参与者花在编码上的时间越少，AI对其工作的提升幅度就越小。"}],[{"start":232.24000000000004,"text":"撇开这些具体数字本身的可靠性不谈，我认为这种研究思路是有价值的，也提出了一些有趣的问题。比如，谁来界定一段具体代码或更广泛知识型工作的“价值”？再比如，通过AI增强带来的价值提升，是否真的是总被需要或总有需求的？正如文中所说，我们现在真正需要的是来自管理者的调研（而我认为在适用的情况下，还需要来自客户的调研）。"}],[{"start":260.69000000000005,"text":"同样值得思考的是，这种方法如何推广到其他工作或领域。我也觉得把这些问题用在自己的工作上很有意思："}],[{"start":270.0400000000001,"text":"“如果你当时无法使用人工智能，要花多少个月才能交付与你上个月所交付工作同等价值的成果？”"}],[{"start":null,"text":"

也许多花一个星期？这已经很多了！但很难下定论。那其中有三天，我认为对我产出当时那种质量的成果至关重要；而另外两天，很可能只是添了一些额外的细节，在有AI之前的我也许不会觉得有必要，读者大概也不会觉得缺了什么。类似地，在AI时代，我也做过一些完全没用AI的工作，但我怀疑在编辑和读者眼中的价值，并不比那些我用了AI的稿件更低。写专栏是个挺古怪的行当，即便我是做数据专栏的，我也很有把握地说，专栏“价值”和数据分析的数量或复杂度之间的相关性，充其量也只是温和有限的。影响因素太多了：对读者的相关性、时效性、论证的质量和原创性、图表的质量。AI有时能在其中一些方面帮上忙，在另一些方面则帮不上太多；而且即便能帮上忙，往往也很快会出现报酬递减得很陡的情况

"}],[{"start":277.9100000000001,"text":"“如果无法再使用AI工具，你目前所创造的价值中还能产出多少？”"}],[{"start":null,"text":"

我估计大概是80%，也就是大约1.25倍，或提升25%。这很好，因为这和我对节省时间的估算非常接近（每月多出一周大致相当于25%），尽管这其实是一个完全不同的问题

"}],[{"start":283.4000000000001,"text":"萨拉，作为一位平时并不经常写代码的人（无论是否借助AI），你觉得这项研究对你有多少帮助？"}],[{"start":291.4100000000001,"text":"

萨拉写道

"}],[{"start":292.61000000000007,"text":"对于METR试图促使人们更认真地思考自己是否真的在“提升10倍生产力”这一点——这是有些人喜欢在社交媒体上炫耀的说法——我表示赞赏。但说实话，约翰，我觉得这些努力真正凸显的是：归根结底，“个人层面”的生产力并不是一个特别有意义的指标。至少，如果你是在公司里工作（而不是单打独斗），它就不太有意义；而如果你想从宏观经济层面思考生产力，那就更谈不上了。"}],[{"start":322.68000000000006,"text":"这是因为，组织和经济体并不只是一些各自为政的个人组合，而是相互依存的系统。也正因此，我们每个人创造的价值，往往难以从整体上看清，而且并不只取决于我们自己。"}],[{"start":337.02000000000004,"text":"在软件领域，软件开发平台Faros的一份新报告把这一问题展现得非常清楚（感谢Codemanship的Jason Gorman提醒我们注意到这点）。这份报告并非基于自我报告，而是基于平台上22,000名开发者的真实遥测数据。报告将结果概括为：“代码更多。质量下滑。事故加速。”"}],[{"start":360.57000000000005,"text":"数据表明，在软件开发流程的起始阶段，生产力确实得到大幅提升。生成的代码更多，启动的项目也更多。但后续各个环节似乎在放慢：报告指出，“当工作从进行中推进到评审、再到测试、最终完成时，每一次交接都要由人的注意力、判断力和精力来决定接下来会发生什么。贯穿这些所有阶段，所花费的时间都大幅增加。”"}],[{"start":387.64000000000004,"text":"其结果是，进入系统的代码质量有所下降。报告指出：“进入生产系统的代码，已达不到工程师过去为自己设定的标准。AI生成的代码正在进入生产环境，但并不经得起考验。相对于AI采用率较低时的基准水平，事故数量已经增加了三倍。”可以想见，这最终可能会在公司声誉方面付出高昂代价，更不用说为修复问题所需的大量工时。"}],[{"start":417.02000000000004,"text":"去年，我撰文讨论了谷歌云(Google Cloud)的DORA研究项目中的类似发现。该项目会对软件工程师进行调研，并跟踪绩效指标。那份报告发现，原本表现就很突出的团队在应对这些问题时要成功得多。但Faros的报告对这一结论提出了质疑：“高绩效的工程组织正经历与其他人相同的下游恶化。”"}],[{"start":440.76000000000005,"text":"这只是从一个侧面管窥一小部分软件开发从业者身上正在发生的情况，但我认为这是一次有用的现实检验。随着时间推移，各组织可能会学会如何调整工作流程，以应对AI带来的工作量和质量问题。但眼下值得记住的是：在公司某个部门提升个人生产力的科技，并不一定会让整个组织创造出更多价值（事实上，甚至可能导致相反的结果）。"}],[{"start":468.05000000000007,"text":"

延伸阅读

"}],[{"start":null,"text":"

1. 这是《连线》杂志上一篇有趣的文章：《认识那些AI的悲伤妻子》。——萨拉

2. 在Persuasion的Substack上，塔莉娅•巴恩斯发表了一篇关于AI对真实性影响的有深度的文章。（约翰）

"}],[{"start":null,"text":" "}]],"url":"https://audio.ftcn.net.cn/album/a_1778891404_9077.mp3"}