S028｜大厂AI算法工程师：模型训练、算力投入与真实提效边界
背景：国内大型互联网公司AI算法工程师，约五年经验，任职大模型部门
行业：互联网 / AI算法；地区：未明确
概要：投稿人从模型架构、数据与算力讨论国内外厂商竞争，并分享对芯片和云算力的观察。他结合所在公司的外包调整与内部实验，描述AI在复杂业务中的提效限制及未来可能性。
来源：https://www.youtube.com/watch?v=d5y8MdjS3xo&t=1228s
时间：00:20:28—00:26:34
正文摘自视频读信段落，并非原始投稿邮件。保留自动转录措辞与可能的错字；标题和概要为整理者概括。明确的博主点评已移出，归属不确定的口播另列。

说明：有关外包投入程度的限定由博主转述为投稿人的括号补充，已保留其内容。技术及行业判断为投稿人的观点。

投稿正文
老厉害您好,首先非常感谢你这么久无私的分享,让我受益良多,除此之外,我也会把你的视频分享给我周边的亲戚和朋友,我觉得对大部分人来讲,大家缺乏较为专业的渠道,去比较客观公正且高知心度的了解,身边正在发生的事情,或者是当下已有的现状,再次感谢,我是来自国内某互联网大厂的算法工程师,已经工作了五年,有幸在公司的大模型部门有一些极为粗浅的履历,看到视频里大模型行业的玩法相关的内容不算多,所以今天想挑一些不太敏感的地方分享一下,时间发展到现在,大模型的训练基本已经分为了三个核心部分,一个是模型结构,一个是训练数据,最后是训练算力,据我了解,国内在模型结构上的创新,其实跟中国制造业以及过去几十年互联网的发展模式是比较相似的,也就是说整个backbone可能不是国内率先提出来的,但对于细节的打磨或者一些中度的改动,

国内往往做的是相当不错的,这很像过去几十年我们做互联网的阶段,美国提出一个很好的idea,并给出了一份实现,中国人往往可以把它做大,做得更精细,在目前的模型结构上,我看到的依然是这种模式,训练数据方面本质上还是遵从scale,当前的transformer范式的模型本身推崇的就是结构不需要大改,只要把数据调配的足够好,高质量数据足够多,模型自然而然就会越来越聪明,所以数据是至关重要的,更详细的讲,核心是需要COT思维链,它的相关数据,大家有兴趣可以搜一下最近关于如何获取模型思维链的论文,所谓的蒸馏并不是问完问题把答案抄过来就行,而是一方面需要人工拟合高质量的问题,二,另一方面需要拿到模型的思维链,思维链通常是不公开的,是大模型厂商的核心资产,但目前OpenAI和Cloud等模型,它的思维链似乎都有办法破解和获取,

我认为这也是国内厂商非常有竞争力的地方,可以通过将思维链蒸馏回来,提升自身的模型能力,再以较低价格和开源的方式提供出来,从而对币源大模型厂商形成冲击,举个例子,之前国内某互联网大厂,在开放了巨量的币源厂商免费API给员工使用了一段时间之后,就发布了较为强力的模型,我自己的判断是,它应该是使用了某种代理技术,让员工结合给他们提供的免费API,生成高质量的语料,以此来帮助他们生产数据,正因为如此,其实我是非常看好云厂的,包括微软,亚马逊,谷歌这样的能部署开源模型卖token的云厂商,反而币源模型厂商如果没有办法做到比云厂更便宜的价格,或者相较于开源模型的断代领先,他们的位置就会比较尴尬,最后在训练算力方面,我认为当前scaling law还没有结束,因为,从我身边的体感来看,我所在公司买卡的决心和力度远超想象,

我甚至都没有想过,公司能买这个量级的卡,敢花这么多钱,虽然公司本身确实蛮挣钱的,但这么花这么造,我一开始是完全没想到的,针对这一点,我的判断是买卡这件事上,目前看起来应该是ROI很高,一方面,它能够迅速训练出自家的大模型,为公司提供估值的提升,另一方面,以后还可以作为云算力去出租,目前云算力的回本周期,是相当短的,最后在模型算力这方面提一点,目前国产卡百花齐放,居哪家我就不点名了,但应该是拖了DeepSeek的一些后腿,大家都看到DeepSeek V4和V3进步幅度的差别还是蛮大的,应该就是被国产卡拖了些后腿,在推理卡方面,我个人觉得英伟达的优势不会那么大,不会那么大,不过我对推理了解不多,可能还需要拭目以待,最后再说一些意义不那么大的废话,目前在国内的研发领域,特别是业务软件的研发领域,其实AI的FOMO情绪也非常严重,

就我所知的某些部门,外包已经被裁削了三分之二,当然外包的能力大部分确实没有AI强,如果是投入度不是很高的外包的话,一般来讲确实是没有AI的能力强,但如果是投入度很高的外包,应该还是不错的,然后也有一些内包,目前留了一半以上,会给他们配置AI的席位,但是整体来讲,我认为AI在研发领域的提效,其实非常看重上下文是否足够的干净,任务是否足够的明确,如果是从事复杂业务,复杂链路维护的小伙伴们,我觉得不用过于担心,因为我们在内部比较复杂的领域里,已经做过实验了,提效比一般没有达到5倍10倍这么夸张,最多,是两倍,第二,是因为那个领域确实非常复杂,而且没有比较好的文档沉淀,所以AI一头钻进去,他是搞不懂的,如果是一些没有历史沉淀,或者没有复杂业务规则的地方,比如说展示层,确实有相当大的被AI大范围冲击的可能性,

但AI目前看起来,增量市场是非常大的,我也非常认同之前传播领域小伙伴说的,我们在传统行业中,一定有巨量的AI转型需求,我讲一下我的观察,为什么AI在程序员领域会工作的相当好,因为这个领域天生就有完整的闭环反馈,所以能轻易获取到比较好的语料和训练的信号,而它对模型通用智力的提升,主要体现在推理能力上,这种推理能力本质是教会了他思考,因此其实具备泛化到其他行业的基础,我的分享就这么多,谢谢老厉害,祝你工作顺利,事事顺心,

【归属待确认，未计入正文】对提效比例的解释无法仅凭转录确定是原信还是博主补充，另列保留。
这个指的是使用和没使用AI,它的效率提升的比例,
