Lepton AI:为 AI 时代构建新基建

原文标题:从AI高管到犀利CEO,贾扬清创业这一年:我们的目标是做AI时代的“第一朵云”

原文作者:AI前线

冷月清谈:

Lepton AI联合创始人兼 CEO 贾扬清认为当前人工智能对计算的需求,推动了高性能 AI 计算、异构计算及现代云原生软件的结合。他表示,在 AI infra 层,Lepton AI 提供快速、便宜和优质的服务,包括高性能大语言模型推理引擎,用于图片、视频生成;建立一个多云平台,整合各种云资源供应链,让用户找到性价比最高的 GPU 资源;提供很好的稳定性和运维服务,保障用户体验。

怜星夜思:

1、国内外的 AI 市场存在哪些差异?
2、大模型开源化是否会影响商业模式?
3、对于初创公司来说,如何应对激烈的市场竞争?

原文内容

出品|InfoQ 《大模型领航者》

访谈主持|霍太稳,极客邦科技创始人兼 CEO

访谈嘉宾|贾扬清,Lepton AI 联合创始人兼 CEO

作者|褚杏娟

“我们的目标是在未来几年里,成为 AI Cloud 领域的领导者,就像最初的 AWS、Azure、Google Cloud、阿里云,以及 Data Cloud 领域的 Databricks 和 Snowflake。”这是在离开阿里创业一年多后,贾扬清现阶段的目标。

虽然贾扬清此前否认了这次创业是因为大模型,但他承认,ChatGPT 的问世,让 AI 成为一种更新、更大,且在某种程度上更加基础的计算方式,而这也是他看中的机会。

“当前人工智能对计算的需求,推动了高性能 AI 计算、异构计算及现代云原生软件的结合。”这是贾扬清选择创业赛道的逻辑。在他看来,新的平台需要有 GPU 高性能计算能力,也需要很强的云服务,而这些都是贾扬清团队擅长的事情。

贾扬清的经历带有明显的云和 AI 印记:自己创建过深度学习框架,又曾负责过阿里云计算平台。而和他一起创业的李响是 Kubernetes 底层核心数据库 etcd 的创始人,白俊杰是神经网络标准 ONNX 创始人,并在阿里领导过全栈 AI 工程团队。

“在这个领域,我们最大的优势是‘见过猪跑和养过猪’。”贾扬清说道。

创业的杀手锏
 “Lepton AI 是一个颇具意义的名字。”  

贾扬清选择创业的时间,正好处于大模型逐渐标准化、但人才相对不足的节点。

在贾扬清看来,大模型会走与数据库相似的路:标准化的底层 SQL 执行不再需要用户自己优化了,同时数据库 SQL 之上会创建各种 BI 工具。对应的,随着大模型逐渐将形态收敛到几个相对确定的设计模式上,像 Llama、Mixtral、DeepSeek,系统性优化不再像之前那样困难。同样,这个领域也会出现更偏应用的 AI 中间件。

但与成熟的数据库路径不同的是,当下 AI 领域可能过早地将编程模式标准化了。毕竟一些概念现在不确定、也没共识,讨论如何为实现这些算法进行抽象显得操之过急。

贾扬清以观察到的 Lang Chain 为例说明了这个问题。用户在实验阶段非常喜欢用 Lang Chain,但做定制化功能时就会自己去写代码,因为 Lang Chain 的设计有时过于固化,而自己写代码涉及的 prompt cash 等并不复杂。这意味着,AI 中间件的产品在早期获得关注度以后,还需要进一步随着需求进化。

回到 AI infra 赛道里,贾扬清把 Lepton AI 定义为一个既小巧又敏捷的公司,运作方式上也更偏“硅谷风”:跟硅谷的许多创业公司一样,团队规模不大。目前,Lepton AI 不到 20 人,主要由工程师和产品经理组成。

创业初期,贾扬清几个创始人见投资人时,PPT 上还没有具体的公司名字,而是写着“new company”,贾扬清笑道,“感觉我们似乎不够认真”。于是他们决定取一个与 AI 相关的名字,但那时与 AI 相关的名字早都被注册了,所以他们开始想其他可用且听起来比较专业、有科学范儿的名字。

“Lepton”本意是物理学中的轻子,一种基本粒子。电子是一种轻子,中微子是一种轻子。“这体现了我们想要做的事情:首先是为 AI 时代构建新的基础设施,比如吴恩达教授说过,AI is the new electricity;其次是以一种轻量级、用户友好且成本低廉的方式构建。”贾扬清还直接道,“另外,lepton.ai 的域名也正好没有注册,所以我们就把它买下来了。”

“我们与大模型公司在一定程度上是互补的。”Lepton AI 没有训练自己的大模型,而是提供大模型训练、部署和应用时所需的基础设施。贾扬清团队要解决 AI infra 层的三个核心问题:快速、便宜和优质。

具体来说,提供高性能的大语言模型推理引擎,用于图片、视频生成;其次,为了实现成本效益,建立一个多云平台,整合各种云资源供应链,让用户找到性价比最高的 GPU 资源;同时,解决平台上不同云之间迁移和抽象化的成本问题,让用户可以自由交互开发;最后,提供很好的稳定性和运维服务,保障用户体验。

从技术层面如何实现呢?贾扬清表示团队没用什么“黑科技”,而是将很多大家耳熟能详的单点技术结合起来,从而显著降低成本。例如,大模型处理服务收到大量请求时的动态批处理(Dynamic Batch)、用小模型预测数个 token 的预测解码等。如何实现这些单点技术,并有机地将它们组合起来,找到速度和成本之间的平衡,是工作中的难点。

而在 AI 加速这件事上,贾扬清说道,“我比 10 年前更加乐观。”

实际上,硬件和软件之间的开发周期很难对齐,加上模型的多样性,专有硬件的可编程性通常比通用硬件要差,因此专用硬件很难全面支持各种模型创新的需求。而随着大语言模型架构开始标准化,异构芯片迎来新的机遇,这个市场也被激活:最大玩家英伟达布局 GPU;AMD 推出了与 CUDA 兼容的加速器;Grok 发布新的 AI 处理器 LPU 来挑战 GPU……

当前企业进行大量模型训练时通常有两种选择:一是自己组建一个至少 10 人的基础设施团队;二是选择 AI 云服务提供商,如 Lepton AI。

贾扬清算了这样一笔账:招聘人员并建立内部架构需要时间,而训练任务涉及许多复杂问题,比如网络中断、GPU 故障或存储速度不足等,算法工程师可能都没有处理这些问题的经验,并且这也不是他们的主要职责。这种情况下,选择与厂商合作既可以节省人力成本,用户也能根据自己的需求直接选择不同的底层资源。

“很多用户都在速度和成本之间寻求平衡,而我们可以帮助他们找到这个平衡点。”贾扬清说道。

怎么讲好故事
“我们没有在这些产品上施加营收压力,可以专注提供卓越的用户体验。”  

很多人觉得做 AI infra 没有做大模型性感,贾扬清这群人却义无反顾投入到了这件“无聊但至关重要”的事情上。只是,做 infra 是很难向用户讲好故事的。

贾扬清也深知这一点,“如果跟客户说我们是一家 AI 基础设施公司,他们可能不太了解具体是什么。”

为了更好地讲清楚自己在做的事情,贾扬清和团队亲自下场了。

去年春节,贾扬清和公司前端负责人开发了一个浏览器插件 Elmo Chat,可以为用户迅速总结浏览网页的主要内容。今年 1 月,贾扬清团队用 500 行 Python 代码实现了一个大模型加持的对话式搜索引擎 Lepton Search,甚至还引起了一场与 Perplexity 创始人的“口水战”。

这些都是 Lepton AI 了解市场和用户、做品牌建设的方式,同时也让团队更加了解了端到端构建应用时的效率问题和核心痛点。

“通过这些产品,我们可以展示自己在开源模型上能做的事情,以及 Lepton 平台帮助用户构建应用的能力。”贾扬清说道。团队希望通过这些产品或 demo 可以在用户中形成好的口碑,当有人需要部署大模型时就会想到 Lepton AI。

而对 Lepton AI 来说,构建这些产品的成本非常低,并且从品牌建设和做真正实用的产品角度看,这是非常高效的方式。

在推向市场的过程中,贾扬清主要关注产品质量,他会同工程师和产品经理团队直接面向客户,更好地打磨产品。

目前,Lepton AI 整个团队主要在海外,所以目标客户主要为海外企业和国内想要拓展海外市场的企业。得益于云架构的成熟和标准化,Lepton AI 支持在全球范围内部署,与各个云服务无缝衔接的同时,还能很好地利用全球的计算资源。

产品驱动增长的策略也让 Lepton AI 主动放弃了一些潜在客户,特别是需要大量定制化服务的客户。“B 端的部分客户会希望提供商有更多人力投入到自己的项目中,但我们根据目前的成长阶段,会优先考虑与自己产品契合的客户。这是一种主动的选择,我们没有选择那些需要大量人力投入的业务和客户。”贾扬清说道。

不过贾扬清透露,Lepton AI 目前的客户数量和整体营收都处于非常健康的增长状态,他对此也比较满意,“这验证了我们之前的想法和产品在用户中的接受度。”

最近,贾扬清团队发布了基于 Lepton 平台的云 GPU 解决方案 FastGPU,主打经济高效和可靠,“限时以每小时 0.65 美元的价格提供 RTX 4090 GPU”。发布后就有人给贾扬清留言:缺货。

一个更好的 CEO
“还在学习做一个更优秀的 CEO。”  

创业期间,贾扬清越来越乐于向公众表达自己的态度,或者也可以说释放自己的个性。

“在阿里时,同事对我的评价就是直率。技术领域通常没有太多花哨的技巧。因此,我倾向于以事实驱动的方式来表达观点,但这样可能会显得比较直接。”贾扬清说道,“毕竟我们现在还是一家小公司,会更加无所顾忌一些。”

他不认为这种直率的表达有什么不好。“在大公司,我们不想给人一种过于冲动或折腾的形象。但在小公司,直白地表达有时并不是坏事,甚至有时为了吸引注意也是必要的。”

就像他会承认说“所有基准测试都是错的”这样的话比较激进和吸引注意,但实际上这是他对榜单变成市场宣传工具的不满。“我更希望榜单成为一个所谓的入门资格认证,而不是奥运会金牌。”

虽然顶着各种光环,但创业初期也难免会被质疑。

有人会怀疑小公司的服务是否可靠和稳定。贾扬清分享了个小案例,有客户使用 Lepton 提供的推理服务,推理服务流量下降时系统发出了警报,团队检查后发现是客户侧代码的问题,提醒客户后他们非常满意。对于创业团队来说,“行不行”得看实际表现。

任何人的创业都不是一帆风顺的,贾扬清逐渐学会了在各种不确定过程中,做出一些重大决策。

就像在去年下半年全球 GPU 供应非常紧张,公司面临的选择是:要么囤积 GPU 进行交易,要么利用这段时间专注提高产品的成熟度来支持现有客户,并寻找那些拥有 GPU 资源但需要更高效平台和引擎的客户。

贾扬清选择了后者,而随着 GPU 供应情况的好转,也证明了他当时的判断是正确的。但事后看来,这仍然是一个相对冒险的选择,如果市场持续是卖方市场,公司就会陷入困境。

“作为一个创业公司,我们经常面临不确定性,还要在当时做出决策。一方面,我们需要不断观察市场,另一方面则要坚决执行决策,这也是提升我们自身效率的关键点。”贾扬清说道。

在一次次决策的制定中,贾扬清正在逐渐适应并把自己 CEO 的角色扮演得很好。

多样的硅谷、同质的国内
“人们总是能找到证明自己是第一的方法。”  

国外创业一年多,贾扬清也亲身经历了硅谷对大模型的狂热。“硅谷现在竞争依然激烈。”贾扬清说道。

根据贾扬清观察,硅谷的企业和研究者现在主要关注两件事情:

一是如何实现产品的实际落地。尽管许多演示案例还停留在卖概念的阶段,但现在整个供应链已经非常充足,接下来的关键就是如何让技术真正被用户采用,尤其企业服务领域还有很长的路要走。

二是对基础模型的研究。越来越多的人开始思考 Transformer 和 Scaling Law 的边界在哪里。GPT-5 尚未发布,大家不确定 Transformer 架构的天花板是否到来,但已经有人探索 Transformer 之外的路径和方法,如 RWKV(Receptance Weighted Key Value)和 Mamba。同时,也有许多人尝试通过数据工程和强化学习等手段,从 Transformer 架构中挖掘更多潜力。

“硅谷的情况我觉得比较有趣。”在贾扬清看来,硅谷的产品更加多元化。“硅谷并没有很多公司做类似 ChatGPT 接口的事情,而是在寻找不同垂直领域的方向。比如做 AI 搜索的 Perplexity,其场景和产品形态就有明显不同。

贾扬清也不掩对 OpenAI 的称赞,“我认为 OpenAI 是一个非常成功的公司,无论是 To C 还是 To B 市场,它在营业数据和用户心智方面都做得非常出色。”据他了解,OpenAI 已经实现了产品市场契合,尽管仍在大量投资研发,但其在产品化方面实际上是盈利的,例如企业服务和 ChatGPT 等。

“这为整个行业带来了信心,表明这不仅仅是一个烧钱的游戏,而是真的能够赚到钱。现在,就要看各家公司是否能够成功走出一条商业化的道路。”贾扬清说道。

国内:好坏参半

对于国内的大模型市场,贾扬清直接指出,“我们可能还处于一个相对追赶的水平。”

“国内的 AI 领域涌现出来很多非常优秀的公司,同时大家也在受到产品同质化的困扰。例如以聊天为中心的产品,用户可能会感到眼花缭乱,因为这些产品看起来太相似了,包括我自己在内,都不知道如何选择,因为它们看起来都差不多,而用户一般也不想一个个去尝试。”

不过,贾扬清也肯定了国内的大模型企业在数据和用户量方面的重要优势。

“在国内,我们有时开玩笑说 100 万用户不算什么,但实际上这已经是一个非常庞大的用户基数了。”贾扬清说道。另外,国内用户也非常愿意尝试新事物,这为企业提供了快速验证产品有效性和市场接受度的机会。

贾扬清对国内的期待是,能有更多的产品经理投入到 AI 领域,思考新的产品形态或研究如何将 AI 更好地嵌入到现有产品形态中。他表示,现在许多应用并非由 AI 专家开发,而是产品经理推动的,而未来产品是否好用会逐渐成为用户采纳的决定性因素。

如今许多技术团队都面临着如何有效应用 AI 技术的问题,即使 ChatGPT 也无法精准解决实际业务问题,因此找到合适的业务场景并不容易,To C 的文生图、聊天机器人等已经成熟,To B 领域却还处于不甚清晰的状态。

对此贾扬清给出的建议是,企业自己的工程师要能轻松使用 AI 技术,同时积极与不同领域的工程师讨论各种概念及 AI 的能力边界。“与其花费大量精力去训练一个更强大的模型,更重要的是培养自己的团队,使他们能够快速理解 AI 的边界,并将这些边界与自身的应用需求有效结合。”

“应用大模型的企业最关心的不是价格,而是 AI 能否真正解决问题。”贾扬清提到,从这个角度看,国内愈演愈烈的大模型价格战意义并不大。不过,大模型价格下降也是趋势。“IT 领域的价格指数级下降是一个持续性的规律,我不认为大模型会是不受限制的一个领域。”

但小公司往往无法承受价格战和补贴战的资金消耗,为此,贾扬清建议小公司去精准支持和服务企业,尤其满足垂直领域的需求,这样也会找到自己独特的发展空间。

国内大模型还面临一个问题,就是常常被质疑套壳。贾扬清认为,一定程度上,使用标准架构或所谓的“套壳”并不是问题,比如大家都使用 AlexNet 或何恺明的 ResNet。他更关注的是,国内开发者如何提高自己的工程实践能力,并与海外开发者和开源社区更紧密地合作。

结合自己之前参与开源社区的经历,贾扬清认为国内大模型社区还需要提高协作等能力。“国内开发者独立工作时表现得都很好,如果能更好地协作,就能创建更大、更健康的开源生态系统和社区。”

实际上在今年 3 月份,贾扬清认为“开源模型能迅速追上闭源模型”。现在他也认同,谷歌和百度等公司的闭源模型某些方面是会领先开源模型的,比如在全网搜索等某些企业本就擅长的领域,还有在超大规模的通用模型领域,因为这样的模型需要强大的资金和人才支持。

尽管如此,贾扬清直言自己更支持开源模型。一方面,开源可以促进更多研究,有助于找到更新、更有用的模型。另一方面,由于具有更好的定制化能力和企业自有知识产权的优势,开源模型有望迅速赶上甚至在某些方面超过闭源模型。他也提到,“有 Meta 这样资金雄厚、专业能力强的公司支持开源社区,是非常幸运的。”

对于 Lepton AI 自身也会从开源中受益的事实,贾扬清也直言不讳:“如果一切都是闭源的,我们就只能支持少数几个闭源公司,市场就不会那么大。我们希望市场能够更加多元化,越多元化越好。从市场经济原理看,竞争能够提升质量。”

结束语

“这一波 AI 浪潮的持续时间超出了我们所有人的预期。”贾扬清说道,“尽管 ChatGPT 会出一些问题,但我现在遇到问题或需要写文案时,还是会先让它帮忙处理。因此,我不认为 AI 行业会出现寒冬。对于一些投入明显超出收益的行为,市场会自我修正。”

在贾扬清看来,未来大模型发展的关键还是要回到商业成功上面。今天,人们已经不再怀疑 AI 是否有用,而是纠结如何让它实际产生商业价值。

但目前,AI 产品和服务还没有真正跨出自己的圈子。“当前 AI 市场,某种程度上是 AI 圈内人在自我消化需求,非 AI 用户消费 AI 服务的量还待起步。”贾扬清表示,未来 AI 技术能够被那些对 AI 一无所知的人以某种方式使用,这是它产生更大商业价值的先决条件。

现在,留给创业公司试错的空间并不多,但留给行业的问题还很多。AI 行业如何更长远地走下去,是包括贾扬清在内的每个参与者需要回答的问题。


栏目介绍

《大模型领航者》是 InfoQ 推出的一档聚焦大模型领域的访谈栏目,通过深度对话大模型典范企业的创始人、技术负责人等,为大家呈现最新、最前沿的行业动态和思考,以便更好地参与到大模型研发和落地之中。我们也希望通过传播大模型领域先进的实践和思想理念,帮助潜在大模型应用者、创业者、开发者等做好各类决策和选型。

如果您有意向报名参与栏目或想了解更多信息,可以联系:T_demo(微信,请注明来意)

活动推荐

贾扬清担任联席主席的 AICon 全球人工智能开发与应用大会将于 8 月 18 日至 19 日在上海举办,汇聚顶尖企业专家,深入端侧AI、大模型训练、安全实践、RAG应用、多模态创新等前沿话题。现在大会已开始正式报名,6 月 30 日前可以享受 8 折优惠,单张门票节省 960 元(原价 4800 元),详情可联系票务经理 13269078023 咨询。

内容推荐
大模型正在推动历史性技术革命,知识触手可及。2024年6月14日至15日,ArchSummit全球架构师峰会在深圳成功举办,我们精选了峰会中聚焦AI大模型技术应用的相关PPT,内容涵盖了华为云AI原生应用引擎的架构与实践、微众银行大模型研发实践以及B站容量管理实践等。关注「AI前线」,回复关键词「大模型落地」免费获取PPT资料。

今日荐文





图片
你也「在看」吗?👇

提高产品质量和服务水平,打造差异化的竞争优势。

国内拥有庞大的用户基数和用户对新事物接受度高这两大优势,但产品同质化和工程师的应用实践能力不足也是国内 AI 市场需要解决的问题。

大模型开源化对小公司的影响可能是积极的,它有助于市场多元化,并为小公司提供了一个公平竞争的环境。

国外的 AI 产品更加多元化,行业巨头专注于基础模型的研究,同时也有不少公司探索 AI 在垂直领域的应用。国内的大模型市场则相对追赶,产品同质化现象比较严重。

与大公司合作,利用他们的资源和渠道。

无论是海外还是国内,AI 技术如何落地和商业化仍是行业面临的共同挑战。找到合适的业务场景、培养团队对 AI 技术的理解和应用能力至关重要。

贾扬清认为,开源模型能迅速追上闭源模型,并享有定制化能力强和受知识产权保护等优势。他更支持开源模型的发展,认为这将促进创新和培育更健康的开源社区。

从长远来看,大模型的发展趋势是商业化,因此开源模型的盈利模式仍需探索。同时,闭源模型在某些特定领域仍会保持优势。