英诺合伙人王晟:投资大模型靠“信仰”,现在挤爆的项目,曾无人问津

英诺合伙人王晟:投资大模型靠“信仰”,现在挤爆的项目,曾无人问津

《AI未来指北》栏目由腾讯新闻推出,邀约全球业内专家、创业者、投资人,探讨AI领域的技术发展、商业模式、应用场景、及治理挑战。

文 / 腾讯科技 周小燕

ChatGPT的出现,像极了2007年iPhone出世的时刻:由于基础设施不够成熟,人们很难想象未来的应用产品画像 。但曾经iPhone掀起移动互联网创业浪潮的经历,让如今的投资人和创业者蓄势待发,时刻为新的“iPhone时刻”的到来做准备。

从2020年GPT-3出现开始,英诺天使基金合伙人王晟就一直关注生成式预训练模型的机会,在期间做了很多相关的思考和探索,他将新一代AI的投资自下而上分为三个层次:AI Infra、大模型和应用。

AI Infra板块主要看国产替代的机会,比如无损网络、算力和软件及生态机会;

大模型板块包括语言大模型LLM,多模态大模型如图像生成式AI、视频生成式AI等,垂类域比如AI for Science & AI for Industry;

应用端板块主要分为AI改造旧场景以及AI创造新场景的机会。

他认为,当下算力、模型训练框架层面还存在需要补足的地方,我们正处于完善AI训练和运行(推理)所需的基础设施的阶段,应用端还没有太好的投资标的。可以一边搭建基础设施,一边等待新的应用机会和商业模式出现。

在大模型板块上,王晟认为“AI for Science”的想象空间非常大,在诸如航空航天、军舰甚至建筑和半导体设计方面,AI可能可以替代顶级科学家的计算和求解能力。

核心观点:

  • 1小模型的核心问题是无法泛化,它太“愚蠢”了,现在鼓吹小模型的无非是2个点:第一,大模型贵,但这是成本问题,后续通过工业化、规模化方式可以解决这一点,核心还是如何满足用户需求;第二,在有的场景里面,我们可能无法使用大模型,诸如对实时性要求较高、或者功能单一的IoT设备,比如:智能摄像头、智能降噪耳机,在这些板块小模型确实有一定需求,但主流的范式不会是小模型。
  • 2在移动互联网的创新涌现之前,各行业也都是原先业务的“大家伙”做一个迁移、换个流量入口而已。在AI时代也是,先是底层的Infra完善、工具链完善、开发环境完善,然后涌现创业者,再做业务移植。如果只依靠移植,不会产生什么真正的投资或创业机会,只有等“移植”阶段过去,才会真正进入到模式创新的时代。
  • 3现在处于AI Infra时代,传统业务正逐渐迁移到AI中,在这个时代可能没有太好的应用端投资标的,主要的投资机会还是在基础设施上。基础设施投资是一个长期的过程,但最重要的窗口是在当下这个时代,后面的投资窗口可能会迁移到比如商业模式创新的板块了。
  • 4“AI for Science”板块非常值得关注,这个板块最重要的是“科学计算”,但主要是微软和DeepMind在做,创业公司可能没什么机会。比如设计一个大飞机,需要很多空气动力学上的研究,目前都是需要依靠极其顶级的科学家来设计和求解、论证。如果AI来做这件事情,它就能解决很多问题,包括航空航天、军舰甚至建筑和半导体设计。
  • 5大模型+自动驾驶面临的挑战非常大,最大的问题是它对错误的容忍度太低。ChatGPT胡说几句话无所谓,但用在自动驾驶上,哪怕是百分之一或万分一的错误,都可能会出现很大的安全问题。

英诺天使基金合伙人 王晟

以下为访谈内容整理:

腾讯科技:这半年因为AIGC领域的关注度较高,一级市场的投资氛围也很“卷”,大家都在寻找各种投资机会,投资人群体在这段时间的心态是怎么样的?

王晟:绝大部分投资人是比较焦虑的,但也不完全是因为大模型,现在整个经济环境和投融资环境都比较令人焦虑。整个金融市场环境不利于资金流动,而较差的资金流动性不利于项目退出,从而形成一个不好的循环:没有退出就会影响募资,影响募资就会影响投资。

在投资人群体里面,相比较于人民币基金,美元基金投资人会更“冲动”一些。在过去,由于政策的原因,新能源或硬科技创业团队不太敢要美元的钱,但AI对美元VC而言是一个很好的投资窗口,毕竟传统的人民币基金很难承受AI创业公司的长周期投资要求。

腾讯科技:在这波热潮里,英诺基金的投资心态是怎样的?

王晟:我们比较淡定,因为我们在大模型领域已经深耕很长时间了。去年6月份,我们投资了预训练模型技术服务商深言科技,它的主要目标是用NLP技术,尤其是大模型(LLM)技术,全流程服务信息处理。

如果追溯到更久,实际上在前年(2021年)下半年,我们内部就非常确定,未来是大模型的世界,小模型的机会不多。

当然,关于大模型和小模型谁更有机会,目前依旧存在争议。在一些对安全性要求比较高的特定场景里,比如政府、企业等组织确实需要部署一些私有模型,但这并不代表整体市场的发展方向。我认为未来的主流方向在大模型,没有小模型的世界。大模型像云服务一样,它是新一代互联网业务的基础设施。

本来我们预估这两年大模型的投资热度会缓慢升温,但Open AI突然发布ChatGPT,一下子点燃了这个赛道,突然涌现出很多大模型团队,我们刚开始看这个赛道的时候根本不存在这些团队。

腾讯科技:你们前年就发现大模型是趋势,小模型没什么机会,当时经历了哪些实验得出这个结论?

王晟:小模型的核心问题是无法泛化,它太“愚蠢”了,比如今天小模型能认出农夫山泉,明天把农夫山泉瓶子换成蓝色的,它可能就不认识了。现在鼓吹小模型的无非是2个点:

第一,大模型贵,但这是成本问题,后续通过工业化、规模化方式可以解决这一点,核心还是如何满足用户需求。

第二,在有的场景里面,我们可能无法使用大模型,比如对安全性要求比较高,或者功能单一的IoT设备,如智能摄像头、智能降噪耳机,它对实时性要求太高,大模型跑不进去。从这个角度来看,小模型确实有一定需求,但主流的范式不会是小模型。

大模型会成为主流,其中语言大模型是人工智能皇冠上的明珠,毕竟人类的知识大部分以语言文字的方式承载,维特根斯坦讲人类语言的边界就是我们思维的边界。除了语言大模型之外,我们也非常关注其他模态的AI大模型,比如:图像、视频、3D等等。

2020年,Open AI发布GPT-3,我们初步预测生成式预训练语言模型是未来的方向;

2021年4月底,Open AI发布DALL-E模型之后,文生图的模型更加趋向成熟,整个科研界都觉得这个路子是对的,它创建了CLIP+Diffusion的技术范式,接下来Stable Diffusion、Midjourney都顺着这个技术路径走,它比过去GAN、VAE“文生图”模型更容易泛化,所以从2021年下半年开始,我们非常关注文生图大模型范式;

2021年其实还涌现出很多其它多模态相关的AI技术,除了文生图的CLIP+Diffusion,还有谷歌发布的NeRF,这是一种基于神经场的渲染技术,可以用来生成视频流或者重构成3D Mesh。谷歌也利用NeRF技术重构了旧金山市。

从2021年下半年开始,大模型被我们定义为一个很重要的投资方向,我们顺着这个方向寻找项目。但是,我们也遇到了很大的挑战:真正投入做大模型的比如IDEA研究院、华为、百度,是我们投资不进去的;而市场上又找不到能做大模型的团队,所以有劲儿没处使。

腾讯科技:但你们去年就投资了深言科技,当时你们是通过什么方法找到他们的?

王晟:英诺在清华大学计算机系设立了一个奖学金,2021年岂凡超拿了这项奖学金的第一名,我们也开始关注到他们团队做的事情,正好符合我们想要的项目的标准,就投资进去了。

2021年在多模态方向,我们接触过多个文生图的团队,但是我们一直没有出手投资,主要是没看清商业化的转换路径。在文生图领域,我们非常关注可控性问题:

首先,模型能不能被很好地控制?包括一些精确的布局控制,比如我想要生成一张图,需要中间有一张桌子,旁边站着一个人,以及很多主体的排布和控制等,模型能不能精准地实现和控制需求非常关键;

其次,模型的持续性很重要,它又叫做“概念定义”,比如第一次要求机器画出钢铁侠,第二次还是要画钢铁侠,机器能不能把“钢铁侠”的概念定义出来很关键,还有二次创作(Inpainting)的问题,比如第一次画的不尽如意,还需要基础上修改一下。

在那段时间,我们看了很多项目,但他们也很难解决这两个问题。

到2023年2月,这几个问题都被ControlNet解决了,它的出现是里程碑式的模块,整个文生图的可控性被大大提高。

腾讯科技:ControlNet出现确实大大提升整个文生图领域的生产力,但国内的项目怎么和Midhourney这些进入中国的明星工具竞争?

王晟:对,我们确实又面临下一个问题:能不能投?怎么去投?Midjourney的竞争力很强,Stable Diffusion开源又免费。此外,很多创业者可能也没有勇气做这个方向了,很多项目无非是拿Stable Diffusion结合某个行业做个工具链,很少有人会训练一个通用的文生图模型。即便有的项目做,他们的估值太高,不适合早期机构投资。

腾讯科技:大模型比较贵,估值也很高,所以也有一些投资人看一些有稀缺数据的垂直模型,你认为这个细分赛道有哪些场景和机会?

王晟:很多人强调大模型拿到的是通用知识,它没有私有数据,但我认为这完全不重要。

第一,垂直模型拿到的知识,大模型都能拿到,没有多少东西是某个个体纯碎私有、别人没有的,无非是大家解决问题的先后顺序不同。

第二,大模型拥有了足够知识后,很多细小的知识都不被需要了,Open AI内部人曾经提过,他们在训练GPT-4的时候,特意留下很多空白的知识域(Knowledge Domain),但在测验的时候发现即便是没有被投喂数据的领域的知识,GPT-4也能知道。人类的知识相关性太强了,GPT-4完全不需要数据投喂也能学会这些知识,所以指望那点稀有数据形成核心竞争力比较难。

腾讯科技垂直模型不值得投入,那么大模型应该怎么投?这一轮的大模型蛋糕是不是已经被分完了?如果现在想要入场,AIGC领域还有哪些投资和创业机会?

王晟:任何一个新的产业技术范式诞生之后,都会存在一个发展周期,比如“iPhone时刻”的到来有很多技术积累,芯片的集成度和算力、触摸屏、4G/5G通信等。

iPhone第一天出现的时候,用户也很难理解它到底能做多少事,所以2007年iPhone出现,但2011年微信才出现,2012年才有了滴滴,2015年才有了拼多多,2016年才出现抖音。从2007年到2016年,中间整整隔了10年。

现在“AI时刻”也要到来了,它代表了一种新的技术范式,但它在初期阶段能做的事情并不多。消费者的使用门槛高、基础设施不够完善、用户对它的理解也差很多。可能技术范式的创新会让AI Infra先起步,比如芯片的成本变得更低、开发工具更完善、终端保有量足够多的时候,AI会迸发出更多的机会点。

在AI发展的第一个阶段,由于大家的想象力还很有限,能做的事情可能是把旧的行业全移植一遍。

腾讯科技但光依靠“移植”或“迁移”,现有移动互联网的各细分行业的格局很难被改变。

王晟:在移动互联网的创新涌现之前,各行业也都是原先业务的“大家伙”做一个迁移、换个流量入口而已。在AI时代也是,先是底层的Infra完善、工具链完善、开发环境完善,然后涌现创业者,再做业务移植。

其实,如果只依靠移植,这个时代不会产生什么真正的投资或创业机会,只有等“移植”阶段过去,才会真正进入到模式创新的时代,它创造了新的用户需求,但这是我们还看不到的东西,还需要时间、需要未来的创业者去创造。

当这个周期过去,就会进入到“内卷”阶段,就像移动互联网发展到2017年就已经进入尾声了,它很难产生真正的创新,也不会有新的商业模式出现了,大家都去卷内容,比如卷短视频、卷直播、卷带货。

我们现在处于AI Infra时代,处于传统业务逐渐迁移到AI的过程中,在这个时代可能没有太好的投资标的,这3年我们会继续投资基础设施。当然,基础设施投资是一个长期的过程,但最重要的窗口是在当下这个时代,后面的投资窗口可能会迁移到比如商业模式创新的板块了。

腾讯科技:除了AI Infra,在模型层以及应用层你们打算怎么布局?

王晟:在AI Infra板块,硬件上我们投无损网络、高速度光通信,包括存算一体、Chiplet等,我们也投资了光芯片和量子方向。近期,我们刚投资了一家AI Chiplet供应商“原粒半导体”,它可以通过提高能效、降低成本的方式为多模态大模型提供算力支持。

再更上一层,我们也在关注 MLOps、AI开发框架、AI编译器等方向。

再往上的大模型层面,我们除了会看语言大模型,也看多模态的大模型和垂类知识域的机会:

语言大模型板块我们投资了深言科技;

在多模态板块,我们投资了3D扫描重建技术企业KIRI Innovation(麒砺创新),目前他们在做3D的人工智能的生成式模型,直接text to 3D;我们还投资了做虚拟人动作行为的大模型中科深智,属于text to motion,它是端到端生成式AI虚拟人技术的公司,能有效改进游戏角色过于依赖动作库和表情库的现状,依赖“库”的模式会导致角色表现力欠缺变化、显得僵化的问题。

CV领域过去有非常多的小模型公司,4月份我们看到Meta的SAM模型展现出非常强的泛化能力,我们也在观察真正的CV大模型的投资机会。

图像、视频生成领域,由于SD开源、MJ和Runway都非常强大,我们看到的情况是国内大量的创业者在基于SD做应用,而不是自研模型和这几家硬刚。我们非常期待国内出现有勇气、有实力的创业团队。

大模型的另外一个投资方向是AI for Science,这是一个比较早期且富有争议的领域,创业和投资的认知门槛非常高。

AI for Science板块分三个范式:科学计算大模型、垂类域知识大模型和垂类域生成式AI。

其中,科学计算是最底层的范式,它可以利用AI帮助科学家做计算,从逻辑上看它能解决一切科研问题,但主要是微软和DeepMind在做,创业公司可能没什么机会。比如我们要设计一个大飞机,需要很多空气动力学上的研究,目前都是需要依靠极其顶级的科学家来设计和求解、论证。如果AI来做这件事情,它就能解决很多问题,包括航空航天、军舰甚至建筑和半导体设计。

第二个范式是垂类领域知识大模型,这也是我们目前最关注、马上会做投资的范式,它以LLM大语言模型为底座,加上大量的科学Paper和相关实验数据进行训练,期望以此涌现出类似ChatGPT和GPT-4的思维链和推理能力,甚至具备一定程度的theory of mind(心智)能力。

第三个范式是垂类域生成式AI,相比较于前两个范式,尽管它跑得更早一些,但其发展程度并没有比前两个范式更成熟,它通过学习大量关于分子结构知识和数据,来实现对DNA结构、分子结构的推测,同时做一些分子之间的力的分析和推测。它可以应用于制药、蛋白质合成,尤其在大分子生物相关的应用上的机会更多。但它面临的争议也比较大,尽管它所展现出的效率较高,能比人更快地推测出新结构,但没有经过实验证明其有效性。

不论是哪个范式,AI for Science从理论上来说可以解决一切科学领域的问题,比如和人类生活息息相关的可再生能源问题、气候问题等,但整个AI for Science最重要的应用方向有两个:医疗制药和材料领域,因为这两个领域的赚钱能力最强。

腾讯科技:这些方向还是聚焦在模型层面,但现阶段大家其实更关心应用层面的机会,英诺从2020年就观察AIGC的机会,现阶段应用层有哪些想象力?

王晟:在应用方面非常难投。

我们不太想假设这件事,我认为现在还没有到应用创新的阶段,没有人能假设全新的场景,只有创业者做出来了,投资人才能看到,我们需要等待。

AI对传统行业改造其实也不是创业者的“菜”,就算有人能做,这个人肯定在传统领域极其有影响力,或者说特别懂这个行业、有非常强的资源,这些可能是非常特殊的领域。在其它领域,比如办公场景,比如做智能PPT,只能微软去做;做智能家居、建筑设计,只能AutoDesk去做,对创业者而言这些没有太大意义。

腾讯科技:即便对很多试图用AI改造传统行业的公司而言,内部还需要打通各种数据,也是一个非常艰难的过程。

王晟:对,非常难,可能需要很大的耐心去等待。

腾讯科技:你曾说AI3.0时代是“具身智能”的时代,可以用大模型驱动人形机器人,而自动驾驶和人形机器人的很多能力都是打通的,你认为大模型+自动驾驶算不算一个接地气的应用层面的机会?

王晟:大模型+自动驾驶面临的挑战非常大,我觉得最大的问题是它对错误的容忍度太低。ChatGPT胡说几句话无所谓,但用在自动驾驶上,哪怕是百分之一或万分一的错误,都可能会出现很大的安全问题。

我们可能没办法说这次AI的突破一定能使自动驾驶落地,但将智能座舱引入大模型肯定能提升用户体验,当然也会增加用户使用车的成本。

此外,我觉得会对整个自动驾驶产业有比较大的带动,比如在车里的算力要给到多少才够?这些算力由英伟达提供,还是由专门的车规级AI推理芯片来提供?

腾讯科技:这本质上是不是因为大模型擅长解决公共属性的问题,但很难解决自动驾驶一些很特殊的corner case(边角场景)?

王晟:大模型也许不一定能有效识别这些corner case,但是大模型的智能水平会大幅度上升,即便它无法识别也可能有办法处理。比如,我们在路上驾驶撞到了一个你从来没见过的物体,人类驾驶员是知道如何处理这些情况的,大模型即便无法识别,但它有较高的智能水平,也许也能处理这些情况。

腾讯科技:如果一直坚持训练大模型识别各种各样的corner case,也许它能无限逼近人类驾驶员的智力和识别水平?

王晟:对,我们不要低估未来,可能是我一个科技乐观主义,我相信技术进步能解决很多问题。很多人比较容易高估短期趋势,大幅度低估长期趋势,包括大模型的投资热潮也一样,很多公司估值高的投不进去,其实这是对短期高度乐观,并不理性。

腾讯科技:你曾经说做大模型的清华系创业者里面,最能打的是王小川和深言科技,他们的壁垒主要存在哪些方面?

王晟:核心还是看团队,最重要的是团队的“信仰”,大家都看到了大模型,有的人信AGI,有的人不信。比如Transformer是谷歌做出来的,但是谷歌没有那么大的信仰,他们一会儿说Encoder不错,一会儿说Decoder也不错,一会儿又做一个encoder+decoder 的 T5出来,但只有Open AI孤注一掷往GPT方向探索。

我们投资了深言科技后,马上安排深言做下一轮融资,带他们见了几十家机构,但没有一家肯投。后来拉着红杉的投资人和岂凡超一起吃了一顿牛肉火锅,吃完后红杉就答应投资。现在,又有太多投资机构想要挤进去,所以信和不信造成的结果差异还是很大的。

包括现在投资AI for Science也需要信仰,没有人确定AI能不能涌现出科研能力,我们也判断不了AI能在什么时间点、涌现出多大能力、解决多大问题,但我们“信”就行了。我们跟很多科学家都聊过AI for Science,有的科学家很兴奋,有的认为啥也不是,在这种情况下即便你懂,也无从判断。

关于谁能把这件事情做成,也要看投资人自己信不信,我们可以找很多理由,比如说做成大模型需要过去有经验,因为这里面要面临的挑战有很多,比如数据、工程化、算法、分布式训练等等,在这方面深言科技是有很大优势的。

如果认为做成大模型需要具备很强的融资能力,那么王慧文可能更好;如果认为科研和科学家更重要,那么就应该投唐杰老师;如果你认为做工程更重要,那可以投资周伯文。

所以核心还是要看你相信什么,有时候不是因为你真的相信,只不过是因为你想让自己相信。

腾讯科技:所以投谁或者不投谁,可能也要看“气场”契合与否。

王晟:对,我们去年投了深言科技,今年我们也把市场上相关的项目也谈了一遍,谈完之后反而强化了我们持续不断加持深言科技的信心。因为过去投资了深言科技,你会很清楚他们的能力在哪里,会强化你的信仰。

但是对于新入场的人来说,他们没有站队,就会觉得企业家更重要,可能去投资王慧文或王小川。总的来说,这没有核心的标准,每家都有自己的理由。

腾讯科技:你和王小川、王慧文都聊过吗,为什么没有投资他们?

王晟:主要是他们太贵了,对早期基金来说,5亿美金或10亿美金的投资额太贵了。

腾讯科技:英诺有几个投资人看AIGC领域?

王晟:我们有一个AIGC小组,组里就3个投资人,但我们要求每个赛道的投资人都要理解AI,因为AI会改变所有行业。不论你看的是材料方向,还是生命科技,或是芯片、半导体方向,所有人都要把AI思考进去。

腾讯科技:你们什么时候设立这个小组的?

王晟:前年(2021年),这个小组主要由我来负责。

腾讯科技:这个小组的运转方式是怎样的?

王晟:我们不强调KPI,主要靠大家的自驱力,投资人们基本都在没日没夜地看项目,我们对投资人的要求是,首先要热爱这个行业;其次要专业,这样才能找到好项目;第三就要看投资成绩,短期来看,如果投资到好的项目,项目增长很快,投资人也有很大的满足感,长期来看,好项目最终产生的收益也会给大家一个很好的分配激励机制。

腾讯科技:你们的AIGC小组现在投资了多少个项目?单笔投资大约是什么样的体量?

王晟:在这一波大模型和生成式AI投资中,英诺算是接触项目数量最多和质量最高的机构之一,但真正的好项目非常稀缺,我们投资的数量一只手就能数过来。投资数量的多少,也和各家基金的策略不同有关系。

我们希望每一个项目都投得精准,比如有的项目我们都看过,我们没投,但是红杉资本投了。不是我们比他们更严格,而是他们的基金体量更大,有种子、VC、成长,甚至有二级市场业务板块,他们更怕“错过”,我们更怕“投错”,可能我们也会因此错过一些项目。

我们有两类基金,一类是面向过去传统的天使类型的投资,单笔大概会投资一千万,现在也有一些早期项目变得很贵,所以我们又做了一个体量更大的基金,单笔投资两三千万左右。