清华大学刘知远:我们的使命就是要把模型装到距离用户最近的地方去

追风

专题:2024世界人工智能大会:以共商促共享 以善治促善智

清华大学刘知远:我们的使命就是要把模型装到距离用户最近的地方去 第1张

  2024世界人工智能大会暨人工智能全球治理高级别会议于7月4日在上海举行。清华大学计算机系长聘副教授、面壁智能首席科学家刘知远出席并演讲。

  刘知远谈到,未来的大模型是云端协同的模式。既要有云上极强的system two大模型,也需要充分的去利用端侧的算力来形成system one大模型。

  他谈到,在端侧上,可以有非常快的毫秒级的响应,每秒可以有40个token的生成能力。也可以在飞行模式下,只利用端侧的算力,完成相关的计算。这也能够充分注重用户的相关的隐私数据,不上网就可以在端侧完成相关的计算,所有的这些都需要依赖端侧模型的支持。而本身mobile ctm已经预装了数十种相关的intent,可以帮助我们一键完成相应的包括机器翻译、人设等等大模型的预设的一些能力。

  在刘知远看来,通过研发这种端侧模型,形成端侧的生态,将会揭开端侧AI的生态序幕。

  我们会看到,端侧既有像智能手机、穿戴设备、聚身智能、智能家居、汽车、PC等非常多样的场景。这些场景的端侧算力其实是远远没有被挖掘的。“我们需要利用端侧的模型来充分的去挖掘在端侧上的应用,我们的使命就是要把模型装到距离用户最近的地方去,”他说。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

取消
微信二维码
微信二维码
支付宝二维码