📱

Get Our Mobile App

Take your business learning on the go!

Download on the App StoreGet it on Google Play

BharatGen Co-founder On India’s Generative AI For Governance, Education And More

NDTV27:25

Transcription

人工智能正在掀起巨浪。印度也在为人工智能做出巨大贡献。我们有自己的“巴拉特·贾恩”。为了向我解释“巴拉特·贾恩”的细节,我请来了加内什·拉玛克里希南教授。他是印度理工学院孟买分校的计算机科学教授,也是“巴拉特·贾恩”人工智能领域的领导者。您好,教授。您好,帕拉维。什么是“巴拉特·贾恩”,为什么印度应该为此感到自豪?

印度应该引以为豪的首要原因是,“巴拉特·贾恩”的整个概念非常具有印度特色。虽然“巴拉特·贾恩”是为了帮助印度创建生态系统而创建的,我再说一遍,是为生成式人工智能创建生态系统,其中包括大型语言模型、生成式语音模型和文档视觉模型。生态系统部分还包括教育、提升和吸引不同群体。一方面是研究人员,在教育机构工作的人;另一方面是让产业界与研究生态系统进行交流,因为它们之间常常存在阻碍。做得好,设计得好,而这个生态系统的种子是在几年前,也就是两年前播下的,这要归功于一群非常有热情的联盟成员,我们称他们为学术联盟成员,遍布七所学术机构:印度理工学院孟买分校,我们当然是领导者,但我们也得到了印度理工学院金奈分校的卡穆科蒂教授的大力支持,他一直是主任;印度理工学院坎普尔分校、海得拉巴三语信息技术研究所、印度理工学院海得拉巴分校、印度理工学院印多尔分校、印度管理学院印多尔分校和印度理工学院曼迪分校。现在,印度管理学院印多尔分校非常不同,对吧?它基本上是一个管理学院。他们一直在努力工作,深入到二线城市、三线城市的图书馆,教育人们,你们拥有数据图书馆,其中确实包含了大量的传统知识,我甚至可以说,是中等知识。但他们不理解数据就是石油。就像今天,尊敬的教育部长德尔门德拉·普拉丹先生说,他以前是石油部长。人们一直告诉他,数据就是石油。现在他是教育部长,他说,是的,现在我看到了数据就是石油。但是,除非你们参与对话,否则人们怎么能理解呢?所以,这个生态系统的发展始于学术机构的联盟,而我们引以为豪的是,这要归功于教育部的支持,感谢科技部的支持,现在,得益于印度人工智能任务的大力支持,它确实已经发展壮大。

“巴拉特·贾恩”究竟是什么?是的。只是为了完成这一点,它已经成为一种“全政府”、“全国家”的方法。这就是为什么我说它是生态系统。我们不仅将人们聚集在一起,还能够寻求政府生态系统的帮助,以及产业生态系统的帮助。现在回到你的具体问题,对吧?它今天是如何构成的?今天,“巴拉特·贾恩”被构成一个非营利性公司,完全由印度政府通过印度理工学院孟买分校拥有。所以,它是一家位于印度理工学院孟买分校的公司,董事长是印度理工学院孟买分校的校长,我也是董事。对吧?但我们也有来自印度人工智能任务的董事代表。

你们开发了大型语言模型吗?是的。我们从构建小型模型开始。为什么是小型模型?因为首先,我们的能力必须得到充分培养,对吧?我们还必须认识到,印度在很大程度上处于一种服务心态。因此,要构建技术,意味着要理解整个堆栈,开发堆栈,当然要与基础设施紧密合作,以便能够在数千个 GPU 上运行,我再说一遍,数千个 GPU,确保效率得到解决,需要工程和研究共同努力。所以我们从小模型开始,事实上,小型模型本身就需要多达 1000 个 GPU。我们构建了一个拥有 29 亿参数的模型,名为“Param”,支持印地语和英语两种语言。来自“Param”超级计算机。

它是受启发的。所以,它是受启发的。这是生态系统的一部分。我们也在与 C-DAC 沟通。C-DAC 也正在加入我们整个生态系统。所以,“Param”之后,我们有了支持 16 种印度语言的 70 亿参数的混合专家模型。现在,我们将通过我们最新的版本覆盖 22 种印度语言,尊敬的部长吉滕德拉·辛格博士也在印度议会上宣布了这一点。所以,我们从第一个字节开始就一直在构建这些模型。我们在 AI-Coch 上将这些模型作为公共产品发布,这是印度自己的存储库,同时也将其发布在 Hugging Face 上供国际观众测试。我们对语音模型、语音到文本模型(基本上称为“Shrutam”)以及文本到语音模型(称为“Suktam”)做了同样的事情。我们还拥有第一个文档视觉语言模型,去年发布的名为“Patram”。所以,所有这些都是从头开始构建的。

它与现有的其他大型语言模型有何不同?正如我开始时所说,第一部分是它们完全植根于印度生态系统。所以,“巴拉特·贾恩”的数据用例,我们合作的所有实体都非常非常地植根于印度生态系统。所以,这是我们的第一个,我想说是 DNA 的组成部分。这是我们的独特卖点。第二个是我们采用的方法。现在,承认中国可能在十年前就播下了这个生态系统的种子,对吧?现在我们正在收获回报。我的意思是,DeepMind 能够更高效地取得如此大的成就,是因为进行了大量的研究。现在,印度语言如何才能得到真正植根于其性质的对待,对吧?我们不想强行套用帕尼尼的观点。但即使从经验上看,如果从泛印度视角来看,音素,让我们从语音开始,如果你看看所有的印度语言,它们在语音上有很多相似之处。绝对正确,它们是整体的。是的,这些音素也很相似。所以,我可能会说,像“Ganesh”这样的名字,与一个泰米尔人说的方式,或者一个阿萨姆人说的方式,可能不会有太大不同。可能会有不同程度的重音,韵律特征可能反映不同,我的意思是持续时间可能不同,但总的来说,有很多相似之处。所以,我们能否在模型构建中使用语音相似性?我们能否实际上也看看词汇相似性?现在,像“Dwar”、“Dwaram”、“Dwar”这样的词,我的意思是,我们现在在印度门。印度门。所以,“Dwar”是通用的。对吧?现在我们可以进入更复杂的“Vidyalaya”或许多“Alay”。对吧?这些印度语言中的许多都有这种“Sandhi”。对吧?有“Prakriti Pratyaya”系统。所以,这是在词级别或词汇级别。它不是相似性。有人可能会说,嗯,我们正在适应很多。我们说更多的英语。印地语句子中会夹杂英语。有人可能会这么说。仍然可以。然后看看句子结构。比如我们说的这句话,“我们站在印度门前”。现在,用泰米尔语、马拉地语说这句话。阿米希印度门 समोर उबा उबाहुत नाव印度门 पक्का निको。现在,词序完全相同。把它翻译成英语。“We are standing in front of India Gate”。印度门在最后。但在其他所有语言中,你看,印度门在中间。对吧?所以,我们的印度语言,粗略地说,我们可以说,我们的印度语言的结构是什么?主语、宾语,对吧?Ram eats mangoes。动词。主语、宾语、动词。现在,如果你看英语,那是什么?完全相反,对吧?它是主语、动词、宾语。Ram eats mangoes。所以,你看到了区别。那么,我们能否像对待印度语言一样对待它们呢?我们已经出版了一本书,我们的对话协调,尊敬的总理先生,我们拜访了他,我们还向他赠送了这本书,尊敬的总理先生提出了一个非常重要的问题,即我们也需要让这项技术印度化。

“巴拉特·贾恩”的经典特征是什么?它是一个功能性的语言模型,就像我们从不同的跨国公司使用的模型一样吗?它与那个非常相似吗?第一点,“巴拉特·贾恩”的运作方式与那些向他人发布模型供其构建的跨国公司非常相似。所以,它就像 ChatGPT 5。现在,区别在于我们不提供服务。比如 ChatGPT 是一个面向消费者的服务。但他们也发布了模型。我们发布了模型,但为了模型的采用,我们与合作伙伴合作。这就是我将要谈到的生态系统。所以,我们与银行合作,与医院合作。我们与许多政府、州政府合作,进行能力建设,对吧?这是其中的一部分。因为我们认为整个 LLM 是一个“玻璃盒子”。再次是一个非常重要的词,“玻璃盒子”。“玻璃盒子”是什么意思?如果一个检查点或模型的成功发布有一个部分,那么失败就有成千上万个部分。什么不起作用与什么起作用一样重要,甚至有时更重要。所以,因为我们有这些见解,当我们合作时,我们能够指导、建议并共同构建。所以,共同设计是另一个我想说的关键词。生态系统意味着你不是为别人设计。我们一起工作。这样,人工智能就能补充银行、金融、法律部门和教育。尊敬的教育部长说,我们能否实际拥有人工智能工具来补充我们的学校,而不是试图取代我们的学校和老师?

那么,这意味着基础模型可以为幼儿园、银行或医院量身定制,是这样吗?然后它将遵循你们已经构建好的所有 22 种语言。是的。所以,银行、医院,所有与我们合作的机构,他们从我们这里获取配方,然后我们——他们理解,他们带来他们的见解、领域知识,我们共同设计模型,共同设计应用程序,有时只是模型,但有时也是应用程序。一个简单的例子,在座的各位都熟悉,就是检索增强生成(RAG),你可能听说过,对吧?那么,正确的检索功能应该是什么?它应该仅仅是余弦相似性,这是通用的,还是应该真正受到领域知识的启发?

为什么“巴拉特·贾恩”不像 ChatGPT 或 Gemini 或 Claude 那样受欢迎?人们从未听说过“巴拉特·贾恩”。是的,谢谢。我想很明显,它会因为像你这样的人而变得受欢迎。谢谢。首先,我非常感谢这个机会。另一个原因是,ChatGPT 或 Gemini,你必须明白,它们的旅程开始得更早。我的意思是,例如,印度人工智能任务去年晚些时候宣布,“巴拉特·贾恩”将构建多达 1 万亿参数的模型,对吧?1 万亿参数是构建大型模型,就像建造一条高速公路,你可以从中提炼出更小的模型。现在,我们已经踏上了这条大型模型之旅,这实际上需要 4000 到 5000 个 GPU 才能开始,更不用说完成构建了,对吧?所以,能力、计算访问,所有这些都在进行中。我的意思是,印度也有自己的工作方式。看,我们正在这样做。我们正在以不同的方式做。所以,因此,我想说我们还很年轻。我们有很多精力。事实上,有时迟到游戏也可以是一种优势。因为我们也在从早期犯下的错误中学习。而且,随着时间的推移,我们必须认识到,我们需要减少对这些模型推理所需的计算量的依赖。在人口规模上,这是不可持续的。所以,还有很多工作要做。我们来得晚,但我肯定会说,这很重要,这具有战略意义,我们非常感激能够投入其中。

这是否也重要,即它是主权的,完全基于在印度控制和印度构建的印度数据集?这是一个重要事实吗?主权是我们的关键,整个堆栈都是主权的。关键在于数据来源,数据来自哪里?这也称为主权。我的意思是,有时在技术术语中称为可观测性。对吧?你应该能够观察和追溯。我们能做的越多,追溯得越多,就越有来源,就越有主权。对吧?因此,主权当然具有民族主义、爱国主义的热情。但它也非常实用。它也是可持续性所必需的,主权。因为这样你就有控制权,你有可见性。正如我所说,它变成了一个玻璃盒子。这使其成为主权的。数据,例如数据。当他说主权时,我们与五个供应商合作。用于语音数据,用于邮政编码级别的数据。我们试图构建一个代理工作流程,我们帮助他们,他们也帮助我们。所以,我们可以相互理解如何进行数据聚合,并附带适当的元数据。因为如果语音中缺少元数据,例如,你现在已经获取了语音数据,而上面没有我的名字,那么怎么知道是谁说的?假设它会转到你的名字上。那么它就无法追踪了,想象一下大规模地这样做。所以,来源在整个堆栈中非常重要。供应商生态系统的能力建设。那就是数据。第二个主权部分是模型。标记化。你如何对待印度语言的语音?这也是主权的一部分。理解你为什么做你正在做的事情。知情的决策是主权的一部分。然后是围绕它的研究。你不能在孤岛中进行研究。中国,我们必须学习这样一个事实,即他们在学术界的研究非常植根于行业需求。当然。印度,我们非常——非常非常感激我们能够到目前为止创建这个生态系统。这就是为什么它也不那么受欢迎,因为生态系统建设需要时间,先生。生态系统建设需要大量的幕后辛勤工作。

GPU 数量的不足是否成为你们扩展的障碍?在某种程度上当然是。但我也想说,印度人工智能任务一直在努力获取尽可能多的 GPU。现在,他们也找到了让经销商加入的方法。我们现在有多少?我的意思是,我可以谈谈“巴拉特·贾恩”。例如,我们已经能够训练拥有 5000 多个 GPU 的模型,对吧?38,000 个 GPU。所以,这是一种跑道,对吧?远超于此。

为什么我们不能制造自己的 GPU?很好的问题。我想从“巴拉特·贾恩”的角度来说,当我们构建模型时,我们理解工作负载。现在,如果这些工作负载能够通过精心设计的系统使用,特别是对于大型模型,比如如果你看看谷歌的 Broadcom 协议,如果我们的工作负载能够进入一个非常好的设计,通过任何实体,我认为我们将非常感激,因为我们不仅为模型构建做出了贡献,也为主权基础设施做出了贡献。我认为在中国和其他许多地方也有类似的安排,即基础设施与开发平台和推理引擎之间有很好的握手。

我们多久能期待“巴拉特·贾恩”像 Gemini、Claude 或 ChatGPT 那样受欢迎?每个人都使用那些。所以,这是一个好问题。对我们来说,共同努力推广它非常重要。对吧?我们显然需要推动我们的模型有多好的前沿。不用说,我们会的。而且我们一直都在这样做。我们在印度影响力峰会期间发布了一些模型。我们将收集我们合作伙伴和人们的所有反馈。但要达到那个水平,首先是广泛的采用。其次,我们也需要人们联合起来。我们只有 60 名全职员工。我们的目标是达到 100 名。我的意思是,我们需要有创业精神的人,说,这对于印度来说是一个机会。有人会说,不会有人做。我们会一起做。所以,这是对所有人的邀请,尤其是对高级领导层,以及拥有 10 到 12 年经验的人,如果他们能来并考虑成为“巴拉特·贾恩”的一部分。

这是否也可能与 B2C 相关?因为“巴拉特·贾恩”主要是 B2B,作为一个非营利实体。但我们也需要大量的 B2C。实际上。

你使用“巴拉特·贾恩”还是使用 ChatGPT 5?使用我们最新的模型,我们一直在广泛使用“巴拉特·贾恩”。我们有模型发布。我们一直在用 22 种印度语言用“巴拉特·贾恩”纠正代码,纠正我们自己的信件。这就是我能说的。所以,期待最新的。

想登录“巴拉特·贾恩”,他们该怎么做?所以,目前,因为它是 B2B,对吧?你必须从 Hugging Face AI-Coch 下载模型,然后按照说明在自己的端上进行设置。它可以在任何笔记本电脑上运行。它可以在任何笔记本电脑上运行。它甚至可以在气隙环境中运行。是的。那是主权的想法。你可以在气隙环境中工作。你不需要连接到互联网。它完全在本地运行。所以,任何人都可以下载并使用它。我们也在与几家合作伙伴合作,看看是否可以缩小模型尺寸,使其也能在 CPU 上运行。还有很多工作要做,使其公开可访问,但重要的是要使这些模型轻量级,拥有可扩展的模型,而不是可扩展的模型。这是一个可扩展的模式。你被授权下载它并在其上设计和开发,这是一个可扩展的模式。

现在很多人说,人工智能总是需要大量的电力。像 ChatGPT 和其他数据中心及其他模型一样,“巴拉特·贾恩”也消耗大量的电力吗?老实说,有两个部分。一个是训练。当我用 5000 多个 GPU 进行训练时,我显然会消耗所需的电力。是的,我想充分利用这 5000 个 GPU,尽量减少无用的通信。如果你能做到我们所说的绕过网络,你知道各种绕过以减少开销,那就太好了。这会突然减少电力消耗。另一个是最大化吞吐量。所以,无论有多少计算能力,都要完全使用它。印度也有很多有趣的公司和初创企业在努力,例如,对内存进行各种增强,因为内存是一个巨大的瓶颈。为什么总是有新的 GPU 出现?一个原因是它们有更多的内存。我们能否也使用一些早期的 GPU,增强它们的内存,并更有效地利用它们的计算能力?这是吞吐量。这是另一种方式。而且,我们自己也在努力,与一些联盟合作伙伴合作,例如来自印度理工学院金奈分校的合作伙伴,他们在这方面做得很好。第三个是推理。看,所有这些都是训练,但推理是关键,因为最终推理是什么?当我运行模型时,我得到了输出。这是一个巨大的计算机消耗者。在这个领域还有很多工作要做,但我们正在进行中。许多实体都在进行中。可扩展模型的好处是,推理至少是分散的。你越是将所有推理集中在一个地方,就像你不断提到的那些大公司,ChatGPT、Gemini,效率就丢失了。这就像为整个国家运行一个巨大的集体食堂。就像拥有小型家庭厨房,自己做饭一样。现在你可以自己评估。拥有家庭厨房自己做饭,还是在一个地方做所有食物然后分发到全国各地,哪种方式更好?我的回答也是一样的。所以,拥有主权模型是印度的最佳选择。绝对。对我来说,主权是圣杯。我们的北极星是,这种主权是尖端的。主权不应以牺牲有效性为代价。现在,说了这些之后,从我们这边,我谦卑地呼吁观众,你们也需要有耐心。我的意思是,我们原谅了所有其他外国软件。我们采用了它们,原谅了它们。它们得到了改进。它们产生了大量的幻觉。你的“巴拉特·贾恩”会产生幻觉吗?我们一直在努力防止幻觉。如果有反馈,将非常有价值。只有通过迭代的方式,我们才能共同进步。是的,我们的目标是尽可能减少迭代次数。这就是我们的挑战,我想说,这也是我们的承诺。但再次,我呼吁领导者,我们都需要,我的意思是,再次,尊敬的总理,我们对此进行了非常有趣的互动。他非常清楚。

“只要我们不自力更生,那些制造自力更生产品的商店也会倒闭。”所以,我认为这也是集体的责任,他提出了一个很好的观点。无论是道德,还是归因于最终,这都是一种集体国家责任。每个人都必须对此有所认识。而对有些人来说,责任的性质和程度是不同的,就像我们“巴拉特·贾恩”继承的责任一样。是的,责任在于每个人。

那么,人工智能为了印度的利益和印度的福祉,“巴拉特·贾恩”引领方向,这是一个公平的说法吗?是的,先生。“巴拉特·贾恩”作为一个联盟,作为一个生态系统。我们有信心,这就是印度所需要的。我们已经通过 UPI 证明了这一点。UPI 不是一个人的功劳。我认为我们不应该依赖一个人的功劳。我的意思是,印度的好处在于,有 9、10、20 个像我一样的人可以站出来,而不是只依赖我一个人。我认为我们需要这种分散但有效的机制。我相信“巴拉特·贾恩”对我们来说是一个很好的例子。那么,“巴拉特·贾恩”为了印度实现“发达印度”的旅程,这是一个公平的说法吗?是的,先生。事实上,尊敬的总理再次提出了一个非常重要的观点。更多的合作。健康的竞争,但大量的合作。我们已经努力做到这一点。让工程师与研究人员合作。让学术界相互合作。我们有一个非营利性公司,有一位首席执行官。我们的首席执行官是 Rishi Bal 先生。他在西雅图待了 25 年。他曾在 Google 研究和微软工作。我们还有一位副总裁,他是印度理工学院德里分校的毕业生。一位来自 UIUC 的博士回来,他回来了。现在,我们的首席产品官来自弗吉尼亚理工大学,他实际上已经回来了。所以,我们看到的是,这吸引了人们回来,拥有不同能力的人们正在重新聚集在一起。非常优美的梵语谚语,“Amantram aksharam nasti, nasti mulam anausadham, Ayogya purusha nasti, yojak tatra durlabh”。我的意思是,没有一个字母没有咒语的价值,没有一个根没有药用价值,也没有一个不 योग्य 的人。我的意思是,每个人都有巨大的价值。最重要的是“Yojak”,能够连接的人。事实上,我们的教育模型被称为“Yojaka”。整个想法是连接人们,而不是刻板印象。我认为人工智能具有这种能力,而“巴拉特·贾恩”正在努力利用人工智能来展示“Yojaka”,创造一个“Yojaka”生态系统。

印度能否在不部署人工智能的情况下成为一个发达国家?我相信这根本不可能。我的评估是,这并非不可能,但印度应该以一种补充其生态系统的方式使用人工智能。我喜欢 UPI 的地方在于,它保持了我们的储蓄经济的完整性。我去美国,晚上用信用卡。信用卡不行,先生。那里需要四张信用卡。而在这里,我们采用了 UPI。分散化,它保持了我们的储蓄经济的完整性。所以,我们也需要非常注意我们的文化。我们需要以一种不破坏我们优势的方式来采用人工智能。我认为人工智能必须被采用,但要以一种互补和补充的方式,而不是替代我们的核心原则。在某些地方,它可能在战术上被替代,但不是战略上。老师不能被替代。是的,在一些老师发现困难的地方。有很多重复性的工作。可能有一个地方可以替代,但不是系统性的。系统性地,它应该是互补的或补充的。

那么,人工智能为了“发达印度”是你们给我们的一个重要信息吗?是的,先生。非常感谢。谢谢。非常感谢您与我交谈。谢谢。

所以,这就是印度理工学院孟买分校的计算机科学教授加内什·拉玛克里希南教授,他向我们讲述了“巴拉特·贾恩”的一切,以及只有当我们部署人工智能,但使用主权数据和主权模型时,发达的印度才会到来。主权是关键。数据泄露可能导致很多麻烦。“巴拉特·贾恩”正在开发其“巴拉特·贾恩”大型语言模型。正如他所说,我们需要一种分散的方法,这将带领印度走向一个发达国家。非常感谢。非常感谢。新德里,帕拉夫·巴格拉,ND。