英伟达的首席执行官（CEO）黄仁勋当天在美国洛杉矶召开的CG学会会议“SIGGRAPH”上登台演讲称，“不管多大规模的语言模型，只要输入其中，都像疯了一样（快速）导出推论”。

英伟达开展AI中广泛使用的图像处理半导体（GPU）业务，在AI半导体领域，占有约8成全球份额。英伟达推出的“GH200”在GPU上组合了CPU（中央运算处理装置）。在AI半导体内部临时保存信息的功能——存储器上采用最新技术，面向生成式AI进行了优化。

生成式AI服务大多在数据中心的服务器上使用。半导体被用于两方面，一方面是学习庞大的数据以提高答案准确性的“学习”，另一方面是收到问题后、由AI导出答案的“推论”，新产品主要用于“推论”。英伟达设想让生成式AI的运营企业把本次的新产品装到服务器上使用，将于2024年4～6月上市。

在“ChatGPT”等生成式AI热潮下，数据中心使用的半导体需求猛增。生成式AI也有在开发和运营中使用2万～3万个专用半导体的情况，预计2028年AI半导体市场将扩大到2021年的12倍。