学习NVIDIA利用AI来设计和开发GPU 最新Hopper已拥有1.3万个电路实例

  时间:2022-07-11 11:23:30来源:cnBeta发表评论无障碍通道

  在过去几年时间里,NVIDIA 深耕 AI 领域,他们的 GPU 不仅成为 HPC 的首选,也成为包括 AI和深度学习生态系统在内的数据中心的首选。在最新公布的开发者博文中,NVIDIA宣布正利用 AI 来设计和开发 GPU,其最新的 Hopper GPU 拥有将近 13000 个电路实例,而这些实例完全由 AI创建。

  在 NVIDIA Develope 上发布的新博客中,该公司重申了其优势以及它自己如何利用其 AI 功能来设计其迄今为止最强大的GPU--Hopper H100。 NVIDIA GPU 主要是使用最先进的 EDA(电子设计自动化)工具设计的,但在利用 PrefixRL 方法的 AI的帮助下,使用深度强化学习优化并行前缀电路,公司可以设计更小、更快、更节能的芯片,同时提供更好的性能。

  计算机芯片中的算术电路是使用逻辑门网络(如 NAND、NOR 和 XOR)和电线构成的。理想的电路应具有以下特点:

  ● 小:较小的区域,以便更多电路可以安装在芯片上。

  ● 快速:降低延迟以提高芯片的性能。

  ● 消耗更少的功率:芯片的功耗更低。

  NVIDIA 使用这种方法设计了近 13000 个 AI 辅助电路,与同样快速且功能相同的 EDA 工具相比,它们的面积减少了 25%。但是PrefixRL 被提到是一项计算要求非常高的任务,并且对于每个 GPU 的物理模拟,它需要 256 个 CPU 和超过 32,000 个 GPU小时。为了消除这个瓶颈,NVIDIA 开发了 Raptor,这是一个内部分布式强化学习平台,它特别利用 NVIDIA 硬件进行这种工业强化学习。

  Raptor 具有多项可提高可扩展性和训练速度的功能,例如作业调度、自定义网络和 GPU 感知数据结构。在 PrefixRL 的上下文中,Raptor使得跨 CPU、GPU 和 Spot 实例的混合分配工作成为可能。

  这个强化学习应用程序中的网络是多种多样的,并且受益于以下几点。

  ● Raptor 在 NCCL 之间切换以进行点对点传输以将模型参数直接从学习器 GPU 传输到推理 GPU 的能力。

  ● Redis 用于异步和较小的消息,例如奖励或统计信息。

  ● 一种 JIT 编译的 RPC,用于处理大容量和低延迟的请求,例如上传体验数据。

  NVIDIA 得出结论,将 AI 应用于现实世界的电路设计问题可以在未来带来更好的 GPU设计。完整的论文在此处,您也可以在此处访问开发人员博客以获取更多信息。

 
免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
 
更多>同类资讯
全站最新
热门内容
媒体信息
科技动力
科技行业驱动力
网站首页  | 关于我们  | 联系方式  | 版权声明  | 积分换礼  |  网站留言  |  RSS订阅  |  违规举报
蜀ICP备14016797号
好经验阳光广西360知道健康信息网百科知识整点新闻网生活指南专问经验头条经验好百科广告网头条问答