今早,在美国丹佛举行的第51届SIGGRAPH图形大会上,NVIDIA宣布,将为全球领先的机器人制造商、AI模型开发者和软件制造商提供一套服务、模型以及计算平台,以开发、训练和构建下一代人形机器人。
NVIDIA带来了适用于OpenUSD语言、几何体、物理学和材质的生成式AI模型与NIM微服务。这一新服务将加速基于通用场景描述的工作流以及工业数字孪生和机器人的开发。
NVIDIA创始人兼CEO黄仁勋表示,“AI的下一波浪潮是机器人,其中最令人兴奋的发展之一是人形机器人。我们正在推进整个NVIDIA机器人堆栈的发展,面向全球人形机器人开发者和公司开放访问,让他们可以使用最符合其需求的平台、加速库和AI模型。”
值得一提的是,黄仁勋还同Meta创始人兼CEO马克·扎克伯格进行了炉边谈话。二人一同探讨了基础研究如何推动AI突破性进展,以及生成式AI和开源技术如何为开发者和创作者赋能。
在本次大会上,NVIDIA发布了通用场景描述(OpenUSD)的重大成果。据介绍,NVIDIA将扩大这一通用3D数据交换框架在机器人、工业设计和工程领域的应用,提高开发者为AI新一轮发展构建高精度虚拟世界的能力。
这些微服务可生成回答用户查询的OpenUSD语言、生成OpenUSD Python代码、将材质应用于3D物体、理解3D空间和物理学以帮助加快数字孪生的开发等。
此外,还包括可用于机器人和工业仿真数据格式的全新USD连接器,以及各种开发者工具,用户可通过它们将海量NVIDIA RTX™全光线追踪数据集传输到Apple Vision Pro。
全球首个用于OpenUSD开发的生成式AI模型也将以NVIDIA NIM微服务的形式提供。借助这些模型,开发者能够将生成式AI copilot和智能体整合到USD工作流中,拓宽3D世界的可能性,帮助加快USD在制造业、汽车行业和机器人等新工业领域的应用。
· USDSearchNIM微服务:使开发者可使用自然语言或图像输入,在海量OpenUSD、3D和图像数据库中进行搜索。
· USD Layout NIM微服务:使用户能基于空间智能,根据一系列文本提示组装出基于OpenUSD的场景。
· USD SmartMaterial NIM微服务:预测并将逼真的材料应用于计算机辅助设计对象。
开发者还能够最终靠访问新的NVIDIA NIM微服务,用于Isaac Lab和Isaac Sim中的机器人仿真、OSMO机器人云计算编排服务和远程操作数据捕获工作流等。
NIM微服务提供了由NVIDIA推理软件提供支持的预构建容器,使开发者能够将部署时间从数周缩短到几分钟。
机器人专家则将可以通过两项新的AI微服务,在NVIDIA Isaac Sim™(基于NVIDIA Omniverse™平台构建的机器人仿真参考应用)中增强生成式物理AI仿真工作流:
MimicGen NIM微服务可根据Apple Vision Pro等空间计算设备记录的远程操作数据,生成合成运动数据。Robocasa NIM微服务可在OpenUSD(一个用于在3D世界中进行开发和协作的通用框架)中生成机器人任务和仿真就绪环境。
现已推出的NVIDIA OSMO是一项云原生托管服务,允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流,无论是在本地还是在云端。
OSMO大大简化了机器人训练和仿真工作流,将部署和开发周期从数月缩短到一周内。用户都能够对各种任务进行可视化管理,包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。
同时,NVIDIA还提供了三个计算平台来简化人形机器人的开发,分别是:用于训练模型的NVIDIA AI超级计算机;基于Omniverse构建的NVIDIA Isaac Sim,使机器人能在仿真世界中学习和完善技能;以及用于运行模型的NVIDIA Jetson™Thor人形机器人计算机。开发的人能根据具体需求来访问和使用全部平台或其中的任何部分。雷峰网
多款适用于机器人数据格式和Apple Vision Pro流式传输的全新USD连接器将为更多行业带来OpenUSD互操作性与高级创作能力。
据介绍,当前,为帮助更多使用OpenUSD的工业工作负载,NVIDIA与西门子正在扩大合作,西门子将把OpenUSD流水线与其Simcenter仿真技术组合集成,以支持基于证据的决策和关键利益相关方之间的协作。这一集成能轻松实现复杂仿真数据的高保真、实时、逼真可视化,让企业能更深入地懂产品在实际操作环境中的性能。为打好基础,西门子还将把Omniverse纳入到其Teamcenter产品生命周期管理软件组合中。
NVIDIA还发布了一个从统一机器人描述格式(Unified Robotics Description Format)到OpenUSD的连接器,让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
除此之外,为了逐步推动OpenUSDECO的扩张,NVIDIA发布了OpenUSD Exchange软件开发套件,帮助开发者创建出自己的OpenUSD数据连接器。
AI 图像生成平台 LiblibAI 融资总额达数亿元;Meta 曝训练 Llama 3 每 3 小时「罢工」一次丨AI情报局
智谱获华策 1 亿元战略投资,打造影视 AI 研究平台;杨红霞入职香港理工大学;蔚来发布中国首个智能驾驶世界模型丨AI情报局
百川智能完成 50 亿元 A 轮融资,北上深国资入局;OpenAI 挑战谷歌,发布 AI 搜索 SearchGPT丨AI情报局
AI 法律公司 Clio 获 9 亿美元融资;阿里云、腾讯云推出 Llama3.1 训练推理服务;可灵国际版上线丨AI科技评论
边缘人工智能提供商 Gcore 获 6000 万美元融资;马斯克开训最大 AI 集群,目标年底开发全球最强 AI丨AI情报局