当前位置:首页知识>物理AI开新生机烘托技能为A凭借神经发场景注入

物理AI开新生机烘托技能为A凭借神经发场景注入

+关注

DiffusionRenderer 引入了一种神经烘托技能,凭借可用于。神经生机构思。烘托范畴的技能景注内容生成和修改 ,也可用于  。为物智能。发场轿车和 。入新机器人 。凭借开发的神经生机组成数据生成 。

NVIDIA Research开发了一种 。烘托视频。技能景注AI 。为物光源开关,发场可将白日场景转为夜景,入新将阳光明媚的凭借下午转为阴天,并可将扎眼的荧光灯调低为柔软天然照明 。

这项名为 DiffusionRenderer 的技能是一项新式神经烘托技能 ,运用 AI 。 模仿。实际世界光线改变 。DiffusionRenderer 将两个传统上天壤之别的进程(逆烘托和前向烘托)整合到一个共同的神经烘托引擎中,其功能优于最先进的办法。

DiffusionRenderer 供给了一个用于视频光照操控 、修改和组成数据增强的结构 ,成为构思职业和物理 AI 开发的强壮东西。

广告 、电影和游戏开发范畴的创造者能够运用根据 DiffusionRenderer 的运用 ,在实际世界或 AI 生成的视频中增加 、删去并修改光照。物理 AI 。 开发者。能够运用它在更多样化的照明条件下增强组成数据集 ,以练习机器人和智能轿车(AV)模型。

DiffusionRenderer 是 NVIDIA 发表于世界。核算机视觉 。与模式识别会议(CVPR)的 60 多篇论文之一,本届大会于当地时刻 6 月 11 日至 15 日在美国田纳西州举办 。

打造令人愉悦的 AI。

DiffusionRenderer 处理了仅运用 2D 视频数据对场景进行去光照和从头打光的应战 。

去光照是一个处理图画并消除其光照作用的进程 ,然后仅保存底层目标的几许图形和原料特点 。从头打光则恰恰相反 ,该进程能够在场景中增加或修改光线,一起坚持物体透明度和镜面反射(外表反射光线的办法)等杂乱特点的真实性  。

经典的 、根据物理学的烘托工作流需求 3D 几许数据来核算场景中的光线,以进行去光照和从头打光 。而 DiffusionRenderer 运用 AI 来预算单个 2D 视频的特点 ,包含法线 、金属度和粗糙度。

经过这些核算 ,DiffusionRenderer 能够生成新的暗影和反射、更改光源、修改原料并将新目标刺进场景 ,所有这些都能坚持传神的照明条件 。

运用由 DiffusionRenderer 驱动的运用  ,智能轿车开发者能够获取大部分是白日驾驭镜头的数据集 ,并随机对每个视频片段的光照进行调整,以创立更多具有阴天或雨天 、具有扎眼照明和暗影的夜晚以及夜间场景的视频片段 。凭借这些增强数据 ,开发者能够优化其开发工作流,对智能轿车模型进行练习 、测验和验证,这些模型更具有应对严苛照明条件的才能。

假如创造者需求捕捉用于数字人物创造或特效制造的内容 ,能够运用 DiffusionRenderer 增强用于前期构思和模型的东西 ,然后在选用贵重的专用光照舞台体系捕捉制造质量的资料之前 ,探究并重复实验各种光照选项。

运用 NVIDIA Cosmos增强 DiffusionRenderer。

自完结原始论文以来  ,DiffusionRenderer 的暗地研讨团队已将他们的办法与 Cosmos Predict-1 进行了集成,后者是一套用于生成传神、物理感知型未来世界状况的世界根底模型。

这样一来 ,研讨人员观察到一种扩展效应,其间运用 Cosmos Predict 更大、更强的视频分散模型相应进步了 DiffusionRenderer 的去光照和从头打光质量 ,完结了更明晰、更精确和时刻上更共同的效果 。

Cosmos Predict 是 NVIDIA Cosmos 的一部分 ,NVIDIA Cosmos 是一个由世界根底模型、Tokenizer 、护栏和加快数据处理和办理工作流组成的渠道 ,可加快用于物理 AI 开发的组成数据生成。

CVPR 上的 NVIDIA Research 。

在 CVPR 上 ,NVIDIA 研讨人员展现了数十篇论文 ,主题包括轿车 、医疗、机器人等范畴 。三篇 NVIDIA 论文荣获本年最佳论文奖提名:

FoundationStereo:该根底模型经过匹配立体图画中的像素,从 2D 图画中重建 3D 信息 。该模型已在超越 100 万张图画的数据集进步行了练习,可处理实际世界数据 ,功能优于现有办法 ,并可跨范畴通用 。

Zero-Shot Monocular Scene Flow Es 。ti 。mation in the Wild:本论文是 NVIDIA 和布朗大学的研讨人员通力合作的效果 ,介绍了一个用于猜测场景流的通用模型,即 3D 环境中点的运动场 。

Difix3D+ :这篇论文由 NVIDIA 空间智能实验室的研讨人员完结 ,介绍了一种图画分散模型 ,可删去重建 3D 场景中新角度的伪影 ,然后进步 3D 出现的全体质量。

NVIDIA 还在 CVPR 上荣获辅佐驾驭世界应战赛冠军,这标志着 NVIDIA 接连两年登顶端到端范畴排行榜,而且接连三年在大会上荣获辅佐驾驭世界应战奖。

NVIDIA Research 在全球具有数百名科学家和。工程师 。,专心于 AI 、核算机图形学、核算机视觉 、智能轿车和机器人等范畴的研讨 。

分享到

0个赞
钓友回复48条
六月连更三次 !鸿蒙版知乎近期新增碰一碰共享等 10 余项功用 !
984小时前举报回复

六月连更三次 !鸿蒙版知乎近期新增碰一碰共享等 10 余项功用 !

禾元生物IPO :成绩比年亏本、产品商业化遇阻,上市之路荆棘布满
785小时前举报回复

禾元生物IPO :成绩比年亏本、产品商业化遇阻,上市之路荆棘布满

美国国会酝酿盗版网站封闭法案 ,引发外界“误伤”忧虑
9小时前举报回复

美国国会酝酿盗版网站封闭法案 ,引发外界“误伤”忧虑

美国国会酝酿盗版网站封闭法案 ,引发外界“误伤”忧虑
2855小时前举报回复

美国国会酝酿盗版网站封闭法案 ,引发外界“误伤”忧虑

海辰储能三款储能体系获TÜV南德欧盟认证
53小时前举报回复

海辰储能三款储能体系获TÜV南德欧盟认证

英特尔前 CEO 基辛格 :辞去职务是“第三方”做出的决议,没有机会完结未竟之业
76小时前举报回复

英特尔前 CEO 基辛格 :辞去职务是“第三方”做出的决议,没有机会完结未竟之业

随时查看新帖子
安装安卓版钓鱼人安装iOS版钓鱼人
精彩渔获
AR 翻译眼镜 Leion Hey2 露脸全球数字经济大会,亮亮视界获评数字经济标杆企业AR 翻译眼镜 Leion Hey2 露脸全球数字经济大会,亮亮视界获评数字经济标杆企业
2025年618大家电:增加有迹�,丰盈未满的商场侧写2025年618大家电:增加有迹,丰盈未满的商场侧写
音讯称优步创始人卡兰尼克拟收买小马智行美国子公司音讯称优步创始人卡兰尼克拟收买小马智行美国子公司
26元一碗粉,每天招待近千人
,深圳“最贵”螺蛳粉店凭啥火?26元一碗粉,每天招待近千人 ,深圳“最贵”螺蛳粉店凭啥火?
挪威彩票组织代码闹乌龙:数千彩民“南柯一梦”,过错收到中大奖告诉挪威彩票组织代码闹乌龙:数千彩民“南柯一梦”,过错收到中大奖告诉
中企云链再闯港股	
:高毛利难掩现金流危机,央企股东团体撤离【IPO调查】中企云链再闯港股  :高毛利难掩现金流危机 ,央企股东团体撤离【IPO调查】
蚂蚁集团发布 2024 年可持续发展陈述:AI 发明普惠新实践�,1.3 亿人在支付宝上用 AI蚂蚁集团发布 2024 年可持续发展陈述:AI 发明普惠新实践 ,1.3 亿人在支付宝上用 AI
2025RoBoLeague 机器人足球联赛总决赛在北京亦庄开赛2025RoBoLeague 机器人足球联赛总决赛在北京亦庄开赛
典型事例揭露
:网信办明亮清明・优化营商网络环境
,整治涉企网络黑嘴典型事例揭露 :网信办明亮清明・优化营商网络环境  ,整治涉企网络黑嘴
Soul App 职场调查:AI 年代,弱联系交际成工作跃迁破局要害Soul App 职场调查:AI 年代,弱联系交际成工作跃迁破局要害
抱负轿车下调二季度交给量预期,整合建立智能轿车群组抱负轿车下调二季度交给量预期,整合建立智能轿车群组
2025RoBoLeague 机器人足球联赛总决赛在北京亦庄开赛2025RoBoLeague 机器人足球联赛总决赛在北京亦庄开赛
雷军发表小米 YU7 出售数据;特斯拉 Q2 交给轿车 38.4 万辆;荣耀 Magic V5 发布|Do早报雷军发表小米 YU7 出售数据;特斯拉 Q2 交给轿车 38.4 万辆;荣耀 Magic V5 发布|Do早报
禾元生物IPO:成绩比年亏本	、产品商业化遇阻,上市之路荆棘布满禾元生物IPO:成绩比年亏本 、产品商业化遇阻 ,上市之路荆棘布满
三年亏本22亿	,研制占比超40%
,镁伽科技赴港从头界说工业未来?三年亏本22亿 ,研制占比超40%  ,镁伽科技赴港从头界说工业未来?
扎克伯格为AI斥重金招兵买马,传Meta再挖角OpenAI四名华裔研究员扎克伯格为AI斥重金招兵买马 ,传Meta再挖角OpenAI四名华裔研究员
套现超 50 亿元,贝索斯年内初次兜售亚马逊股票套现超 50 亿元 ,贝索斯年内初次兜售亚马逊股票
我国物流市场规模接连 9 年位居世界第一
	�,首超 360 万亿我国物流市场规模接连 9 年位居世界第一  ,首超 360 万亿
蚂蚁集团发布 2024 年可持续发展陈述:AI 发明普惠新实践

�,1.3 亿人在支付宝上用 AI蚂蚁集团发布 2024 年可持续发展陈述:AI 发明普惠新实践  ,1.3 亿人在支付宝上用 AI
蚂蚁集团发布 2024 年可持续发展陈述
:AI 发明普惠新实践
,1.3 亿人在支付宝上用 AI蚂蚁集团发布 2024 年可持续发展陈述 :AI 发明普惠新实践 ,1.3 亿人在支付宝上用 AI
飞凌嵌入式走进沈阳工业大学�、大连理工大学	、东莞理工学院
、哈尔滨工业大学(深圳校区)进行嵌赛宣讲飞凌嵌入式走进沈阳工业大学、大连理工大学 、东莞理工学院 、哈尔滨工业大学(深圳校区)进行嵌赛宣讲
爱尔眼科携手华为云签署 AI 战略协作协议
,共筑智慧眼健康新未来爱尔眼科携手华为云签署 AI 战略协作协议 ,共筑智慧眼健康新未来
雷军	�:小米 YU7 订单远超最达观预期,但绝不会因此而自鸣得意雷军 :小米 YU7 订单远超最达观预期 ,但绝不会因此而自鸣得意
锦江酒店向港交所提交上市请求 已开店1.3万家锦江酒店向港交所提交上市请求 已开店1.3万家
雷军发表小米 YU7 出售数据;特斯拉 Q2 交给轿车 38.4 万辆;荣耀 Magic V5 发布|Do早报雷军发表小米 YU7 出售数据;特斯拉 Q2 交给轿车 38.4 万辆;荣耀 Magic V5 发布|Do早报
英特尔前 CEO 基辛格
	:辞去职务是“第三方”做出的决议	�,没有机会完结未竟之业英特尔前 CEO 基辛格 :辞去职务是“第三方”做出的决议 ,没有机会完结未竟之业
百亿营销难换增长,五粮液已近强弩之末百亿营销难换增长,五粮液已近强弩之末
三年亏本22亿
,研制占比超40%,镁伽科技赴港从头界说工业未来�?三年亏本22亿 ,研制占比超40%,镁伽科技赴港从头界说工业未来 ?
从暴力穷举到智能导航
	,PC本地查找被腾讯电脑管家“解救”从暴力穷举到智能导航  ,PC本地查找被腾讯电脑管家“解救”
荣耀 Magic V5 同台,荣耀 Earbuds 开放式耳机将于 7 月 2 日发布荣耀 Magic V5 同台 ,荣耀 Earbuds 开放式耳机将于 7 月 2 日发布
签到反馈意见向上