CVPR2021RfDNet:从点云中重建三维物体实例隐式包围盒

基于点云的场景理解是目前特别具有挑战性的任务,本文作者提出了一种从三维场景点云中重建高精度物体网格的学习框架RfD-Net,把重建问题转变为“先检测,再重建”。

论文已被CVPR2021收录。

基于点云的场景理解是目前特别具有挑战性的任务,先前的工作主要是将点云转化为规则的网格,如体素和鸟瞰图,然后使用基于网格的卷积来进行场景理解。然而,基于网格的三维卷积往往需要消耗巨大的算力,从而以往的方法往往只能在低分辨率的状况下进行,并且,由于点云具有稀疏性和不规则的特点,将其直接转化为网格的卷积来进行场景的重建并不很合适。

我们对于点云的语义实例重建提出了一种“先检测再重建”(reconstruction-from-detection)的框架,并主要有以下贡献:

1.我们为语义实例重建提供了一种新颖的学习方式,先前的方法严重依赖三维卷积来在体素化场景中进行学习,据我们所知,这是第一个直接从点云通过几何预测实例语义的一种学习方法,并且取得了不错的效果,如图1。

2.我们提出了一种新的端到端结构,即RfDNet,用于从稀疏点云中学习对象语义和形状,它将语义实例重构分解为全局目标定位和局部形状预测,并通过跳转传播模块进行桥接,以便于联合学习。通过这种方式,我们的形状生成器支持隐式学习,这直接克服了现有技术中的分辨率瓶颈。

3.联合学习对象的姿势和形状相互促进,该方法在现有的检测主干上同样有效果,达到了了实例检测与补全的最新水平,在目标重建中提高了11个以上的IoU。

三、网络框架

图2是网络的整体框架,主要思路是通过目标检测来进行三维重建,该网络由三个模块组成:三维检测器模块(3Ddetector),空间变换器模块(spatialtransformer)和形状生成器模块(shapegenerator)。

我们尽可能通用的设计这些模块来使其与现有的基于点云的三维网络主干兼容。具体来说,先让输入点云通过三维检测器模块在稀疏的三维场景中来产生包围盒的参数,接着我们设计了一个空间转换器模块来过滤冗余包围盒(负样本),并对包围盒内的点进行聚合与对齐。最后,让聚合的物体点云通过形状生成模块将其转换至规范坐标系,再独立的学习一个隐式的空间占用函数来重建形状。

1.三维检测器模块

三维检测器模块可以从点云学习物体候选包围盒(objectproposals)。首先,对于输入的点云,我们采用VoteNet[1]作为框架来产生候选包围盒,并以此为特征来预测包围盒的参数,包括包围盒中心,尺度,角度,语义标签和空间占有分数(objectnessscore),当一个候选包围盒的中心与真实值之间的差距小于0.3m时,空间占有分数取正;当与真实值之间的差距大于0.6m时取负。最后我们使用了两层的多层感知机来回归包围盒的参数。

2.空间变换器模块

该模块分为两部分:目标包围盒选取(objectnessdropout)和点云聚合与对齐(group&align)。在目标选取(objectnessdropout)部分的输入为“三维检测”部分输出的所有候选包围盒参数。输出为物体空间占有分数较高的物体包围盒。物体点云聚合与对齐(group&align)的目的是将原始点云聚类到物体包围盒中,并转换到局部规范坐标系。首先,由于之前提取出的物体包围盒过多,我们采用top-Ndropout保留得分较高的物体包围盒;在聚合与对齐(group&align)部分,我们对原始点云进行采样,并聚类到以各个包围盒中心为球心的球中,并将这部分点云从世界坐标系转换到各自的局部坐标系中,最后,我们让这些点通过一个规范化系统来消除平移和旋转的误差来对齐坐标系。

3.形状生成器模块

该模块具体细节如图3所示,分为特征编码(skippropogation),形状解码(shapedecoder)和网格生成(marchingcubes[2])三部分。

在“特征编码”部分中,我们使用Pointnet[3],将每个boxproposal中的点分为前景和背景,提取前景中的点之后,与之前“三维目标检测”提取出的proposal特征合并,再使用带有残差连接的Pointnet将合并后的特征编码成新的特征,这部分特征可以看作融合了局部信息与全局信息(如三维形状,语义标签等)。然后,在“形状解码”部分(如图4):

我们采用条件BatchNormalization层回归出占用值(occupancyvalues),将其与点和proposal特征一起送入隐式编码器中,回归出一个高斯分布的均值与标准差,再从这个分布上采样,得到一个隐式编码。最后,我们将隐式编码与点一起送入条件层块(conditionalblock),回归出最终的点占有值(occupancyvalue)。得到了最终的占用值后,我们采用marchingcubes算法生成最终的网格。

4.端到端的学习

我们提出的这个端到端的学习的损失函数分两部分,分别为包围盒损失(boxloss)和形状损失(shapeloss)。

包围盒损失:三维检测器是用来预测物体空间占有分数(objectnessscore),包围盒中心,尺度,角度和语义标签的,对于objectnessscore,我们设定阈值选取objectnessscore为正的点;对于包围盒中心,我们选用平滑L1损失函数;我们将尺度与角度的损失函数设为一个分类损失函数(交叉熵)与一个回归损失函数(平滑L1损失函数)的混合;对于语义标签,我们使用的是交叉熵损失函数;最后,由于我们使用了VoteNet作为主干,故又引入了一个投票损失函数。总体的包围盒损失函数如下:

形状损失函数:对于每个proposal里的点,我们使用了交叉熵损失函数来监督前景分割,形状生成器从我们采样的潜在编码(latentcode)来学习均值和方差去近似训练中的标准正态分布,故形状损失函数可以写作:

最终的损失函数为包围盒损失与形状损失函数的线性组合:

四、实验分析

五、总结

我们提出了一种全新的学习模型,即RfDNet,用于直接从点云进行语义实例重建。该方法把重建问题转变为“先检测,再重建”。实例的形状由全局的目标位置和局部的形状来预测,这将会使三维检测器模块和形状生成模块相互促进。此外,实验还证实了我们的方法在场景重建中会得到高质量的网格并且在目标重建,三维检测以及语义实例分割的对比中都比已有方法表现更好。

References:

[1]Qi,C.R.,Litany,O.,He,K.,&Guibas,L.J.(2019).Deephoughvotingfor3dobjectdetectioninpointclouds.InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision(pp.9277-9286).

[2]Lorensen,W.E.,&Cline,H.E.(1987).Marchingcubes:Ahighresolution3Dsurfaceconstructionalgorithm.ACMsiggraphcomputergraphics,21(4),163-169.

[3]Fan,H.,Su,H.,&Guibas,L.J.(2017).Apointsetgenerationnetworkfor3dobjectreconstructionfromasingleimage.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.605-613).

作者介绍

项目主要由香港中文大学(深圳)GAP实验室韩晓光博士带领主导完成。

该工作主要完成人聂隐愚,目前为慕尼黑工业大学VisualComputingGroup博士后。团队成员还包括慕尼黑工业大学博士生侯骥与MatthiasNiessner教授。

GAP实验室:

TUMVisualComputingGroup:

个人主页:

IllustrationbyOlegShcherbafromIcons8

-TheEnd-

CVPR2021论文解读●●

|SensatUrban:城市规模点云数据集

//2

|上交和国科大提出DCL:旋转目标检测新方法

//3

|TPCN点云就是这么美妙

|机器学习与传统算法融合的图相似度求解

//5

|图森未来团队提出LiDARR-CNN:一种快速、通用的二阶段3D检测器

//6

|动态slimmable网络:高性能的网络轻量化方法!对比slimmable涨点5.9%!

//7

|VSPW:首个多场景大规模视频语义分割数据集

//8

|图森未来与中科院自动化所提出GMTracker:一种基于图匹配的多目标跟踪方法

//9

|SpinNet:学习用于3D点云配准的强泛化能力的特征描述子

//10

|RegDA:针对无监督关键点检测的回归域自适应方法

//11

|都柏林圣三一大学和字节新工作ACTION-Net:一种高效、即插即用的动作识别模块

//12

|大连理工大学卢湖川团队提出TransT:TransformerTracking

//13

|DisAlign:面向多种长尾视觉任务的统一框架

//14

|大幅涨点!孙剑团队提出新激活层ACON和轻量级网络TFNet

//15

|RMNet:又快又好!基于局部特征记忆网络的视频物体分割

//16

|港大、牛津提出PAConv:一种位置自适应卷积,点云分类、分割任务表现SOTA

//17

|MotionRNN:针对复杂时空运动的通用视频预测模型

扫码观看!

本周上新!

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

THE END
1.fefe44.com子域名大全fefe44.com二级域名fefe44.com域名解析查询fefe44.com子域名: www.fefe44.com 更多子域名 最新域名查询 zhaosaoqi23.com www.avav7.com www.91zy.cc www.8s7r5e.com www.2fh5cez.com ht13cc.com www.3bizl3c.com www.2581504.com www846767.com www.mgvip30.com www.lai383.com www.haose1.com www.8829h.com www.82127.com cm.jinghttps://site.ip138.com/fefe44.com/domain.htm
2.SML09GB22U2C中文资料数据手册规格书SEMELABFax +44(0)1455 552612. Document Number 2853 Issue 2 E-mail: sales@semelab.co.uk Website: http://www.semelab.co.uk SML09GB22U2C FIG. 2 TYP. JUNCTION CAPACITY VERSUS BLOCKING VOLTAGE FIG. 1 TYP. FORWARD CHARCTERISTICS NOTE: Explanatory comparison for the basic operationalhttps://www.icpdf.com/SEME-LAB_datasheet/SML09GB22U2C_pdf_13453824/
3.H3344HG紧定套尺寸,FAGH3344HG紧定套价格共3 张 第1 张 上一张 1 下一张 英制 尺寸 d1H 200 mm - Dm 280 mm - l 223 mm - d 220 mm - d2G Tr220x4 mm - e 4.2 mm - Ro M6 - t 7 mm - c 35 mm - 说明 200 mm 轴 HM44T 型号,螺母 MB44 型号,止动装置 重量 m 21100 g 质量 全国http://www.sozhou.com/p/183256f2.html
4.SWITCHESANDSWITCHASSEMBLIES,SENSITIVE,SNAPACTION(BASIC灵敏、快速动作开关和开关组件(基本、限位、按钮和拨动开关),Trigger,Switches,-方程式科技https://share.ofeqx.com/resource/B401aB5595074240705205438.html
5.T24243087求职意向 求职状态: 在职,考虑换新工作 期望行业: 化工,印花 期望岗位: 研发工程师 期望地点: 广东省,江苏省,浙江省,湖北省,全国 期望月薪: 面议 工作经历 2019-02—至今 某公司 数码印花墨水研发 登录后查看更多教育经历2024-12-14电话 收藏 面试邀请 https://m.texhr.cn/resumes/?ids=175792
6.所有女生的衣橱8月16日(鞋包配饰专场)直播预告清单44、TAKIYAS SHOP复古廓形宽松牛仔衬衫外套 点我查看 0(JrW5dwsw76n)/ AC01 沾贴上面口令去tao宝 ? 4?5、从那以后法式泡泡袖三色短裙 点我查看 0(nlq2dwswYBg)/ AC01 沾贴上面口令去tao宝 ? 46、鸳鸯金楼足金蝴蝶结铃铛手链 https://weibo.com/ttarticle/p/show?id=2309404935438996734636
7.志高RFD72WT303JD参数志高RFD72WT303JD空调参数志高RFD72W-T303-JD参数 重要参数 声明:仅供参考,以当地实际销售信息为准 重要参数 产品亮点 售后服务 空调类型:中央空调 冷暖类型:冷暖型 能效等级:三级能效 能效比:暂无数据 制冷量:7200W 制热量:9900W 室内机噪音:44-50dB 室外机噪音:58dB 冷暖型https://detail.zol.com.cn/1304/1303729/param.shtml
8.志高RFD72WT303JD参数配置性能规格参数对比天极网提供最详细、最准确的志高RFD72W-T303-JD参数,有主要参数,基本参数,功能参数,性能参数,保修信息等版块,是您全面了解志高RFD72W-T303-JD参数的最佳途径和最优选择。https://wap.yesky.com/product/product/1086/1086237/param.shtml
9.ChessRoomNewsletter#885Mechanics'Institutee5 [8e6 9.a4 Qc7 10.g4 b6 11.Bg2 Bb7 12.f4 Nc5 13.Bf2 g5 14.fxg5 hxg5 15.Bg3 Nfd7 16.Nf3 Be7 17.Qe3 Ne5 18.Nxe5 dxe5 19.Qf3 f6 20.0-0 0-0-0 21.Rfd1 Qc6 22.b4 Rxd1+ 23.Nxd1 Nxe4 24.Nf2 Nxg3 25.Qxc6+ Bxc6 26.Bxc6 Ne2+ 27.Kg2 Nf4+ 28.https://www.milibrary.org/chess-newsletters/885
10.js部分高频面试题(第一部分50道)50道js面试题字符串如下:1231fdfsd&2424fdsaff&454545&454545444rfdsfs&687dsag 要求:数组去重,并去掉特殊字符,按照数字在前,字母在后的顺序排序varstr='1231fdfsd&2424fdsaff&454545&454545444rfdsfs&687dsag';vararr=str.match(/[0-9a-zA-Z]/g);vararr0=[];for(variinarr){if(arr0.indexOf(arr[i])==-1){arrhttps://blog.csdn.net/weixin_45792953/article/details/107548076
11.3匹冷暖四面出风办公商用天花机嵌入式中央空调底商铺天井机RFD苏宁易购为您提供约克(YORK)YIFH-260BⅡ/2CB中央空调和美的Midea3匹冷暖四面出风办公商用天花机嵌入式中央空调底商铺天井机RFD-72QW/BDN8Y-D(B3)参数对比,让您了解约克(YORK)YIFH-260BⅡ/2CB中央空调和美的Midea3匹冷暖四面出风办公商用天花机嵌入式中央空调底商铺天井机RFhttps://m.suning.com/prdCom/0000000000-122444289_0070188214-10508257042_0-0_0-0.html
12.RefundCoin(RFD币)兑换新加坡元今日价格行情,RefundCoin(RFD币)今日价流通量(RFD)-- --流通率流通率 =(流通总量 ÷ 最大供应量 )× 100% 24H成交额($)156,082.69 --换手率换手率也称“周转率”,指在一定时间内市场中转手买卖的频率,是反映流通性强弱的指标,24H换手率计算公式:24H内的成交额 ÷ 流通市值 × 100%未https://www.jb51.net/coin/refund-sgd.html
13.FPGA数学公式使用FPGA实现常用数学公式.rfd () ); 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. https://blog.51cto.com/u_15815923/5743574
14.GitHubdraftRFD 39 VM Attribute Cache (vminfod) publishRFD 40 Standalone IMGAPI deployment draftRFD 41 Improved JavaScript errors draftRFD 42 Provide global zone pkgsrc package set publishRFD 43 Rack Aware Network Pools predraftRFD 44 Create VMs with Delegated Datasets https://github.com/TritonDataCenter/rfd
15.HowtoPrepareaPreRequestforDesignation(PreHow to Prepare a Pre-Request for Designation (Pre-RFD) ___ Guidance for Industry Submit electronicManagement and Budget (OMB) under the Paperwork Reduction Act of 1995 (44 U.S.C. 3501-3520https://www.fda.gov/media/102706/download
16.r第44页第44页 第45页 第46页 第47页 第48页 第49页 第50页 第51页 第52页 第53页 第54页 第55页 第56页 第57页 第58页 第59页 第60页 第61页 第62页 第63页 第64页 第65页 第66页 第67页 第68页 第69页 第70页 第71页 第72页 第73页 第74页 第75页 第76页 第77页 第78页 第79页https://dict.youdao.com/map/en/r/44.html
17.电工施工图中的符号解释83 灭磁电阻 RFS或Rfd Rmc 84 分流器 RW 85 热电阻 RT 86 电位器 RP 87 电感(电抗)线圈 L 88 电流互感器 TA CT或LH 89 电压互感器 TV PT或YH 10KV电压互感器 TV SYH 35KV电压互感器 TV UYH 110KV电压互感器 TV YYH 90 断路器 QF DL https://www.360doc.cn/article/39563843_731577687.html
18.TRON地址TYFRfDF2ncPC區塊鏈瀏覽器OKLink740ab3f3925e4c384b08d2fa1fbc3737fc57712c678d1c5e745be44e2fedcbe7 TRX 轉帳 67863993 2024/12/15 14:02:06 TYFRfDWF2ncPC TQg9ivNLSuAdwo TRX 0.000001 f16524341dc73ce0fd32a7768d6b59473d72aa68b0dc3ded882a742afada0859 TRX 轉帳 67787612 2024/12/12 22:21:57 TYFRfDWF2ncPChttps://www.oklink.com/zh-hant/trx/address/TYFRfDgnh8ihYHNJAnizL7FHaNWWF2ncPC
19.D3D44X,丝印Marking电子元件丝印 D3D44X MARKING AAT3221IJS-2.85-T1 2SB1168 CDLL4114 P4KE120A UM4750DB-FQ TC1303B-JE1EUN MAX4798ETT ADS7042IRUGR BZX85C120 LR1106G-31-AE3-3-R XC6103H647MR MUN5215DW1T1 TSSOP-14 LD1117G-33-TQ3-D-R LV8417CS ADA4939-2YCPZ-RL IRLMS6702PbF SK1020D1 BY500-50 XC611https://www.838dz.com/markingsiyin/D3D44X.html
20.Zebra斑马RFD40UHFRFID标准背夹参考手册.pdfZebra斑马RFD40 UHF RFID 标准背夹参考手册.pdf,RFD40 RFID 标准 Sled 产品参考指南 MN-004189-01ZHCN ZEBRA 和标志性的 Zebra 斑马头像是 Zebra Technologies Corporation 在全球许多司法管辖区内注册的商 标。所有其他商标均为其各自所有者的财产。 ? 2021 Zebra Technhttps://m.book118.com/html/2022/1031/8115076063005007.shtm
21.欧美泳装OMOM女子泳衣RFD3638多少钱天猫精选 10-27 23:44 0 0 nabaiji 湃绮 DECATHLON 迪卡侬 nabaiji 湃绮 DECATHLON 迪卡侬 nabaiji 湃绮 女子连体泳衣 8559454 129.9元 天猫精选 10-27 20:18 0 0 DECATHLON 迪卡侬 女子连体泳衣 高弹显瘦 S 38 (100-110斤) 深空蓝 49.9元 京东 10-25 17:02 0 0 OMOM 连体泳衣女纯欲辣妹https://m.smzdm.com/p/123205563/
22.RFD和FFD之间有什么具体区别fzhman全功能设备(FFD)和精简功能设备(RFD)。其中,FFD 设备可提供全部的 IEEE 802.15.4 MAC 服务,可充当任何 ZigBee 设备,因此 FFD 设备不仅可以发送和接收数据,还具备路由功能;而 RFD设备只提供部分的 IEEE 802.15.4 MAC 服务,只能充当终端节点,不能充当协调点和路由节点,因此它只负责将采集的数据信息发送给协调点和http://blog.chinaunix.net/uid-26851094-id-3453839.html
23.RFDelectronicGmbHSRZ32.0Nr.8536.4900「阀门」hydac HDA3844-A-400-000 压力变送器RFD electronic GmbH SRZ 3-2.0 Nr.8536.4900 自动控制器Hawe P22-1 阀门我们是一家德国公司,主要业务是做欧洲和美国原装进口仪器仪表,机电工控类产品, 如果还有什么需求,都可以联系我问问看。只要有品牌和型号就可以.有问题咱们电话保持联系 北京康拉德科技有限公司 品牌负责人:https://m.makepolo.com/product/100567596383.html
24.RFD在面料里是什么意思?面料纺织服装RFD在面料里是什么意思? RFD在面料里是指什么意思?谢谢 [ 本帖最后由 zhuyiliang 于 2010-3-18 09:35 编辑 ]keweitt 福步比邻 UID 1183619 积分1094 帖子44 阅读权限 10 注册2009-11-15 状态 离线 #2 发表于 2010-3-18 09:52 福步外贸论坛 - 归档内容,请登录后查看 Please log in to view. https://bbs.fobshanghai.com/thread-2549698-1-1.html
25.RPIRPI-352 RV4141AMT RFD3055LE RFP3055 RURG1520CC REF5025AID RFD14N05 REG102GA-A RGP10D RURP860,全新正品原装现货,QQ:2314353977,QQ:3394757524,提供电子元器件配单配套服务! 联系电话:13682648425(微信同号) EMail:2314353977@qq.com,3394757524@qq.com https://www.51dzw.com/companynews/news_382644.html
26.日本B&PLUS传感器全系列RFD0801PU05,RXD1202PURVTA-411-25-MH***-01,RVTA-411-25-PU-01,RVTA-411-25-PU-04,RVTA-411-44-PU-01, RVTA-411-44-PU-02,RVTA-411-44-PU-03;RVTI-C01-21-PU-01,RVTI-030-21-PU-01,RVTI-030-21-PU-03; BCN5,1804P-S4;BCN5,1804P1-S4;BCX,1202D1;BCX,1203F;BCX,1203F-CP03;BCX,1203F-PU-CPhttps://yahanjidian.cn.china.cn/supply/5020189484.html
27.诊断SARSCoV2、mers和 nl63、229e、oc43和hku1感染的用途,以及试剂盒,其包含含有seq id no:1或其变体的多肽,所述多肽优选包被在诊断上有用的承载体上,以及选自包含以下的组的一种或多种、优选所有试剂:针对seq id no:1的抗体;洗涤缓冲液;用于检测抗体的存在的工具,所述抗体优选为iga类抗体;优选与iga类抗体特异性结合https://www.xjishu.com/zhuanli/52/202180001126.html
28.CC44470点击查看大图 产品价格:< 面议 产品型号:FOXBORO 品牌:FOXBORO 公司名称:广东东盛仪表器材有限公司 所在地:广东广州 浏览次数:850次 更多 立即询价 产品简介 CC44-470-RD6用于FOXBORO 记录笔笔头recorder pen 产品详细信息 FOXBORO记录笔 80-36-1190-01 www.jilubi.com G0114SR G0114SW G0114TE GO114SW L0121http://www.18show.cn/product/detail/12115063.html
29.第44集我愿意山鬼高音质在线试听第44集我愿意歌词歌曲下载酷狗音乐为您提供由山鬼演唱的高清音质无损第44集 我愿意mp3在线听,听第44集 我愿意,只来酷狗音乐!https://www.kugou.com/mixsong/5rfd4ffd.html