欢迎文末加入城市数据学社,共同学习进步
小编:影像语义分割应用在多个领域,例如我们经常看到的街景图像识别,计算绿视率,计算天空比,计算建筑占比等。在影像语义分割领域,如何让大家无需学习复杂的Python编码,仅仅通过简单的操作,就可以完成对图像的解析?今天我们为大家推荐一款真正开源、免费、真正基于深度学习全卷积网络(FCN)的视觉影像语义分割软件:来自CUG.HPSCIL的影像识别工具。本软件可以对150个标签进行语义分割,一起来看看详情吧:
配图示意:影像语义分割的街景应用
基于深度学习全卷积网络(FCN)的
视觉影像语义分割软件
发表于2020年8月3日
FCN网络说明
该网络为中国地质大学(武汉)信息工程学院关庆锋教授团队基于ADE_20K数据集训练的深度学习全卷积网络,软件编写语言为C++。
该网络在训练数据集的像素对比精度:0.814426,在测试数据集的像素对比精度:0.66839。
目前已在Win10(64位)>X1050/GTX1080ti测试通过,软件支持多显卡工作站和服务器。
如果需要Caffe平台的训练模型文件,请和姚尧博士(yaoy@cug.edu.cn)联系。软件网址为:
软件运行环境(必须):
Windows8/10(64位)
MicrosoftVisualC++2015/2017Redistributable
NVDIACUDA9.x(建议)
ADE_20K训练和测试数据集介绍和下载(数字0代表位置物体):
大家在本公众号回复:工具,即可免费获取本软件的下载地址。
首先我们下载解压缩软件,把软件解加压到一个文件夹即可,我们会看到如下的目录结构:
这里面的Data文件夹放入我们要进行语义分割的图片,然后点击run.bat,即可运行并生成结果。就这么简单!(可以用记事本修改run.bat,更改输入输出文件夹等设置)
我们先试试看,在\Data\Images放入一些图片,然后点击run.bat,程序会显示运行状态:
稍等片刻,软件提示识别结束,我们打开\Data文件夹下的features.csv,你会发现:
文件名,150类地物在图像中的占比,一清二楚,实在是太方便了!
这时候,在\Data\Images\seg_files文件夹,你会发现一堆黑色的图片,后缀以_seg结尾,预览是黑色,不过不要着急,拖进Arcmap看看:
进行符号化显示:
选择唯一值,点击添加所有值,再单击确定:
图片已经非常清晰的通过不同颜色被语义分割了,我们对照下原图:
软件识别效果还是非常不错的:
我们在arcgis里面点击查询按钮(i),查看不同色彩的属性值,就可以知道识别后的地物是什么类型了:
例如上图,查询出来的像素值就是18。注意是查询像素值,而不是OID。
这时候你有了csv表格,也有了切分后的图片,还缺一样东西,那就是不同像素值所代表的150种分类含义了:
注:以上中文部分是小编翻译的,仅供参考,大家以英文为准。
我们也可以试试拍摄一下窗外的场景,效果也不错:
注,由于同一道路属于多个分类,所以path,road,两种色彩出现在了这条楼间小路上。这些需要我们在研究时候按需合并。
接下来,我们详细的看一下软件的官方介绍:
软件使用说明:
软件支持将照片进行语义分割(支持识别150种物体,类别ID请查看“输出数据说明”),下载后解压到全英文路径。
软件为控制台程序。鼠标右键点击run.bat文件,使用Windows记事本或Notepad++打开run.bat,修改输入参数:图像文件夹路径和输出特征文件路径。修改后保存run.bat文件,并关闭即可。
鼠标左键双击run.bat即可运行。
输出数据说明
输出数据为16位的分割PNG图像文件,命名规则为“输入图像文件名_seg.png”,存储于输入文件夹的”seg_files”文件夹内。
seg_files文件夹需要提前在分割图像文件夹内新建,否则不输出分割文件,只输出分割结果统计文件。
输出的分割PNG图像文件内每一个ID对应一类物体,类别ID在ADE20K_Class.txt文件中查询,0表示未知地物。
输出的特征CSV文件为每张图像中150类地物所占比例。
注意事项
该程序为Windows控制台程序,需要vs2015以上的运行环境支持。如果没有安装2015以上版本VisualStudio,请在这里下载VC运行库:
请保证程序目的和执行都在全英文路径环境下,包括输入参数和图像路径。如果能启动后可识别图像文件,但处理失败的话,文件夹路径改为绝对路径。每张图像尽量不要超过1000*1000大小。文件如果过大可能会超出本地计算机/工作站的GPU内存承载能力,导致内存溢出错误。
注:使用可引用下方论文
Yao,Y.,Liang,Z.,Yuan,Z.,Liu,P.,Bie,Y.,Zhang,J.,…&Guan,Q.(2019).Ahuman-machineadversarialscoringframeworkforurbanperceptionassessmentusingstreet-viewimages.InternationalJournalofGeographicalInformationScience,33(12),2363-2384.
本公众号回复:工具,即可获取本软件下载地址。
扫描以下二维码
直接加入交流群
“城市数据人”申请加入
长按识别二维码,备注城市数据人
加入讨论群
推荐下载知识星球APP,搜索”城市数据学社“
...
小编:5月27日,一年一度的城市商业魅力排行榜发布,在纳入榜单评估的中国内地337座地级及以上城市中,一线城市的座次变为“上北深广”。15座新一线城市依次为成都、杭州、重庆、西安、苏州、武汉、南京、天...
为了进一步推进数字孪生在各行业的应用与落地,2021年3月6日,由光辉城市、天津市城市规划设计研究总院有限公司十一院(智慧城市规划院)、天津市创意城市设计实验室(天津大学)联合主办、超图集...