基于社交媒体图像数据的城市风貌分析方法技术

本发明专利技术公开了基于社交媒体图像数据的城市风貌分析方法，方法包括：获取社交媒体图像数据；对数据集的样本进行分类和去除噪声；使用卷积神经网络进行风貌学习；对样本不平衡问题进行处理；进行迁移学习；对风貌特征进行聚类；计算城市间的风貌距离；分析城市间的风貌相似性及城市的细粒度风貌。本发明专利技术将城市风貌编码为一组向量；解决了社交媒体图像分布的不均衡问题；利用城市风貌向量定义了城市风貌距离，使用该距离能分析出不同城市如何表象出风貌相似和风貌相近的，能分析出风貌距离和地理距离的相关性；使用城市风貌向量为嵌入向量的聚类方法，能够更细致地发现城市细粒度风貌。

【技术实现步骤摘要】
基于社交媒体图像数据的城市风貌分析方法
本专利技术属于人工智能领域，具体涉及基于社交媒体图像数据的城市风貌分析方法。
技术介绍
城市风貌是指一个城市可以被视觉感知的特色，是城市身份、地域文化和城市魅力与活力的重要标志。它受物质环境和非物质环境共同影响，包括山水环境、开敞空间、建筑形体等景观要素。受全球化影响，许多城市逐渐丧失特色，出现了“千城一面”的风貌趋同问题。近十年来，城市特色营造和城市风貌规划已经备受重视，但是由于文化特色难以衡量，各城市之间的风貌独特或相似程度不好评判，适用于城市风貌建设的科学定量方法和客观分析技术仍有待完善。世界上没有两片完全相同的叶子，城市之间也不会完全的相同或者不同。提取城市的视觉特征、风貌特征，有利于将其作为城市设计、管理的依据，同时也作为游客们旅游时的参考。许多研究者已经从视觉元素、要素类型等方面探讨了城市的独特性，也有人从特征图的角度探索了城市的相似性与独特性。对城市的风貌特征进行描述与表示有助于衡量城市间的独特或相似程度，但是，较早的研究如专利文献1-3，主要是依靠调查问卷和访谈的方式来探索城市的风貌特征，这些方法为今后的研究提供了很好的思路，但是该方法不能快速地捕获关键的视觉信息，是一项非常耗时耗力的工作。图像数据是客观反映城市风貌的一种重要的信息媒介，同时也是以日常生活视角去观察城市局部风貌的一种方式。随着各种社交软件(如Flickr、微博、Instagram)、网络地图服务(如：Google、腾讯)等的快速发展，图像数据的获取变得更加的容易，覆盖城市各个角落的图像数据也在日益增加。随着计算机技术的日新月异，许多研究者开始重视针对城市图像数据的挖掘与利用，如非专利文献4探索最能体现巴黎城市特质的风貌元素，了解什么样的阳台或窗户看起来最像巴黎；非专利文献5探索是什么使伦敦看起来非常美丽、安静和快乐。然而，由于已有技术无法处理海量图像数据的任务需求，社会迫切需要更高效率、智能化的处理方法。近年来，随着深度学习在计算机视觉领域的快速发展，非专利文献6-9中，具有强大的学习能力与表达能力的卷积神经网络在图像分类、图像场景识别等任务上取得了突破性进展。在城市图像研究方面，非专利文献10-12主要是涉及城市感知、城市和建筑风格以及地点识别与城市相似分析等相关研究。非专利文献13中，Zhang等人建立了一个覆盖18个城市的社交媒体数据集，使用一个深度卷积神经网络图像分类方法来衡量城市场景、物体的相似性，并发现城市整体的独特性，但是他们没有研究构成城市整体特色的细粒度风貌类型。许多研究已经利用这两种类型的数据全面了解了城市。非专利文献14,15将网络图像数据用于旅游分析。非专利文献10将街景影像主要用于对城市进行预测分析、城市安全性分析等。非专利文献16中，周博磊等人利用网络数据对7个城市进行了城市要素类型分析，并探讨了城市间的相似性与差异性。还有非专利文献17利用网络图像数据从城市整体的分布结构和独特性等方面评价了不同城市的意象特征。非专利文献18中，Kita利用Google街景影像的房屋图像预测了车祸风险，提出了风险预测模型。非专利文献19中，Salesses等人利用Google街景影像分析了4个城市的街道安全度。然而还没有用网络图像数据进行城市风貌分析的研究。非专利文献20中，Matzen等人创建和标注了大型的服饰数据集，并为该数据集创建了12种服饰属性，使用聚类的方式发现服饰的多种风貌类型组合，并对南北半球服饰进行了对比分析。非专利文献14中，Miriam等人利用目标检测方法和美学计算工具分析照片的拍摄文化风貌，使用监督分类的方法定量分析了照片拍摄的相似程度。非专利文献21中，Shen等人提出了一种视觉一致性的方法，通过余弦相似度挖掘艺术作品中完全一致的区域。现有技术还没有一种从海量社交媒体图像中学习城市风貌，并对城市间的风貌相似性，及城市的细粒度风貌进行分析的方法。在先技术文献非专利文献1.Milgram,S.,ApsychologicalmapofNewYorkCity.AmericanScientist,1972.60(2):p.194-200.2.Twigger-Ross,C.L.andD.L.Uzzell,Placeandidentityprocesses.Journalofenvironmentalpsychology,1996.16(3):p.205-220.3.Paasi,A.,Regionandplace:regionalidentityinquestion.Progressinhumangeography,2003.27(4):p.475-485.4.Doersch,C.,etal.,Whatmakesparislooklikeparis？ACMTransactionsonGraphics,AssociationforComputingMachinery,2012.31(4).5.Quercia,D.,N.K.O'Hare,andH.Cramer.Aestheticcapital:whatmakesLondonlookbeautiful,quiet,andhappy？inProceedingsofthe17thACMconferenceonComputersupportedcooperativework&socialcomputing.2014.6.Sun,Y.,etal.,AutomaticallydesigningCNNarchitecturesusingthegeneticalgorithmforimageclassification.IEEEtransactionsoncybernetics,2020.50(9):p.3840-3854.7.Ma,B.,etal.,Autonomousdeeplearning:AgeneticDCNNdesignerforimageclassification.Neurocomputing,2020.379:p.152-161.8.B.Zhou,A.L.,A.Khosla,A.OlivaandA.Torralba,Places:A10MillionImageDatabaseforSceneRecognition.inIEEETransactionsonPatternAnalysisandMachineIntelligence,1June2018.40,no.6:p.pp.1452-1464.9.Tang,P.,H.Wang,andS.Kwong,G-MS2F:GoogLeNetbasedmulti-stagefeaturefusionofdeepCNNforscenerecognition.Neurocomputing,2017.225:p.188-197.10.Zhang,F.,etal.,Socialsensingfromstreet-levelimagery:Acasestudyinlearningspatio-t本文档来自技高网...

【技术保护点】
1.基于社交媒体图像数据的城市风貌分析方法，其特征在于，包括以下步骤：/n获取社交媒体图像数据，建立数据集；/n对数据集的样本进行室内室外图像分类，剔除室内图像样本，对室外图像样本进行去除噪声处理，去除不代表城市风貌的样本；/n对处理后的数据集使用卷积神经网络进行风貌学习；/n采用焦点损失函数对样本不平衡问题进行处理；/n使用预训练模型进行迁移学习，用于解决过拟合和训练时间长的问题；/n使用最小化信息量准则对风貌特征进行聚类；/n计算城市间的风貌距离；/n根据所述风貌距离分析城市间的风貌相似性，及根据聚类结果分析城市的细粒度风貌。/n

【技术特征摘要】
1.基于社交媒体图像数据的城市风貌分析方法，其特征在于，包括以下步骤：
获取社交媒体图像数据，建立数据集；
对数据集的样本进行室内室外图像分类，剔除室内图像样本，对室外图像样本进行去除噪声处理，去除不代表城市风貌的样本；
对处理后的数据集使用卷积神经网络进行风貌学习；
采用焦点损失函数对样本不平衡问题进行处理；
使用预训练模型进行迁移学习，用于解决过拟合和训练时间长的问题；
使用最小化信息量准则对风貌特征进行聚类；
计算城市间的风貌距离；
根据所述风貌距离分析城市间的风貌相似性，及根据聚类结果分析城市的细粒度风貌。


2.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，所述对数据集的样本进行室内室外图像分类的方法采用室内室外二分类模型resNet18，所述对室外图像样本进行去除噪声处理的方法为无监督聚类方法。


3.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，所述风貌学习的方法如下：
训练一个以城市图像数据作为输入，图像分到各个城市的概率值p作为输出的卷积神经网络；从数据集中随机抽取B张图像输入到所述卷积神经网络中，其中，B为batchsize，通过卷积神经网络的第l层得到Nl张特征图，每张特征图的大小为W*H，将所述每张特征图展平为一维向量S＝(a1,a2,……,aW*H)T，其中，ai为该张特征图上的第i个特征值，得到了Nl维的向量并且分别计算Si的均值Meani和标准差Stdi，将所有的均值Meani和方差Stdi组成风貌向量：

将所述风貌向量作为风貌特征输入到全连接层中进行学习。


4.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，所述焦点...

【专利技术属性】
技术研发人员：李朋龙，丁忆，罗莉，马泽忠，肖禾，赵玲，李海峰，韦宏林，罗鼎，段松江，魏文杰，钱进，程丽丹，胡艳，殷明，
申请(专利权)人：重庆市地理信息和遥感应用中心，中南大学，
类型：发明
国别省市：重庆;50