(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 106909946 A(43)申请公布日 2017.06.30
(21)申请号 201710121903.9(22)申请日 2017.03.02
(71)申请人 深圳明创自控技术有限公司
地址 518000 广东省深圳市南山区粤海街
道科技中三路1号海王银河科技大厦908(72)发明人 不公告发明人 (51)Int.Cl.
G06K 9/62(2006.01)G06Q 30/06(2012.01)
权利要求书3页 说明书4页 附图1页
(54)发明名称
一种多模态融合的商品分类系统(57)摘要
本发明提供了一种多模态融合的商品分类系统，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。本发明的有益效果为：能够实现较为精确和快速的商品分类。
CN 106909946 ACN 106909946 A
权 利 要 求 书
1/3页
1.一种多模态融合的商品分类系统，其特征是：包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块，所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。
2.根据权利要求1所述的一种多模态融合的商品分类系统，其特征是：所述基于图像的商品分类模块用于获取商品图像的分类结果，具体为：
(1)对需分类的商品图像进行图像去噪处理，包括：1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；
2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；
4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。
(2)获取商品的图像分类结果和图像分类得分。
3.根据权利要求2所述的一种多模态融合的商品分类系统，其特征是：所述采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪，具体包括：
(1)对初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；
(2)对该样本块集合进行自适应字典训练，得到自适应学习字典D；
(3)对该需分类的商品图像P按照另一设定的滑动距离再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；
(4)求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：
y(P)＝Dμ
(5)将输出图像块进行融合处理，得到预去噪图像y′(P)；(6)对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：
y″(P)＝DZ*XS′式中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。
4.根据权利要求3所述的一种多模态融合的商品分类系统，其特征是：所述获取商品的图像分类结果和图像分类得分具体为：将第j类商品图像的训练样本集表示为Fj＝[fj，1，fj，…，fj，则所有类别的训练样本集F＝[F1，F2，…，FN]构成过完备字典，其中，N表示商2，n]，品类别数，对于未知类别测试样本t，可表示为F的线性组合：
2
CN 106909946 A
权 利 要 求 书
2/3页
t＝Fa式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；定义函数ρ该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可j(a)，表示为：
式中，jbe表示测试样本t所属类别，Fρ||t-Fρj(a)表示测试样本第j类的重构图像，j(a)||2表示原始图像和第j类重构图像的重构残差；
图像分类得分为：
式中，表示商品属于第j类的图像分类得分，1≤j，k≤N。
5.根据权利要求4所述的一种多模态融合的商品分类系统，其特征是：所述基于文本的
商品分类模块用于获取商品文本的分类结果，具体为：
训练文本集
式中，wi为已知类别文本，为文本类别，某商品待分
类文本wt中包含不同的词wi，将文本表示为wt＝(w1，w2，…，wn)，n为文本中词的数量，统计wi在文本wt中出现的频次pi和在训练文本集文本中出现的最高频次将文本表示为
计算wt与W中文本wi的相似度，得到与wt最近似的l个wi，
计算相对词频
式中，表示wt的第i个词wi的相对词频，表示wi的第i个词wi的相对词频；
Wl表示l个最近邻文本，计算Wl中各类别占比，占比最大的类别包含文本数为l1，作为wt的类别
占比第二大的类别文本数目为l2；文本分类得分为：
6.根据权利要求5所述的一种多模态融合的商品分类系统，其特征是：所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：
假设待分类商品图文样本(t，w，y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T，W，Y)＝{(ti，wi，yi)}，其中，i＝1，2，…，n，n表示样本集中样本数量；
对图像分类得分和文本分类得分进行线性组合：
3
CN 106909946 A
权 利 要 求 书
3/3页
式中，图像分类得分，
为商品属于第j类的图文融合得分，为商品属于第j类的
为商品属于第j类的文本分类得分，δδ1和2为根据样本学习得到
的权重系数；
通过下列商品类别判定公式得到商品类别：
4
CN 106909946 A
说 明 书
一种多模态融合的商品分类系统
1/4页
技术领域[0001]本发明涉及商品分类技术领域，具体涉及一种多模态融合的商品分类系统。背景技术[0002]商品分类为商品检索、商品置放策略制定以及智能推荐等提供了有力支撑。图像作为商品的主要信息载体，基于图像的商品分类技术研究己成为图像处理、计算机视觉和模式识别领域的研究热点。然而，现有的商品分类方法仅对商品的图像进行研究而忽略了商品的文本信息，另一方面，现有的商品分类方法存在分类准确率低、分类速度慢等问题。发明内容[0003]针对上述问题，本发明旨在提供一种多模态融合的商品分类系统。[0004]本发明的目的采用以下技术方案来实现：[0005]提供了一种多模态融合的商品分类系统，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。[0006]本发明的有益效果为：能够实现较为精确和快速的商品分类。附图说明[0007]利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。[0008]图1是本发明的结构连接示意图；[0009]附图标记：[0010]基于图像的商品分类模块1、基于文本的商品分类模块2、图文融合分类模块3、商品分类准确度评价模块4。
具体实施方式[0011]结合以下实施例对本发明作进一步描述。[0012]参见图1，本实施例的一种多模态融合的商品分类系统，包括基于图像的商品分类模块1、基于文本的商品分类模块2和图文融合分类模块3，所述基于图像的商品分类模块1用于获取商品图像的分类结果；所述基于文本的商品分类模块2用于获取商品文本的分类结果；所述图文融合分类模块3用于融合基于商品图像的分类结果和基于文本图像的分类结果，得到并输出商品类别。[0013]本实施例能够实现较为精确和快速的商品分类。
5
CN 106909946 A[0014]
说 明 书
2/4页
优选地，所述基于图像的商品分类模块1用于获取商品图像的分类结果，具体为：
[0015](1)对需分类的商品图像进行图像去噪处理，包括：[0016]1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；[0017]2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；[0018]3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；所述K-MEANS聚类方法具体描述如下：步骤1：随机选取k个聚类质心点为μμμ步骤2：对于每个样本例i，计算其应该属于的类，对于每一个类j，重新计算该1,2,…,k，类的质心，步骤3：重复步骤2，直到收敛；[0019]4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。[0020](2)将第j类商品图像的训练样本集表示为Fj＝[fj,1,fj,2,…,fj,n]，则所有类别的训练样本集F＝[F1,F2,…,FN]构成过完备字典，其中，N表示商品类别数，对于未知类别测试样本t，可表示为F的线性组合：[0021]t＝Fa[0022]式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；[0023]定义函数ρ该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属j(a)，类别可表示为：
[0024]
式中，jbe表示测试样本t所属类别，Fρ||t-Fj(a)表示测试样本第j类的重构图像，
ρj(a)||2表示原始图像和第j类重构图像的重构残差；[0026]图像分类得分为：
[0027][0028][0029]
[0025]
式中，表示商品属于第j类的图像分类得分，1≤j,k≤N。
一方面，本优选实施例对需分类的商品图像进行多次去噪处理，能够获得较好的去噪效果，并且适用于的商品图像，在对商品图像进行块划分之前先进行光照归一化处理，有利于后续图像块特征的提取，从而提高聚类的精度，进而提高去噪的精度；另一方面，本优选实施例使用上述算法确定图像分类结果，提高了图像分类准确度，定义了图像分类得分，为进一步进行分类信息融合打下了基础。[0030]优选地，所述采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪，具体包括：[0031](1)对初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；[0032](2)对该样本块集合进行自适应字典训练，得到自适应学习字典D；
6
CN 106909946 A[0033]
说 明 书
3/4页
(3)对该需分类的商品图像P按照另一设定的滑动距离再次进行滑动窗口的块划
分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；[0034](4)求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：[0035]y(P)＝Dμ[0036](5)将输出图像块进行融合处理，得到预去噪图像y′(P)；[0037](6)对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：[0038]y″(P)＝DZ*XS′[0039]式中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。[0040]所述基于文本的商品分类模块2用于获取商品文本的分类结果，具体为：
[0041]
训练文本集式中，wi为已知类别文本，为文本类别，某商品
计算相对词频
待分类文本wt中包含不同的词wi，将文本表示为wt＝(w1,w2,…,wn)，n为文本中词的数量，统计wi在文本wt中出现的频次pi和在训练文本集文本中出现的最高频次
将文本表示为
[0042]
计算wt与W中文本wi的相似度，得到与wt最近似的l个wi，
[0043]
[0044][0045][0046][0047]
式中，表示wt的第i个词wi的相对词频，表示wi的第i个词wi的相对词频；
Wl表示l个最近邻文本，计算Wl中各类别占比，占比最大的类别包含文本数为l1，作
占比第二大的类别文本数目为l2；文本分类得分为：
为wt的类别
所述图文融合分类模块3用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：[0049]假设待分类商品图文样本(t,w,y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T,W,Y)＝{(ti,wi,yi)}，其中，i＝1,2,…,n，n表示样本集中样本数量；[0050]对图像分类得分和文本分类得分进行线性组合：
[0051][0052]
[0048]
式中，为商品属于第j类的图文融合得分，
7
为商品属于第
CN 106909946 A
说 明 书
4/4页
j类的图像分类得分，为商品属于第j类的文本分类得分，δδ1和2为根据样本学
习得到的权重系数；
[0053]通过下列商品类别判定公式得到商品类别：
[0054]
本优选实施例对初次去噪后的需分类的商品图像进行二次去噪处理，能够很好地保留图像的细节，滤除噪声；采用商品分类模块确定文本分类结果，提高了文本分类准确率，定义了文本分类得分，为进一步进行分类信息融合打下了基础；同时考虑商品的图像视觉信息和描述文本信息，对两种不同模态信息进行融合，提高了商品分类准确率。[0056]优选地，还设有商品分类准确度评价模块4，其用于根据设定的商品分类准确度评价函数对系统的商品分类准确度进行评价，商品分类准确度评价函数的值越大，表示商品分类的准确度越高，该商品分类准确度评价函数为：
[0057][0058]
[0055]
式中，NL为商品类别数量，mα为第α类正确分类商品样本数量，Mα为第α类商品样本
数量。
本优选实施例设定商品分类准确度评价函数，从而能够判定系统的商品分类准确度，有利于对商品分类系统的改进。[0060]采用本发明商品分类系统对待分类商品数分别为200、300、400、500、600时的分类情况进行分析统计，并将商品分类准确率和商品分类时间作为该商品分类系统的评价指标，同未采用该商品分类系统相比，产生的有益效果如下表所示：
[0061][0059]
待分类商品数商品分类准确度提高商品分类时间缩短20020％10％30025％15％40030％20％50032％24％60036％31％[0062]最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
8
CN 106909946 A
说 明 书 附 图
1/1页
图1
9
