-
目前三维模型的数量以指数方式快速增长,三维模型检索技术可以帮助用户快速准确地获取符合设计意图的三维模型[1]。最基本的三维检索是提取产品三维形状特征进行相似性匹配,这需要用户给出详细的形式化的形状特征信息才能得到较高的检索正确率,但对于三维物体的形状特征很难用形式化的信息进行描述。当前比较常用的三维检索方式是基于语义特征的检索,但大都是粗粒度的检索,检索出的符合某特征条件的模型数量较多,使用户还需要考虑进一步筛选,使得检索效率不高。
本文考虑到产品之间的特征相关性,结合领域知识,将多本体间属性的语义相关性结合于三维模型检索中,以期在某些特定领域的建模中可以提高三维模型检索的有效性,缩短用户的检索时间。
-
基于跨本体语义相关度的检索算法包括数据获取、数据分析、生成检索条件及形成检索结果4部分构成。
1) 数据获取:获取产品模型实例的特征数据及用户评价数据。
2) 数据分析:通过聚类算法对两个产品本体之间的属性特征的相关性进行分析,相关性较大的特征会聚在一起,因此可以去掉不相关或相关性较小的特征关系,从而实现对特征关系集合的降维。
3) 生成检索条件:本算法中对于特征关系的量化值只有0、1两种取值,表示特征间有相关性或无相关性,考虑到深度信念网络中底层的所使用的受限波兹曼机要求每个神经元只有开和关0、1两种状态,且收敛速度快,因此选择了深度信念网络对实例样本数据的学习,求得各属性关联度权值,形成检索准则即检索条件。
4) 形成检索结果:对于用户提出的产品,在模型库中对相关产品利用检索条件实现对产品之间相关度的确认,最终形成检索结果。
-
聚类分析是数据挖掘中常用技术之一,也是数据统计的常用方法。通过聚类分析,将数据对象进行分组,可以发现各组中的对象相关性较大,不同组之间相关性较小。
聚类算法在三维模型建模中的模型库检索也有很多应用[13],如文献[14]在三维检索过程中对模型库进行处理,将相似性高的模型聚为一组,对三维模型进行了高效分类,以提高三维模型检索速度和准确度。本文主要通过聚类算法对两个模型之间的特征是否具有相关性进行分析,去掉无相关性的特征,从而实现对特征关系集合的降维。
-
深度信念网络(deep belief network, DBN)是由文献[15]提出的。它首先通过无监督学习对网络进行预训练,接着通过标签数据对权值进行微调,从而达到模型最优解。文献[16]通过训练一个5层的深度网络提取音乐的特征,用于音乐风格的分类。
经典的DBN是由若干层RBM和一层BP组成的。DBN网络训练模型中的RBM可以看作对一个深层BP网络权值参数的初始化,使DBN克服了BP网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点。
每层的RBM只有两层神经元组成,一层称为显层,由显元组成,用于输入训练数据,只接受0、1数据,即神经元只有“开、关”两种状态,另一层称为隐层,由隐元组成,用于提取特征。显层和隐层内部的神经元没有互连,只有层间神经元有对称的连接线,也就是给定显元的值,每个隐元的取值互不相关,同理,给定隐元的值,每个显元的取值也互不相关,这使得RBM的训练变得容易。
-
算法流程如图 1所示,假设某类产品X具有特征 $\{{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{m}}\}$ ,另一类产品Y具有特征 $\{{{y}_{1}},{{y}_{2}},\cdots ,{{y}_{n}}\}$ 。相应算法描述如下。
1) 建立两类产品特征之间的关系集合 $C=\{{{c}_{1}},{{c}_{2}},\cdots ,{{c}_{m\times n}}\}$ 。其中 ${{c}_{i}}=({{x}_{j}},{{y}_{k}})$ , $j\in 1,2,\cdots ,m$ , $k\in 1,2,\cdots ,n$ (假设一个产品中的一个特征与另一个产品中的所有特征都有关系)。
2) 对于实例搭配 $\{{{X}_{i}},{{Y}_{j}}\}$ 用聚类算法进行聚类得到s个相关特征集合 $R=\{{{r}_{1}},{{r}_{2}},\cdots ,{{r}_{s}}\}$ , $R\in C$ 。
3) 对于第t个搭配实例,根据式(1) 求出其s个相关特征的值构成集合R中 ${{r}_{i}}(i\in 1,2,\cdots ,s)$ 值,得到样本集。
$${{r}_{i}}=\left\{ \begin{array}{*{35}{l}} 1 & {{x}_{j}}={{y}_{k}} & i\in 1,2,\cdots s \\ 0 & \text{其他} & j\in \text{1,2,}\cdots ,m;\text{ }k\in \text{1,2,}\cdots n \\ \end{array} \right.$$ (1) 4) 对样本集通过DBN训练,生成推荐准则。
① 给定一组样本值Ri, ${{R}_{i}}=\left\{ {{r}_{1}},{{r}_{2}},\cdots ,{{r}_{s}} \right\}$ ,训练第一个RBM;
② 固定第一个RBM的权重和偏移量,其隐元作为第二个RBM的显元,充分训练第二个RBM。
③ 顶层BP网络输入为上一层RBM隐元,输出为标签数据,标签数据对应该样本的用户打分等级。共分五级,分值相对某一等级则取值为1,其他为0。反向传播,以调整权值 ${{\omega }_{i}}$ 。
④ 达到稳定状态,训练结束。得到相关度公式 $\text{relat}(X,Y)$ 如式(2),形成检索条件。
$$\text{relat}(X,Y)=\sum\limits_{i=1}^{s}{{{\omega }_{i}}{{r}_{i}}}$$ (2) 5) 对于输入的某产品,获取其特征语义信息,并在数据库中根据检索条件找到相关度值高于一定阈值的相关产品作为检索结果。
-
针对产品的内在要素和外在要素进行分析,列出其主要特征,在此以餐厅中的餐桌与餐椅为例进行分析。
1) 桌子的特征
桌子的结构最主要由两个部分组成,桌面和桌腿,桌面包含了桌面形状、材质、颜色,桌腿包含了桌腿形状,桌腿材质、颜色、个数,除了这些特征还有整体特征,是否有雕刻,是否有弧度存在。桌子的场景特征包含所使用地点和风格。桌子的本体图如图 2所示。
2) 椅子的特征
椅子的结构主要由椅背、扶手、椅面及椅腿4个部分组成。椅面包含了椅面形状、椅面材质、椅面颜色;椅腿包含了椅腿形状、椅腿材质、椅腿颜色、椅腿个数;椅背包含了椅背形状、椅背高矮;扶手是有无扶手。除了这些特征还有整体特征,是否有雕刻,是否有弧度存在。椅子的场景特征包含所使用地点和风格。
-
本文从互联网上搜集各设计实例,主要针对家用餐厅中的桌椅搭配,其中简约式100例,欧美式50例,中式50例作为调查统计样本。每一套组合对其特征语义进行数据搜集。将所有特征参数值进行归纳和量化。
-
将桌子的每个特征与椅子的每个特征结合,生成特征关系集合。桌子11个特征,椅子16个特征,共生成176个特征关系。但大部分特征之间都无关系。比如桌子的弧度只与椅子的弧度有关系,与椅子的其他特征无直接关系,因此176个特征关系集合中大部分值都是0,可以对其进行降维处理,保留有效的特征关系,生成新的特征关系集合。
-
对于实例中的餐桌餐椅搭配数据,用聚类算法进行聚类。根据聚类结果,可得出餐桌的某特征与餐椅的某特征具有一定的相关性。如桌腿材质与椅腿材质、桌腿颜色与椅腿颜色、桌面颜色与椅腿颜色,桌面材质与椅腿材质等。其本体特征相关性如图 3所示。
将通过聚类分析得出餐桌与餐椅的相关特征两两组合构成一个集合。将每个相关特征对作为一个数据单元。
-
随机选取了50例搭配实例,做成调查表,调查了140人,有效问卷139份,对于每组搭配实例进行评价,评价分为5个等级(1, 2, 3, 4, 5),将所有用户对某一实例搭配的评价值取平均数四舍五入归为5个等级之一,作为该实例的搭配的最终评价结果。根据实例的相关特征的值是否相同赋值为1或0,生成样本集,标签数据为5个等级分类,属于某等级则相应等级的值为1,其他为0。DBN网络结构由两层RBM加一层反向传播网络组成,两层RBM节点数分别为15、10。
-
在模型库管理系统的数据库中,构建各模型的本体库,记录各模型的语义特征信息。如用户选择家庭餐厅,简约风格的桌子时如图 4a所示,系统要根据相关语义检索合适的椅子。
图 4b是只利用文献[6]提到的基于上下文的三维模型方法检索到的椅子,即利用场景领域的信息由桌子找到椅子,但未考虑桌子与椅子的搭配问题。由图中可以看出,检索结果中有欧式,中式,简约式等风格椅子混合在一起,还要由设计师再进一步查找。
图 4c是根据文献[10]提出的产品风格性约束思想进行的检索结果。由图中可看出,椅子在风格上与桌子表现一致,但没有考虑更深层次的如颜色、材质的搭配问题。
图 4d是根据文献[12]提出的家具色彩搭配规则检索到的椅子模型,因为桌子含有两种颜色,因此找到的椅子是含有这两种颜色中的一种。
图 4e是系统利用本文中所描述检索方法根据已知桌子的特征数据,对模型库中的椅子相关语义特征求椅子与所选桌子的相关度,相关度大于一定阈值的椅子作为检索结果。
-
本算法在检索规则生成的过程中使用了聚类算法及深度信念网络,而另外3种算法只是根据某个简单的条件进行查询。因此对于那3种算法只要得到本体语义信息,不需要任何额外计算,所以本算法生成复杂度高于其他算法。
在通过各算法获得首次检索结果中,文献[6]的算法不需要额外的比较,只是从数据库中按顺序取出各模型,其复杂度可计为O(1)。文献[10]需要将桌子的风格与模型库中椅子的风格进行比较,因此其复杂度为O(n),n为模型库中椅子个数。文献[12]中每个模型都需要比较与颜色有关的几个特征,其复杂度为O(n)。本文算法中则需要最终聚类得到的s个相关特征带入相关度公式进行计算,其复杂度也为O(n)。
对于4个算法的检索结果,随机找出10名设计者,要求从4种检索结果首页中选出较满意的搭配,其选择数量结果如图 5a所示。由图 5a可以看出本文提出的算法检索出的首页椅子中满足用户需求的数量最多。
一般用回调率R(Recall)或查准率P(Precision)来衡量检索算法的优劣,回调率与查准率的表示分别为:
$$R=\frac{{{R}_{a}}}{{{R}_{n}}}$$ (3) $$P=\frac{{{R}_{a}}}{A}$$ (4) 式中,Ra表示检索出的符合条件的模型数;Rn模型库中全部符合条件的模型数;A为检索出的总模型数。本文将首页的查准率FP(first precision)作为评价标准,如式(5),即在检索结果首页中出现用户满意的模型的比例。
$$\text{FP}=\frac{\sum\limits_{i=1}^{10}{S}}{10n}$$ (5) 式中,S为10名设计师在首页中找到的满意的模型数目;n为每个检索算法首页检索出的模型数目。图 5b显示了4种算法的首页查准率比较,可见本文提出的算法的首页查准率远远高于其他3种算法。首页的查准率越高,越能使设计师更快地找到自己满意的产品,提高用户的设计效率。
3D Model Retrieval Method Based on Semantic Correlation between Different Ontology
-
摘要: 针对某些特定领域的建模中单一的语义检索条件无法得到理想的检索结果,提出了基于跨本体的语义相关度进行检索的算法。首先构建相关领域的本体,然后对已有实例进行分析,通过聚类算法找出模型本体间具有相关性的属性。再通过调查获取用户对实例的评价数据,对深度信念网络进行训练,求出本体间相关语义属性的相关度权值。最终对模型库中的模型计算与检索模型间的相关度作为检索条件,将大于一定阈值的模型作为检索结果。应用该算法,用户一般在检索首页可以找到较满意的模型,大大缩短了检索的时间。Abstract: In some specific areas, a single condition of semantic retrieval cannot have the ideal results. A retrieval algorithm based on semantic correlation between different ontologies is presented. The algorithm firstly builds the domain ontology, and then analyzes the existing instances to find out the semantic correlation among ontologies by clustering algorithm. Besides, the evaluation data of the user of the instance which is obtained by the survey is used as the sample, with which the deep belief network (DBN) is trained to obtain the weights of correlation between semantics of different ontologies. Finally, the relevancy between the retrieved models and the model in database is computed and the models with higher relevancy are used as the retrieval results. With the retrieval algorithm, the designer can get more satisfactory model in retrieval homepage, which greatly shortens the retrieval time.
-
Key words:
- D model retrieval /
- cluster analysis /
- deep belief network /
- ontology /
- semantic features
-
[1] 潘翔, 张三元, 叶修梓.三维模型语义检索研究进展[J].计算机学报, 2009, 32(6):1069-1079. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJX200906003.htm PAN Xiang, ZHANG San-yuan, YE Xiu-zi. A survey of content-based 3D model retrieval with semantic features[J]. Chinese Journal of Computers, 2009, 32(6):1069-1079. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJX200906003.htm [2] TAO Song-qiao, HUANG Zheng-dong. Assembly model retrieval based on optimal matching[C]//Software Engineering and Knowledge Engineering:Theory and Practice. Berlin Heidelberg:Springer-Verlag, 2012:327-336. [3] SIDDBARTHA C, EVANGELOS K, LENIDAS G, et al. Probabilistic reasoning for assembly-based 3D modeling[J]. ACM Transactions on Graphics, 2011, 30(4):35. http://people.cs.umass.edu/~kalo/papers/assembly/ProbReasoningShapeModeling.pdf [4] MIN P, KAZHDAN M, FUNKHOUSER T A. A comparison of text and shape matching for retrieval of online 3D models[C]//Proceedings of the European Conference on Digital Libraries. Berlin Heidelberg:Springer-Verlag, 2004:209-220. [5] NAN Liang-liang, XIE Ke, SHARF A. A search-classify approach for cluttered indoor scene understanding[J]. ACM Transaction on Graphics, 2012, 31(6):137. http://www.cse.ust.hk/pg/seminars/F12/nan.html [6] MATTHEW F, PAT H. Context-based search for 3D models[J]. ACM Transactions on Graphics, 2010, 29(6):182. https://www.researchgate.net/publication/220183415_Context-Based_Search_for_3D_Models [7] 王占松, 田凌.基于功能的三维模型检索系统[J].计算机辅助设计与图形学学报, 2013, 25(12):1877-1885. http://cdmd.cnki.com.cn/Article/CDMD-10287-1012041754.htm WANG Zhan-song, TIAN Ling. Function-based 3D model retrieval system[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(12):1877-1885. http://cdmd.cnki.com.cn/Article/CDMD-10287-1012041754.htm [8] 黄宏斌, 董发花, 邓苏, 等.一种跨本体的语义相似度计算方法[J].计算机科学, 2008, 35(7):153-156. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJA200807044.htm HUANG Hong-bin, DONG Fa-hua, DENG Su, et al. Approach of determining semantic similarity among concepts between different ontologies[J]. Computer Sciences, 2008, 35(7):153-156. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJA200807044.htm [9] 毕强, 滕广青.基于概念格的多本体协同知识地图构建研究[J].情报学报, 2012, 31(10):1018-1025. http://cdmd.cnki.com.cn/Article/CDMD-10183-1012358662.htm BI Qiang, TENG Guang-qing. A study on knowledge-map construction through multi-ontologies collaboration based on concept lattice[J]. Journal of the China Society for Scientific and Technical Information, 2012, 31(10):1018-1025. http://cdmd.cnki.com.cn/Article/CDMD-10183-1012358662.htm [10] 黄琦. 基于产品风格认知模型的计算机辅助概念设计技术的研究[D]. 杭州: 浙江大学, 2005. http://cdmd.cnki.com.cn/Article/CDMD-10335-2006015252.htm HUANG Qi. Research on the technology of computer-aided conceptual design based on product style recognition model[D]. Hangzhou:Zhejiang University, 2005. http://cdmd.cnki.com.cn/Article/CDMD-10335-2006015252.htm [11] 孙长乐, 宁大勇, 熊伟, 等.基于特征的工程领域CAD模型检索技术[J].计算机集成制造系统, 2014, 20(4):747-754. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJJ201404004.htm [12] 石艳昇. 装饰色彩在现代家具设计上的应用[D]. 武汉: 湖北工业大学, 2013. http://cdmd.cnki.com.cn/Article/CDMD-10500-1013249648.htm SHI Sheng-yan. The application and study of decoration colour in furniture design[D]. Wuhan:Hubei University of Technology, 2013. http://cdmd.cnki.com.cn/Article/CDMD-10500-1013249648.htm [13] 皇甫中民, 张树生, 闫雒恒.鱼群启发的三维CAD模型聚类与检索[J].计算机辅助设计与图形学报, 2016, 28(8):1373-1382. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201608020.htm HUANG FU Zhong-min, ZHANG Shu-sheng, YAN Luo-heng. 3D CAD model clustering and retrieval inspired by fish swarm[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(8):1373-1382. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201608020.htm [14] 毛瑞, 唐雁.基于聚类分析的三维模型检索综述[J].微型机与应用, 2012, 31(10):1-3. doi: 10.3969/j.issn.1674-7720.2012.10.001 MAO Rui, TANG Yan. 3D model retrieval algorithm based on clustering[J]. Microcomputer & its Applications, 2012, 31(10):1-3. doi: 10.3969/j.issn.1674-7720.2012.10.001 [15] 尹宝才, 王文通, 王立春.深度学习研究综述[J].北京工业大学学报, 2015, 41(1):48-59. http://youxian.cnki.com.cn/yxdetail.aspx?filename=DSWZ201706161&dbname=CJFDPREN YIN Bao-cai, WANG Wei-tong, WANG Li-chun. Review of deep learning[J]. Journal of Beijing University of Technology, 2015, 41(1):48-59. http://youxian.cnki.com.cn/yxdetail.aspx?filename=DSWZ201706161&dbname=CJFDPREN [16] HUANG Qiao-li, HUANG Zhi-xing, YUAN Yan-hong, et al. A new method based on deep belief network for learning features from symbolic music[C]//11th International Conference on Semantics, Knowledge and Grids. Beijing:IEEE Press, 2015:231-234.