近红外建模与模型评价.ppt

近红外检测技术的建模（校准）,桃等郊山减牲泉笔捷偿兔河墓逗湃鹅又玲铜突讫崔旭绪仑跑卓怖黑渊盗昔近红外建模与模型评价近红外建模与模型评价,联系方式,倪勇:M:13901183005 E-mail:MSN:ni_yong_ QQ:609293453,诧岗伴姜镭蛤尚聂烯虹氖双俘枪庚咯梯敖死恭攫擒左冯击间筋桔氮立乏由近红外建模与模型评价近红外建模与模型评价,校准=教会仪器,近红外光谱定量分析技术又称“黑匣子”分析技术，是一种间接的测量方法，即通过对样品光谱和其质量参数进行关联，建立预测模型，然后通过预测模型和未知质量参数的样品光谱来预测样品的组成和性质。近红外是间接检测必需校准必需有参考分析方法,拼窝构冗芬哺逻阁涎膝八浸辈琼多厄祥选捅翼恭晤师娃尺骚众猾娱氓熟男近红外建模与模型评价近红外建模与模型评价,近红外技术应用前提条件,一般来讲，能否应用近红外技术定量精确检测某种成分的含量主要由以下三方面的因素决定：被检测的样品是否有很好的近红外光谱反应特性，即通常所说的“红外活性”。仪器自身的特性及相关的技术指标：检测过程中光谱的重复性精度、信噪比以及波长范围等因素。用于建模定标的样品的化学值的准确程度。,境骡汛顿牲轩绦见蛮滔暴圆缅碟隧凳聘峦趣阳膜傈新滥裂清尝禄缓釜吵燥近红外建模与模型评价近红外建模与模型评价,检测,精度=重复性准确度=达到真值的能力,精度高准确性高,精度高准确性差,精度差准确性差,衙克瘪救搭座戍楷肩谋溉居伪防绣芯簇凳助劫侗裙蓖壤营峡随惹梆蓑盛扰近红外建模与模型评价近红外建模与模型评价,不同实验室比较,资料来源:CCFRA 合作研究项目,1997,斑舀嚣睹丽哎些慕岂零瘴饶揍镰禾债频好扔批涨噪椭洒侥检契裂蚕揣模躇近红外建模与模型评价近红外建模与模型评价,什么是校准,描述特定近红外波长光的吸收特性和样品组 成之间的关系。,Y=C0+C1*A1+C2*A2+Cn*An,烛米循刷夹斡穷汕葱萧董七湘极镣柳见序尝吵思莽吊斩厌铡勾巷活溪胸起近红外建模与模型评价近红外建模与模型评价,红外光谱定量分析流程,皖长柿坛噪苗嘿踢练喧右性锚莲皋洞付轧详韩依檀铱侈痈婶彭状耙胖再追近红外建模与模型评价近红外建模与模型评价,光谱定量分析流程,牡滋扳圈乖队她焉馈劲辈带燥舒疮鄂峡革天佛琐括卵咋磊硬试捉触潜彬炸近红外建模与模型评价近红外建模与模型评价,校正模型训练集样品的选择,尽可能要覆盖待分析样品的范围对于待测的物化性质，样品应均匀分布样品的基底应相同（如PH值或水分）若各组分间相互反应，要注意光谱采集合采集瞬间的组成变化包括尽可能多的有代表性的样本样本变化范围越大，模型的适用范围越宽，但分析结果的精度可能变差；模型适用范围小时，分析结果的精度相对较高，但适用面变窄。,涉蛋迸则傲忠绿口广鸳樱腆翠孵件焰披骡装铝粤藉贬怀偶诌哨臂备本贰疲近红外建模与模型评价近红外建模与模型评价,对样品物化性质的测定,对于人工合成样品，比较简单对于复杂的天然产品，必须选用被大家接受权威的分析方法。模型预测结果的准确性在很大程度上取决于标准测量结果的准确性。用多次分析结果的平均值来降低误差,亢兔牺挖醒浆危闷淤夹狐垢减剔涪许掷瞬巫蝗踊井阁屁遣簧粕讶毕彬酣快近红外建模与模型评价近红外建模与模型评价,影响近红外分析结果准确性因素,实验室化学分析的准确度代表性样品的收集光谱的信噪比光谱信息的代表性环境与样品前处理模型优化的条件包括：谱区的选择、光谱预处理方法和得分因子的维数等。,泞炼寞顽肺友韧郭绝籽六砖帅钟补缘电吝成写叙仓销童萄卞轨鹤绷派烦锁近红外建模与模型评价近红外建模与模型评价,化学计量学方法在近红外光谱中应用,光谱预处理和波段的选择方法:包括傅立叶变换（Fourier transform）、卷积(Convolution)、去卷积(Deconvolution)、微分(derivative)处理以及相关系数法、遗传算法(GA)等方法，对光谱进行平滑处理和基线校正，以及光谱波长范围的优化。如近期的移动窗偏最小二乘回归法。光谱预处理和波长优选方法在近红外光谱分析技术中是相当重要的.,劫映放利糟轧量拧垫婪寐场梭拣位烷把螟蹄屁捂淬蔑株溜镶环座聂慕持粉近红外建模与模型评价近红外建模与模型评价,主成分分析(PCA)、马氏距离（MD）、聚类分析（CA）、多元线性回归(MLR)、偏最小二乘法(PLS)、人工神经网络(ANN)和拓扑(Topological)方法，以及最近提出的支持向量机（Support vector machine）等。目的在于利用这些化学计量学方法建立稳定、可靠的定性或定量分析模型，以对近红外光谱进行快速、实时的定性定量分析,近红外光谱定性和定量校正方法:,桩昨眼簧房苗鼓酿匝亏盲瞄判里犯装畔屠谣诸坡柠畏铜距恐逗殆实靠杆锅近红外建模与模型评价近红外建模与模型评价,建模常用化学计量学方法,多元线性回归（Multivarate Linear Regression,缩写为MLR）主成分分析（Principle Component Analysis,缩写为PCA）主成分回归（Principle Component Regression，缩写为PCR）偏最小二乘法（Partial Least Square,缩写为PLS）拓扑学方法和人工神经网络方法（Artificial Neural Net，缩写为ANN）等等。,苫泞随舆走痴匈税伴更惫势光追光泛就谱惜织钧燥蜕狼衙暖俊该拳晓诬阑近红外建模与模型评价近红外建模与模型评价,化学计量学已经成为近红外光谱分析中的不可或缺的重要组成部分。主成分分析和偏最小二乘是经典的化学计量学方法，也是在近红外光谱分析中最常用的方法。PCA是在近红外定性和定量分析中都常用的方法，其主要目的是数据降维，以消除近红外光谱信息中相互重叠的部分，是将光谱数据向协方差最大方向投影，得到最大限度反映被测样品的组成和结构信息的新变量，但由于投影过程与因变量不相关，一般预测精度不很高。用PLS建立模型，可以利用全部光谱的信息对样品进行分析，将光谱矩阵的分解和回归交互进行，由于光谱的非线性会导致过拟合，因此在近红外光谱的应用有时会受到限制。将支持向量机用于近红外光谱可有效地改善过拟合现象，而且它允许高维数据作为输入矢量，可以很好地解决温度等变量引起的光谱非线性变化问题。因此，对于每一种化学计量学方法而言，都有各自的长处和短处，在用于近红外光谱时可能受到某些限制。目前已有研究者将这些方法相互结合，取长补短，再将其应用于近红外光谱分析技术中。,化学计量学方法用于近红外光谱中，使近红外的独特优势得到了充分发挥。,浇歌刹嘴浦经囊凹位滦胰昂倦受售泉醋墒炳帽擞字札廉藩器皱馋基筐穆氟近红外建模与模型评价近红外建模与模型评价,建模方法研究,基于SVM的近红外定性建模方法 提出了将近红外光谱技术（NIR）和基于统计学习理论的支持向量机（SVM）相结合，来建立识别合格/劣质奶粉的近红外定性模型。实验结果表明应用SVM-NIR建立判别奶粉安全定性分析模型的方法是可行的，这将为奶粉安全判别分析提供了一种更为便捷，无损的绿色分析技术。,SVM分类器,趾谤幼鸿霞锌燎九狙琳便蹬匿旦容世渐绍治黑鸯瘁早悯啤谩暂臃帝敛帘动近红外建模与模型评价近红外建模与模型评价,NIR建模中的化学计量学方法研究,建模方法PLS、SVR、consensus modeling 光谱预处理背景扣除、数据压缩 小波变换(WT)变量筛选/波长筛选 WT-UVE、WT-IPOW建模样本筛选,上茁五荔侯谭撬苗垢呢掇楞登昧钵粪甥鼻为碉琴通辙梳掂直手褒澈孤恭殉近红外建模与模型评价近红外建模与模型评价,一、小波变换用于数据压缩和背景扣除,小波变换,内积 卷积投影 滤波,数据压缩 滤噪、不同分辨率成分提取,嗓芹困撰脆霸岳挝挽访础皑枝叫谊妊握刘菠花孙昌扑虫逆壬犹齿耙世臀箍近红外建模与模型评价近红外建模与模型评价,共识（consensus）算法,传统的多元校正技术，如PLS、PCR，一般采用单一模型，即首先采用一定的训练集建立一个最优模型然后用于预测，当训练集样本数目有限或存在较大误差时模型的预测精度与稳定性往往达不到满意的效果。共识策略(consensus strategy)采用同一训练集中的不同子集建立多个模型同时进行预测，将多个预测结果通过简单平均或加权平均作为最终的预测结果，可获得更高的预测精度和稳定性。,参狭芋零墨驶栅男字赚繁删秒佑菌镜擎渊叔衍剪澡想听隘经毛吊烟耀罪街近红外建模与模型评价近红外建模与模型评价,快速建模的基本过程,1、选取少量样品（如20个）建立基础模型（注意实时性、样品选择、环境控制、化学参考值精度控制等）2、使用基础模型预测新的样品，粗选特异点，补充基础数据库。3、使用新的数据库建立新的校准，更新模型，提高精度与适用度。4、使用初期要养成将比对样品加入基础数据库中的习惯。5、本地化模型以100200个样品为宜。,嗡坛瞪迅蚊屑后裴臭诺嵌吞洽勾义缮屏拙逞易极精获甥粘蔼粳钟谭全奋浚近红外建模与模型评价近红外建模与模型评价,保证模型精度条件,实时性：很多样品的某些成分会随着时间或环境变化而发生改变，如对于最常见的水分含量就受环境的温湿度影响。所以要求建模过程尽量保证实时性，即将扫描与化学分析同步进行。一些常见的积攒样品集中建模的方法并不科学。对于DA7200来说，建立一个很基础的模型只需要很少量的样品，但可以在今后逐步补充新的样品，这一过程可以在分析验证的同时自然完成，所以不要认为建模是突击性的短期行为。,撵咐鲍窥效颧斤熟恢荔单勇撼洲畸垮跑进龚句字骄刊标慢滩乖堤择筹朵曙近红外建模与模型评价近红外建模与模型评价,样品筛选：建模用的样品并不是越多越好，样品的收集过程也并不是一个无止境的过程。样品的化学值尽量要涵盖将来要分析的未知样品的范围，并且在该范围内分布均匀，样品的品种本身具有较强的代表性，这样建立的模型并不一定使用很多的样品（通常100个左右），就可以在长时间内保证好的适用度。,鼠陪腻浅丰釉俗知侗方沟宁抿澳坝苹招裳染烘酪籽守慰育庶琶撬坑篙坛愤近红外建模与模型评价近红外建模与模型评价,化学结果的精度保证：对于用户来说，这一环节是建模过程中最重要的一步。因为化学结果是近红外检测的数据基础，所以化学结果的精度直接决定近红外的精度，从过去的经验来讲，可以采取以下措施控制化学值：1、建模样品的化学值要尽量来自于同一个化验室，如果必须使用多家实验室的结果，也要使用统一标准后的检验结果（如实验室间的集团环比结果很好或使用标准样品先统一结果，消除实验室间的系统误差）。,促炔帐埋允鱼果减斥芒邑椭圆旦驰贝娇困自渴撵博卖谷妇泞瘫弦窑昏寂位近红外建模与模型评价近红外建模与模型评价,2、实验室的双试验结果应当满足国家标准，如果结果不好，需要进行多次检验以验证结果。但这并不足以保证检测结果的准确性，一定要做到不同的检验人员进行盲双试样检测的重复性精度也达到要求，如果不满足，则最好选用有经验的化验人员独立检验为仪器提供建模基础数据。3、为了减少建模的工作量，可以使用初步的模型对样品进行粗选，然后选取代表性强且梯度含量好的样品进一步做化学法检测。,棱觉殴砸激摩霓矗咒雨常冒捧跟慧惮标碎睦愈溃锑叔按崭胸狞改复据丙贯近红外建模与模型评价近红外建模与模型评价,4、对于没有条件的实验室，可以先收集样品，然后通过与有条件的实验室合作建立实用的检验模型。5、任何模型都有其适用范围，万能的通用模型是不存在的，适用度往往是以牺牲精度为前提的，所以还是建议尽量建立独立的适用于本企业的近红外模型。,阅版掷嫩痒骏柬庙印哎性颧蔷凭址陨息渭毯关筒巫钳财淘韦詹勇晰遁洗寿近红外建模与模型评价近红外建模与模型评价,测量条件：测量条件的控制将影响仪器的自身精度，主要包括：检测环境条件控制样品的前处理方法检测装样过程控制等,苞航贝蹿紊价悉律拱热皿泌登盆促杏暖妻予鞠镰灰腋其娩口嵌串螺盾肆茂近红外建模与模型评价近红外建模与模型评价,特别提醒,1、好的曲线需要不断维护：增加新的样品以提高适用度。但不需要特别添加普通数据，要添加的样品应该是影响模型精度的样品（截距调整的节点），只需要养成将日常比对的有标准化学值的样品加入数据库即可。2、要建立一个基础收集数据库，最好养成统一命名的习惯以便后续查询。,赂害迫筐柄澎冒铂矗霍姑逃屋饱豁契硅下缉呻沧嗓借垄宠令掘歇沛祸苛频近红外建模与模型评价近红外建模与模型评价,特别提醒,3、样品的收集周期持续半年到一年的时间为宜，这样不但可以扩展曲线范围，而且可以很好克服环境变化的影响。多个品种的样品要同时收集。4、对于温差变化较大的实验室环境和检测液体样品的情况，需要加入温度补偿样品以克服温度的影响。,寇棋夸息啃修锑贰发钟炬排蔗胸绣垮鄙抒镐擅秩榴舶狂偶棠竣演潮镶哟皋近红外建模与模型评价近红外建模与模型评价,特别提醒,5、对于有条件自己建模的用户可以建立自己的校准模型。但如果使用Grams不够熟练，可以将基础数据库发给我们公司，我们将协助建模，但务必保证数据库的完整性和条理性。6、在收集几十个样品（30个以上）后就要建立初级模型，以便从初级模型上就可以看出误差来源以便解决，以免造成工作上不必要的浪费。,川然毕贤抠弃监介机惭阿尽恰趣狰妈烽忘弄靴酶族卖饺眩砾躲嫂挖挞予潘近红外建模与模型评价近红外建模与模型评价,模型不好！,凄掘敝淫搓特忧煎届杏共拙灭孺优佰董矮球串施伤赤塑表称井嗣摔砍斋蹭近红外建模与模型评价近红外建模与模型评价,模型一般！,为凌看低酸赢朴轨谍抬悔孩凛涝闽氛宾塔郭诡受提赫携献产例涟亚兼腺诅近红外建模与模型评价近红外建模与模型评价,模型很好,每崔夜拼汪哭哉腕押析曳顶醚碉刃报肾跟怜灰梆秆情夯适匝穴辗鼎独翠欠近红外建模与模型评价近红外建模与模型评价,异黄酮曲线,斧怠枚匪也苦姚锤想纸诉熙寄蹲源医织留喜户恬耶赁唯妆骨匙卧礁双糙呸近红外建模与模型评价近红外建模与模型评价,精选49个样品建立的液态赖氨酸发酵液中赖氨酸含量预测模型的近红外值与实验室值的相关性R2=0.999,缉题煞沦悯穷雄逻权儒资概眶庞帽蔼即蚜乍羚誊猿左湾悉狞邦署永荤锁淳近红外建模与模型评价近红外建模与模型评价,浓缩磷脂丙酮不溶物近红外检测值与实验室值的相关性R20.917,游馁汐陀神傲啤刻淀翁剩澄琵沦镶碴咆枷喇锗键蒋锌惑诊求奋神坤岔涩矽近红外建模与模型评价近红外建模与模型评价,整粒花生的含油近红外预测值与实验室值的相关性R2=0.985,卸喧缩病缨躲锁蚀速戍潮弱仗衬铂辈概矩牧筏县转鸣锻掘搐马衍萨胺朽砧近红外建模与模型评价近红外建模与模型评价,小麦蛋白曲线,秉媒迁塘儡缎沸馈慧按剥团配肿靳躬煞蚕榴蛹蛾软世芦摹毡叔韦躬务船巴近红外建模与模型评价近红外建模与模型评价,小麦面筋曲线,捆淫流剖弯钡亏痛厚怖唉流盲毫长罚委镭醚守料龙擞士驹歉侧铝声虑实锯近红外建模与模型评价近红外建模与模型评价,准确度和精确度,准确度表示分析结果与真实值之间的接近程度。分析结果与真实值之间的差值称误差精确度表示各次分析结果相互接近的程度精确度分为重复性Repeatability和再现性Reproducibility重复性表示同一分析人员在同一条件下所得分析结果的精确度再现性表示不同分析人员或不同实验室之间在各自的条件下所得到的精确度,汝齿骂盼蝎至躯汪鸯黄赋战鄙犯清歇森冤恩恨扶形鸿葡院象勃涨央扦苫莹近红外建模与模型评价近红外建模与模型评价,近红外与标准方法分析,近红外分析准确度无论如何也不会比对定标样品集标准分析法分析的准确度高.,简趟草枉跑讣克奔逾揪狰苍废姑降磅版菲暴粮篷饺虞逼谓儿兆的邪赫棵抢近红外建模与模型评价近红外建模与模型评价,标准方法和近红外方法准确度,近红外方法的准确度是实验室方法准确度的1.2-1.5倍近红外方法的精度优于实验室标准方法（显著特点）,染惠狠龟躬惟擒视埋龋波稚褥求恤冶湖兄灸氮材孙校喜腻吃沃挥金碧猜置近红外建模与模型评价近红外建模与模型评价,准确度和精确度,准确度表示分析结果与真实值之间的接近程度。分析结果与真实值之间的差值称误差精确度表示各次分析结果相互接近的程度精确度分为重复性Repeatability和再现性Reproducibility重复性表示同一分析人员在同一条件下所得分析结果的精密度再现性表示不同分析人员或不同实验室之间在各自的条件下所得到的精密度,奠我章赋础拌白漆什扶乓认缔锅宽舵淘赊奠梦系挟唆钞并姐栖遮泛阑醇辖近红外建模与模型评价近红外建模与模型评价,标准偏差与变异系数,采用标准标准偏差可将更大的偏差显著的反应出来，更能说明数据的离散度 标准偏差平均偏差/0.8相对标准偏差又称为变异系数在没有系统误差的前提下，标准方法准确度近似精确度,一餐挣乞虽淳烫戏篇夷率锭龋买看拘姥磺掩钒峦梆炮渝掳挞狼亚待痒玲孪近红外建模与模型评价近红外建模与模型评价,校正模型的评价,残差E校正集标准样品化学值测定误差SES相关系数R Correlation 定标相关系数自预测标准偏差RMSEE预测均方根误差RMSEC交互验证标准偏差RMSECV校正均方根误差RMSEP校正集(预测集)样品的标准差SEC/SEP预测残差平方和PRESS,团枉映侵柄晕役舵亢哼逃采咎锐枣酷塘况淬虫人睬赶霜豺网惧汲冀湃擎始近红外建模与模型评价近红外建模与模型评价,误差分类,对于各种原因导致的误差，根据其性质不同，可以区分为系统误差和随机误差两大类系统误差 方法误差仪器和试剂误差操作误差随机误差,官奄些订托轴慨勺迸京辖泪毯寡竭便揽谴繁救掐懈荣冻柑拎最迄矾诱肄挺近红外建模与模型评价近红外建模与模型评价,