導航：安全管理網>> 安全論文>> 環境保護論文>>正文

水體有機污染物濃度檢測中的紫外光譜分析方法

文檔作者：吳元清，杜樹新嚴贊文檔來源：浙江大學工業控制技術國家重點實驗室		點擊數：	更新時間： 2025年05月11日
下載地址：點擊這里	文件大小： 564.47 KB 共5頁	文檔格式： PDF	下載點數： 1 點（VIP免費）

全屏查看

內容預覽 [文件共5頁]

本文件共5頁，如需編輯使用，請下載。

注：預覽效果可能會出現部分文字亂碼（如口口口）、內容顯示不全等問題，下載是正常的。

	文件大小：564.47 KB 共5頁文件格式：PDF 下載點數：1 點（VIP會員免費）

上一篇：外加陰離子吸附劑對復合污染黃土淋洗過程…

文本預覽

僅提取頁面文字內容，供快速閱讀使用。

第31卷。第1期
2 0 1 1年1月
光譜學與光譜分析
Spectroscopy and Spectral Analysis
V01．31，No．1，pp233—237
January，201 1
水體有機污染物濃度檢測中的紫外光譜分析方法
吳元清，杜樹新。，嚴贊
浙江大學工業控制技術國家重點實驗室，浙江大學工業控制研究所，浙江杭州310027
摘要水體中的大多數有機污染物在紫外區域有較強的吸收。因此呵利用紫外吸光度檢測水體中的有機
污染物濃度。在檢測過程中，通過平滑、導數、標準正態變量變換等光譜預處理后，采用主元同歸、偏最小
二乘、支持向蹙機等方法建立回歸模型，并由該模型依據待測樣本的紫外光譜數據計算出有機污染物濃度。
為了探究不同的預處理方法、建模方法在有機污染物濃度檢測中的特點及內在聯系，本文對一組來自污水
廠進出水的光譜數據采用不同的預處理和建模方法進行實驗研究，研究結果表明：當獲得的原始數據較好
時，可以汽接進行建模，進行光譜預處理反而會使模型效果下降；由于本實驗中污水的樣本數小于光譜數據
點數，所以最小二乘支持向最機更適合于本組實驗樣本。
關鍵詞紫外光譜；有機污染物濃度檢測；預處理；建模
中圖分類號：X832 文獻標識碼：A DOI：10．3964／j．issrL 1000-0593(2011)01-0233—05
引言
水體中的大多數有機污染物在紫外區域有較強的吸收，
因此可以利用紫外吸光度檢測水體中的有機污染物濃度(如
化學需氧最，chemical oxygen demand，COD)。吳同華等研
究r紫外光譜的峰面積與被測定污水的C()D含基的相關
性[1]。雋英華等研究r水溶液條件下苯酚及其酚類衍生物的
紫外吸收光譜。郝瑞霞等給出了定鼉表征污水中溶解性有機
污染物的紫外光譜參數，并證明紫外吸光度積分能很好地表
征污水總有機碳f2]。杜樹新等應用支持向饋機方法實現』，紫
外光譜的有機污染物濃度測量[31。武曉莉等將Boosting-偏最
小二乘應用于紫外光譜水質分析，得到預測精度較高的模
型【4J。Charef基于200～350啪紫外吸光度數據，采用主元
分析和BP神經網絡建立r城fH污水的COD模型【5]。Langergraber
基于200 750 nn-i紫外吸光度數據。采用偏最小二
乘(partial least squares，PLS)預測水質參數COD，得到較好
的預測效果L6j。
在應用紫外光譜檢測有機污染物濃度時，其核心是光譜
數據的預處理、紫外光譜與有機污染物濃度指標之間數學模
型的建立。光譜數據的預處理主要有平滑、導數、標準正態
變最變換(standard normal variate transformation，SNV)等，
建模方法主要包括主成分回歸(principal component regres—
sion，PCR)，偏最小二乘PLS和支持向最機(support vector
machine．SVM)等。為r探究這些預處理和建模方法在基于
紫外光譜的水體有機污染物濃度檢測中的特點及內在聯系，
本文對一組來自污水廠進出水的光譜數據分別采用平滑、導
數、SNV預處理方法，并采用PCR、PLS和最dx--乘支持向
量機(1east squares support vector machine，LSSVM)算法建
模，之后比較實驗結果，分析這些建模方法在水質檢測中的
優缺點，以便選出更適合于水體中有機污染物濃度檢測的建
模方法。
1基本原理
1．1數據預處理
紫外光譜中包含一些與待測樣品性質無關的干擾，如樣
品的狀態，樣品背景，光的散射和雜散光等的影響。因此在
建模前需要消除光譜數據的無關信息和噪聲。常用的預處理
方法有平滑、導數和SNV預處理等[7]。
1．1．1平滑處理
平滑預處理是選擇一條原始光譜中幾個點構成一個窗
口，用這些點對平滑窗口內的數據取平均或擬合，將窗口從
前往后依次移動一位。重復上述過程即可。信號平滑是常用
的降低噪聲提高信噪比的方法，只是減小了噪聲，沒有改變變量的數日。常用的平滑算法有移動平均法和Savitzk脅
收稿13期：2010-05—17．修訂日期：2010--08—30
基金項目：國家(863計劃)項目(2009AA042123)資助
作者簡介：吳元清．1985年生，浙江大學挎制科學與工程學系碩士研究生e-mail：yqwu(園ii盼zj也edu．cn
*通汛聯系人e-mail：shxdu@iipc．zj“edu．cn
萬方數據
光l＆#+0光譜丹析
【ay卷秘牛晰讓。
I I 2}#n理
導數麒址州小廄l址光l*信5j強度仆m的斜率兒坫4-
思慰是選扦條原始光譜中的幾十點構成十窗11將宙【I
內的數據點求導數MI叮得到導數光講導數艇處理枉光譜分
析小町咀消除光滑的背骷1‘擾和輯線漂移．拽小光游之0 4的
麝加和f擾．捉廓光蔚的分辨串。但導數光阱1日時也臺‘人
噪牛．降低俯噪比。根據求導級數．廿數砸處理一般訃一階
導數和=階導教A法等。
1I 3 SNVⅨ”8
標準Ir戀變聃變按{SNV)擷址拌針塒條光譜址行灶
月．即將光礴曲線l擻據點硪上該光謝曲線的·r均仉m豫H
標準燕，}要是消除光程變化、敞射和顆掛大小之俐舯r
擾”。坐化公式如下
X。一X．
／Σ(x．置)2 V—1鬲=r
式中x是第i十樣豐的一F均值．m為肇外光帶曲線的波長點
數(壹咕十數)．i是樣率散。
1 l_{SNV+^窗寬}滑女基巍
為rm除光請基線的影響，采州大街寬平拊擊琺線即
將平附算法的窗寬設定為波長^數(孌聃個數)的i／8，然后
將窗lI內的光譜數據點減擊宙r1甲均仉就”f“潲睬光譜難
線
1．2建橫方法
紫外光滑分析一f-常用舯建摸^法土籃有士成丹川門
PcR、偏齜A'---乘P【5和立持向量機SVM，迪釁打沾都能
夠建屯紫外啦光度々“】D之問的模型。
l 2I主成訃川ⅡI FCR
t成分州門PCR的H的址降維．“排賒光嘴信息中棚
i茜蔣曲“-息。其原理培將光暗矩眸進行立換，使少欺兒個
韭聃址麒壹塒曲線性目I☆．然n選坡JE中的F啦分柬進樸多
元線性H 9I。Hm解班T接線剛胚．仳如果在選擇芒成分時
去除了打朋成分，晰保留r噪聲，耶幺數學模Ⅻ就臺發m很
大的偏差o’。
1 2 2信最m=隸I>LS
PLS是“E成分分析H'A(I'rmcilⅪl?呻I㈣t ana]yslsl
為坫礎發勝起束的多元分析方法。I’Ls塒轱^光l*矩m：
x和輸小c()D浩度目!陣Y進}r塒樣的處理．在分解姬昨x
時考慮y的影響．使x豐戚分直接’4 y戈旺。兜服，PCR
R時光譜自-陣x進打分解的缺點。
PLS抖法處殫光潛矩陣時．也前繭時主戚分數進行進
擇，主成訃個數進撣偏小將導披掛Ⅻ對訓練佯奉擬合水足．
車能克丹反映樣水的光譜信息使拯型準確度降低；t成分
個數選抒偏大將哥致懂型時訓練樣本過虛擬音，乜古*1：
擾信息．使模型預測能力F降+這日種竹況杯臺降低模型壩
測精度“”。
1 2 3支持自量札SVM
傳繾的模式4}別打濁強調降維．1nJ SVM則扣反SVM
第xl咎
將敏批雄映射副廟雎特征十M．存舟維窀問中求解nj次規
劃¨越-Ⅻm婁樣豐的址優超曲㈣．光譜j’析tj-常使州SVM
r。i的『硒vM．㈨件式約求代樸SVM rt的小等式約束，求
解～紲線性方程求找in最優分光超曲呵．提高求解迪度“。
I-KSVM需攔心甘帕參數冉棱參數口’(核函數采用RBF
∞數)和慧躅系數y。懲j_=I系數y土蟄足控制塒錯分樣豐懲罰
的程度．實現枉帶分樣小舯比例與算法復雜崖之剛的折rI，。
RBF棱m觳的棱參數，的選擇塒模型的準確度起到掘太的
n：州選扮太小則會造成過學習．選的太大會造成父學
d1‘，
2實驗與結果分析
2 1水樣、儀器＆光譜數據
率實驗的水樣批∞批．來自糶污水處理f。、=緞進
水、出水的靜世漩清赦。史驗中．紫外光源為氘燈光譜儀
為OceanOplics公ld的USB2000w LJv光滑儀(刪醴波長范
恫：180～870 nm)，采樣波K問隔約u 34?每個水樣的
光譜數據點為2 048十．32十求樣舳掀始紫外光譜如崮1所
“。在本試驗中．COD”為fJ機}_染物濃度指標采用國標
法洲聃即采川溫化#原彈．0一定條"r州雨鉻隨鉀作韞
5 ” ‰恤20 25 ”
CODⅧ№“32 wal2rⅢpbⅢ№
實驗
Ⅲ￡波長的選擇
萬方數據
第1肪光譜學與光譜分析
本宴齄中32十樣品獲得的光譜波段為180～870 nm。由
f測雖的肇補光請nf能包含T一些冗雜信息目噪聲}’擾·影
響建橙的準確度．前堅時非得的光譜波段進行選扦。從圖1
的蟓精兜普圈巾町看出．180～240曲·波段乜古未端吸收Ⅻ
比色皿干擾光．噪聲較大t不適臺建立模型；大于450呻波
段，啦光度較小．呵利m的信息根少，難“找出光諧刮舯謦
別。另外．化學成分的特征渡妊(最大暇收渡長)太多數在
250～450?所“選擇波長2S0～450 nm(每個樣率共555
25。Ⅲ‰3d50∞¨mⅧ 450
Fig．3 UItmvldet一”a(250～450Ⅲ)
0f32眥lH sampl8
個光譜點)作為奉實驗光譜范崮。選擇后的光譜圖如惻3所
示。
2 2 2模型性娩評竹i*廈##
采用耐一盤x驗證方法評價模型的精度。留一交x驗證
法的思想足：從32個樣本集中取jij第，十樣本．對剩下的M
十樣本進|彳?ilil練．得到污水的c0D模撮-再用這個模刪刪
試第z十樣本．恢過程蘑復32趺。奉研究中．秉州均方謀差
(RMSEP)和復櫥關系數R作為性能指標評價模型的磺測能
力，其計算公式為
RMSEr；再甄萬
其中M，j．，j分別為第，個樣本的標準分析值、第，的樣本
的預測值、標準分析擔的平均值．N為樣本的數日。
2 2 3妾§镕果
為T№較并種光薄牧據偵處理方法、建幔方琺．在奉研
究巾將六種光譜例處理方法(包括年作預處理)和=種建摸方
法進行紐臺．其得到】8紐鬟騎結果，如裊1所示。
T砧k1 Exl9erlm蚰ial n瑚ills 0ht日|恥d竹v目I們sqKh砌pm蛔m蛐t聰th日and v曲Em咄Il雌I僧tlWm
些墮生鱉些些里蔓墮些立堡塑!堅!! 壑塑苧!塑! 堂型堡墨
FCR tⅢng 12 384 0 972 6 Fm”8☆7
SNV 30 816 0 816 o }mH＆*4
SNV}女#＆ 35 04 0 753 9 t＆”&amp;amp;^5
￥* 12 249 6 0 973 3{mH#∞7I☆月∞％
n# 12 038 4 0 97{z i＆"#☆II．目≈∞3
=nB 13 881 6 n 965 5 ±＆##*10i☆≈*¨
P舊ZⅡⅢ月i3 094 4 0 969 4 =E日f#自4
SNV 17 184 0 946 6 #目}＆～5
SNV-女#＆ zT 30Z 4 1 859 0 ±口fn女3
** 13 036 8 o 969 7 ±目f散為1I*寬∞∞
ng 12 8{4 8 o 970 5 ±口7＆為4；目￡自49
=m* 15 072 0 959 2 i目f#∞7；自寬∞1 3
I'sSVM ￡Ⅲ*月10．579 2 n 980 z ≈目末#，；{90 2I；镕叁數，,146
SNV ∞816 0 957 l 《日{#r一270}&amp;amp;$#，=16 4
SNV+女*＆44 294 4 0 5,56 7 ≈∞《教嗍403*參#，一0 008 2
f* 10 694{0979 6 馨目《敷y=54l 76}#$數，446
一目# 12 729 5 0 971 0 g"i＆y=1 61 915 49，《$教，一1”
一n{ 3l 987 2 0 801 2 磐a系教7=¨6 50719&amp;amp;參敏，；0”
2 3實驗結果分析
(1)PCR．pLS和1．SvSVM都能得到精度較好的艇型．但
采用12‘SVM所建模堪的精度高于其他蹦種算法．更適臺處
理率鯤數據。
(2)PCR能夠較好的體現原始光譜矩陣x．PLS得到的
綜音蜚硅幣僅較好的件現了原始光譜矩陣x．而且與濃度矩
陣y椰蓋程度也最天。如果x巾存在々r*i戈程度較低的變
廚時．P1．q nf以{#到比PCR好的模型。口1足由于車宴騎中光
譜矩阼x與濃度矩陣y翱蓋鞋度L經很高，不存在冗余變城
信息．所“PLS和PER的結罘比較近似。針對x和r柞在
較多冗雜信息的情況．PLS鹿更具有優勢。
(3)LSSVM竹法中l¨于y與，的變化范田較大．所眥
在宴驗中采川r眥一為底的指數循環法尋找乍肺蛀優解。找
出全局最優垂數后略微改變[sqVM的騫教r與，．發現
I-KqVM的參數枉一定范州內波動時．模型精度影響平大。
({)it-xi-車組實驗戥槲．并午是罐種預處理方法都能夠
孵
¨¨”¨帖¨雌o
18}iBS
萬方數據
236 光譜學與光譜分析第31卷
使建模效果得到改善，有些預處理方法(如SNV，二階導)破
壞原來較好的數據，使建模效果變差。原始譜圖中，吸光度
大的光譜曲線(上端的曲線)對應于c()D大的樣本，吸光度
小的光譜曲線(下端的曲線)對應于COD小的樣本。SNV預
處理方法是減去每一樣本光譜的平均值再除以方差(目的是
消峰值)，但這樣處理后減小了光譜的絕對強度，壓縮了有
效信號，放大了噪聲信號，通過SNV預處理后的光譜分辨
不出水樣的不同，c()D的區別度反而減小了。所以SNV破
壞了區別度較好的數據，不適合處理本組數據。當采用SNV
+去基線預處理時，同樣也放大了噪聲信號，使建模效果下
降。
(5)實驗結果顯示，一階導數預處理比其他預處理方法
得到的模型精度高。這是由于一階導數處理后的數據與原始
數據存在較好的相關性。反映在譜圖中是。原始光譜圖中數
據較大的點，圖形也越陡，一階導數越大。
(6)原始光譜中信噪比較好，所以平滑預處理后得到的
光譜圖與原始光譜圖差別較小，因而平滑后的建模效果接近
沒有預處理的建模效果。
(7)在實驗中，使用均方誤差RMSEP和復相關系數R
對主因子數作圖的方法確定最佳主因子數。結果顯示：當
PLS和PCR的主因子數增加到一定的數值時，R和RMSEP
趨于穩定。這說明光譜數據中有很多相似點，當主因子增加
到一定值時，光譜罩面的有用信息已經完全被利用，再加入
的主成分是與被測組分無關的噪聲成分，所以當主因子增加
到一定值時建模效果趨于穩定，只出現微小的上升或波動。
即x的變化主要體現在前面幾個載荷向量方向上，在后面幾
個載筒向量方向上投影很小，增加貢獻率較小的主成分對建
模效果影響不大。
3結束語
本文采用平滑、導數、SNV等預處理方法來處理原始光
譜，運用PLS。PCR，KSVM等方法來建立模：}l!!。實驗結果
表明針對本組污水樣本，不進行光譜預處理且采用I Ss、孫，|
時得到的模型效果最好。取得最優的RMsEP和R分別為
10．579 2和0．980 2。由于本組實驗數據較好，采用光譜預處
理反而破壞了原來較好的數據．所以光譜預處理不一定能夠
提高模型的精度。UsSVM的建模效果要優于PLS和PCR， 這是因為U洲適用于小樣本數據，對本組實驗數據具有
更好的適應性。
[1]WU Tong-hua，GUO Hong，GUO Jing-ci(吳同華，郭虹．郭敬慈)．Environmental Monitoring in China(中國環境監測)，2009，25
(4)：57．
[2]HA()Rui-xia，CAO Ke-xin，ZHAO Gang(郝瑞霞，曹可心，趙鋼)．Journal of Beijing University of Technology(北京工業大學學報)，
2006，32(12)：1062．
DU Shtrxin，WU Xiao-li。WU Tie-jun(杜樹新，武曉莉，吳鐵軍)．Chinese Journal of Analytical Chemistry(分析化學)，2004，32(9)：
1227．
WU Xiao-li，IJ Yan-iulI．WU Tie-iun(武曉莉，李艷君．吳鐵軍)．Chinese Journal of Analytical Chemistry(分析化學)，2006，34(8)l
1091．
Chard A，Ghanch A，Baussand P．et a1．Measurement，2000。28：219．
Langergraber G。FIeischmann N，Hofstadter F．Water Sdenee and Technology，2003。47(2)：63．
CHU Xiao-li，YUAN Hong-fu，LU Warrzhen(褚小立，袁洪福，陸婉珍)．Progress in Chemistry(化學進展)，2004，16(4)：528．
Barnes RJ，Dhanoa M S，IJster Susan．J．Applied Spectroscopy，1 989．43：772．
LU Wan-zhen(陸婉珍)．Modem Near Infrared Spectroscopy Analytical Technology(Second Edition)．(現代近紅外光譜分析技術，第2
版)．Beijing：China Petrochemical PressClt京：中國石化出版社)，2007．33．
、^bId S。Ruhe A，、^，old H．et aL Siam Journal on Scientific and Statistical Computing．1984，5：735．
W01d S，Sjostrem M．Eriksson L Chemometrics and Intelligent Laboratory Systems。2001，58：109．
ZHA0 Chun-hui，QIA()Lei(趙春暉，喬蕾)．Applied Science and 1khnology(應用科技)，2008。35(1)：44，52．
Suykens J A K，VandewalleJ．Neural Processing Letters，1999，9(3)：293．
]
]
]]]]]
]]]]
釘
釘
明明"明明
叫加翊塒
rL
[
[rL[[[
[[[[
萬方數據
第1期光譜學與光譜分析237
Ultraviolet Spectrum Analysis Methods for Detecting the Concentration of
Organic Pollutants in Water
WU Yuan-qing。DU Shu-xin’。YAN Yun
State Key Lab of Industrial Control Technology，Institute of Industrial Process Control。2hejiang University，Hangzhou
310027，China
AImraet The absorption rate of ultraviolet could be used to measure the concentration of organic pollutant。as most of the orgarlic
pollutant has stronger absorption rate in ultraviolet region in water．In the present paper，principal component regression
(PCR)，partiaI least squares(PLS)，and support vector machine(SVM)were respectively used to model a regression model after
the spectrum preprocessing。such as smoothing，derivation，standard normal variate transformation(SNV)，etc．Then，the
concentration of organic pollutant could be measured via the ultraviolet spectrum and the regression modeL In the experiments，
a group of water samples frotn the wastewater treatment process were used to verify the effects of the various preprocessing and
modeling approaches．ne results showed that for the good spectrum data．direct modeling without the spectrum pretreatment
could be used since the pretreatment would worsell the results．L＆洲approach is inore applicable in the P．ase of small-size姍一
pies．
Keywords Ultraviolet spectrum；Detection of organic pollutant concentration；Pretreatment)Modeling
*Corresponding author
(Received May 17，2010；accepted Au舀30，2010)

網友評論 more

環境保護論文最新內容

05-11