近紅外光譜數據分析方法的研究進展
光譜的預處理方面,目前常用的方法有:平滑、多元散射校正 (MSC)、傅里葉變換(FT)、小波變換(WT)等。
小波變換是近幾年發展起來的一種數據處理技術,它比較穩定,具有局部性質。
模型優化方法主要包括偏最小二乘法 (PLS)、拓撲學方法、人工神經網絡 (ANN)、支持向量機 (SVM) 等。
蟻群算法是新近發展起來的基于群體智能的仿生優化算法。SVM可以減少結構風險和機會風險,是目前理論應用工作者的研究重點。
近紅外光譜 (NIR) 分析技術是近年來迅猛發展起來的一種快速檢測技術,具有無需預處理,速度快、無污染、無破壞、多成分同時分析、結果重演性高、適于在線分析等優點。
隨著現代電子、光譜分析、計算機和化學計量等技術的發展,使得 NIR 分析技術日趨完善,促進該技術在農業食品工業、化工行業和醫藥行業等領域的應用。
在農業方面,當傳統的質量檢測技術難以適應生產需要時,這種新型的質量檢測方法受到越來越多的關注,但是其信噪比低、波動性大,背景復雜、譜峰重疊等特點,使得光譜數據處理方法的選擇對所建模型的有效性、適應性和穩定性具有重要的意義。因此,眾多學者開展了相關數據處理方法的研究。
本文分析了近紅外光譜分析技術的特點,總結了其在異常值剔除、噪聲消除、波長選擇等數據預處理和定性定量分析方法的改進和新算法的應用。
近紅外光譜分析技術的特點
近紅外光譜屬于紅外光譜,美國材料檢測協會(ASTM) 定義其波長范圍為 780~2 526 nm,波數范圍為 12 820~3 959 cm-1。
紅外光譜還包括中紅外和遠紅外,均介于可見光和微波之間,肉眼無法觀察到它們的存在。不同的紅外光譜具有不同的特性:近紅外光線具有較強的穿透能力,而遠紅外則有良好的加熱特性。
在近紅外光譜區產生吸收的官能團主要是含氫基團,包括:C- H(甲基、亞甲基、芳基、羧基等)、氨基N-H、羥基O-H、硫基S-H等。近紅外光譜主要是有機分子的倍頻與合頻吸收光譜,與中紅外光
一樣,該譜區也能夠得到分子的結構、組成、狀態的信息,而且從近紅外反射光譜還能得到樣品的密度、粒度、高分子物的聚合度及纖維的直徑等物質的物理狀態信息。近紅外光譜的上述特征,賦予了它有別于其他紅外光譜的一些獨特魅力。
如樣品不需進行任何預處理,即可做多組檢測;除液體、氣體、固體樣品外,還可檢測粉末狀、纖維狀、糊狀、肉類、乳類等形式的樣品。
由于近紅外譜區的信息量十分豐富,作為一種高效、快速、成本低、無污染、不破壞樣品化學性質、綠色環保的分析方法,它可用于實驗室分析、現場分析及在線分析。
光譜預處理的研究進展
近紅外光譜分析的預處理包括 3 個方面:
剔除異常樣品;
消除光譜噪聲和其他譜圖不規則因素的影響,如消除隨機噪聲、樣品背景的干擾、光程的變化、測樣器件引起光譜的差異等因素對校正結果產生的影響;
優化光譜范圍,凈化譜圖信息。目前常用的光譜預處理方法有:平滑、多元散射校正(MSC)、標準正態變量變換(SNV)、傅里葉變換(FT)、小波變換(WT)、正交信號校正(OSC)、凈分析信號(NAS) 等。
剔除異常樣品
常用“一審”剔除法,根據某一準則,一旦鑒定出某些樣品為異常樣品后,就永久剔出該樣品,易把非異常樣品錯誤地當作異常樣品剔除了。
陳斌等人提出主成分分析結合馬氏距離法,從樣品光譜矩陣出發,通過主成分分析求得樣品光譜的得分矩陣,依據得分矩陣計算出因子空間的馬氏距離,并結合數理統計知識對異常樣品進行鑒定和剔除。結果表明,校正模型的預測精度和穩定性得到顯著提高。
消除光譜噪聲及其他干擾因素的影響
1基線校正
基線校正(Correcting Baseline Effects)的目的是扣除儀器背景或漂移對信號的影響。
孫毅等人利用 BRUKER EQUINOX 55傅里葉近紅外光譜儀對不同濃度的異丁烷氣體的近紅外吸收光譜進行測量,對“微分—平滑”法和光譜儀自帶的基線校正方法分別進行了理論分析和實驗數據的對比。
理論分析和實驗結果表明,對于穩態、線性的背景光譜漂移光譜儀自帶方法可以得到較高的信噪比及分析精度,而“微分—平滑”法具有更好的適應性,對于非穩態或非線性漂移,具有更好的抑制作用,是一種很好的在線數據預處理方法。
為消除小波分解過程中的邊界效應,孔超等人提出了一種基于多項式擬合的邊界延拓的新方式。該方式首先對信號邊界處的N個點進行M階正交多項式擬合,將信號在邊界處的低頻變化規律用正交多項式表示出來,再利用得到的邊界處的低頻變化規律對信號進行延拓,從而減少了邊界處引入的突變量。
實驗表明,利用小波變換在該延拓方式下對信號進行基線校正時,邊界效應得到了明顯的改善。
2光散射校正
測量漫反射時,由于樣品粒徑大小分布不均勻,即使相同的樣品,多次測量的光譜也會出現差異,即光散射現象。