数据分析中异常值在SAS中的处理
发布时间:2015-08-10

 

数据分析少不了和数据中的异常值打交道,Winsorize处理在SAS中经常使用。

 

Winsorize即极值处理,原理是将数据中的异常值修建,使之与正常分布的最大值与最小值相同。例如,你的数据整体位于[7090]这个区间,而分析的数据中有些值特别大或者特别小,比如出现了606595125这种数值,这时Winsorize处理就能够将这些特别大或者特别小的值进行调整,让这些异常值变成你自己定义的一个合理范围中。对于上限,如果定义比90高出10%记为异常值,那么95这个值就会被SAS处理,放在Winsorize处理后的数据集里,而125将被看做异常值,不会放入Winsorize处理后的数据集里;同理,对于下限也是如此。

 

数据中含有缺失值和重复值时,进行Winsorize处理稍微会复杂一些。可以先对数据排序,但是缺失值首先会对计算造成不小的影响,所以Winsorize处理很方便解决这些常见难题。

 

SAS Winsorize 处理过程:

 

%let DSName =sashelp.heart;

proc iml;

/* SAS/IML moduleto Winsorize each column of a matrix.

Input proportion of observations toWinsorize: prop < 0.5.

Ex: y= Winsorize(x, 0.1) computes the two-side 10% Winsorized data */

start Winsorize(x,prop);

p = ncol(x); /* number of columns */

w = x; /* copy of x */

do i = 1 to p;

z = x[,i]; /* copy i_th column */

n = countn(z); /* count nonmissing values */

k = ceil(prop*n); /* number of obs to trim from each tail */

r = rank(z); /* rank values in i_th column */

/* find target values and obs with smaller/largervalues */

lowIdx = loc(r<=k & r^=.);

lowVal = z[loc(r=k+1)];

highIdx = loc(r>=n-k+1);

highVal = z[loc(r=n-k)];

/* Winsorize (replace) k smallest and klargest values */

w[lowIdx,i] = lowVal;

w[highIdx,i] = highVal;

end;

return(w);

finish;

 

/* test thealgorithm on numerical vars in a data set */

use &DSName;

read all var _NUM_into X[colname=varNames];

close;

winX = Winsorize(X,0.1);

 

 

代码中,矩阵winX包含经过Winsorize处理过的数据,如果你想输出SASWinsorize处理后的数据,数据集属于小数据集,可以使用代码:%letDSName = sashelp.class; 进行实现。

 

大批量数据处理之前,想验证SAS Winsorize过程是否正确,可以借助SAS/IML计算出来的缩尾均值( Winsorized means),与SAS PROC UNIVARIATE 计算出来的缩尾均值进行比较。

 

/* Compute Winsorized mean, which is mean of the Winsorized data */

winMean = mean(winX);

print winMean[c=varNames f=8.4];

 

 

/* Validation: compute Winsorized means byusing UNIVARIATE */

ods exclude all;

proc univariate data=&dsname winsorized=0.1;

ods output WinsorizedMeans=winMeans;

run;

ods exclude none;

 

proc print data=winMeans;

var VarName Mean;

run;

 

——SAS中文论坛