大数据预处理代码

第一个例子：import matplotlib。pyplot as pltimport numpy as npfrom sklearn。model_selection import train_test_splitfrom sklearn.decomposition import PCAfrom sklearn。pipeline import make_pipelinefrom sklearn.preprocessing import FunctionTransformerdef _generate_vector（shift=0。5, noise=15)： return np。arange（1000） + (np.random。rand（1000) — shift） ＊ noisedef generate_dataset（): "”” This dataset is two lines with a slope ~ 1, where one has a y offset of ～100 """ return np.vstack（（ np。vstack（( _generate_vector(）， _generate_vector(） + 100， )).T， np。vstack（( _generate_vector()， _generate_vector（）, )).T, ））, np。hstack((np.zeros(1000）， np。ones（1000）))def all_but_first_column（X)： return X［:， 1:]def drop_first_component（X, y）: """ Create a pipeline with PCA and the column selector and use it to transform the dataset. ""” pipeline = make_pipeline( PCA（), FunctionTransformer(all_but_first_column), ) X_train， X_test， y_train， y_test = train_test_split（X， y） pipeline.fit(X_train， y_train） return pipeline。transform（X_test), y_testif __name__ == ’__main__’： X, y = generate_dataset() lw = 0 plt。figure（) plt。scatter（X[：， 0］, X［:, 1], c=y， lw=lw) plt。figure（) X_transformed， y_transformed = drop_first_component(*generate_dataset（)) plt.scatter（ X_transformed［:， 0], np.zeros（len(X_transformed)）, c=y_transformed， lw=lw， s=60 ） plt.show（）第二个例子:from __future__ import print_functionprint（__doc__）＃ Code source: Thomas Unterthiner＃ License： BSD 3 clauseimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.preprocessing import StandardScaler, RobustScaler# Create training and test datanp。random.seed(42)n_datapoints = 100Cov = [[0.9, 0。0］， ［0.0, 20.0]］mu1 = ［100。0, —3.0］mu2 = [101。0， -3.0]X1 = np.random。mult...