sklearn

sklearn官網(wǎng),Scikit-learn針對Python編程語言的免費(fèi)軟件機(jī)器學(xué)習(xí)庫

sklearn官網(wǎng): https://scikit-learn.org/stable/index.html
sklearn中文指南 社區(qū): https://scikit-learn.org.cn/

Sklearn常用功能介紹

2.1 聚類

聚類是一種典型的無監(jiān)督學(xué)習(xí)任務(wù)，但也是實(shí)際應(yīng)用中較為常見的需求。在不提供樣本真實(shí)標(biāo)簽的情況下，基于某些特征對樣本進(jìn)行物以類聚。根據(jù)聚類的原理，主要包括：K-MEANS、近鄰傳播（AffinityPropagation）、均值偏移（MeanShift）、譜聚類（SpectralCluster）、層次聚類（AgglomerativeClustering）、密度噪聲（DBSCAN）、平衡迭代層次聚類（Birch）、高斯混合（GMM）、雙向聚類（SpectralBiclustering）。

2.2 降維

降維也屬于無監(jiān)督學(xué)習(xí)的一種，將已存在的特征進(jìn)行壓縮，降維完畢后的特征不是原本的特征矩陣中的任何一個(gè)特征，而是通過某些方式組合起來的新特征。盡可能保留原有信息的情況下降低維度，一般采用PCA處理，且降維后的特征與原特征沒有直接聯(lián)系，使得模型訓(xùn)練不再具有可解釋性。根據(jù)降維的原理，主要包括：普通PCA、增量PCA（IPCA）、使用隨機(jī)化的SVD的PCA、Kernel PCA、稀疏化PCA 和minibatchsparsePCA、非負(fù)矩陣分解、成分分析-ICA、Latent Dirichlet Allocation (LDA)。

2.3 度量指標(biāo)

不同的度量指標(biāo)可以學(xué)到不同的最優(yōu)模型。對于不同類型任務(wù)，sklearn提供了多種度量指標(biāo)，包括：
·分類任務(wù)：準(zhǔn)確率，所有樣本中分類正確樣本所占比例；精準(zhǔn)率和召回率，一對相互矛盾的指標(biāo)，適用于分類樣本數(shù)量不均衡時(shí)，此時(shí)為了保證既定目標(biāo)，可只選其中一個(gè)指標(biāo)；調(diào)和平均數(shù)F1，相當(dāng)于兼顧了精準(zhǔn)率和召回率兩項(xiàng)指標(biāo)；
·回歸任務(wù)：常用的包括MSE、MAE，F(xiàn)1-score；
·聚類任務(wù)：輪廓系數(shù)（無需先驗(yàn)標(biāo)簽，用組內(nèi)距離與組外最近距離的比值度量）、調(diào)整蘭德指數(shù)（基于真實(shí)分簇標(biāo)簽和聚類標(biāo)簽計(jì)算）。

2.4 集成學(xué)習(xí)模型

當(dāng)基本學(xué)習(xí)模型性能難以滿足需求時(shí)，集成學(xué)習(xí)便應(yīng)運(yùn)而生。集成學(xué)習(xí)，顧名思義，就是將多個(gè)基學(xué)習(xí)器的結(jié)果集成起來匯聚出最終結(jié)果。而根據(jù)匯聚的過程，集成學(xué)習(xí)主要包括3種流派：
·bagging，即bootstrap aggregating，通過自助取樣（有放回取樣）實(shí)現(xiàn)并行訓(xùn)練多個(gè)差異化的基學(xué)習(xí)器，雖然每個(gè)學(xué)習(xí)器效果可能并不突出，但通過最后投票得到的最終結(jié)果性能卻會(huì)穩(wěn)步提升。當(dāng)基學(xué)習(xí)器采取決策樹時(shí)，bagging思想的集成學(xué)習(xí)模型就是隨機(jī)森林。另外，與bagging對應(yīng)的另一種方式是無放回取樣，相應(yīng)的方法叫pasting，不過應(yīng)用較少；
·boosting，即提升法?；鶎W(xué)習(xí)器串行組合，試圖減小組合學(xué)習(xí)器的偏差，把幾個(gè)弱學(xué)習(xí)器組合成一個(gè)強(qiáng)力的集成模型。（eg：adaboost，Gradient Tree Boosting）與bagging模型并行訓(xùn)練多個(gè)基學(xué)習(xí)器不同，boosting的思想是基于前面訓(xùn)練結(jié)果逐漸訓(xùn)練更好的模型，屬于串行的模式。根據(jù)實(shí)現(xiàn)細(xì)節(jié)不同，又具體分為兩種boosting模型，分別是Adaboost和GBDT，二者的核心思想差異在于前者的提升聚焦于之前分錯(cuò)的樣本、而后者的提升聚焦于之前漏學(xué)的殘差。另外一個(gè)大熱的XGBoost是對GBDT的一個(gè)改進(jìn)，實(shí)質(zhì)思想是一致的‘’
·stacking，即堆棧法，基本流程與bagging類似而又不同：stacking也是并行訓(xùn)練多個(gè)基學(xué)習(xí)器，而后又將這些訓(xùn)練的結(jié)果作為特征進(jìn)行再次學(xué)習(xí)。有些類似于深度學(xué)習(xí)中的多層神經(jīng)網(wǎng)絡(luò)。

2.5 樣例數(shù)據(jù)集

sklearn提供了一些經(jīng)典數(shù)據(jù)集，數(shù)據(jù)集主要圍繞分類和回歸兩類經(jīng)典任務(wù)，通過這些數(shù)據(jù)集可快速搭建機(jī)器學(xué)習(xí)任務(wù)、對比模型性能。
常用數(shù)據(jù)集簡介如下：
·load_breast_cancer：乳腺癌數(shù)據(jù)集，標(biāo)簽為0或1的二分類任務(wù)；
·load_iris：經(jīng)典鳶尾花數(shù)據(jù)集，特征為連續(xù)數(shù)值變量，標(biāo)簽為0/1/2的三分類任務(wù)；
·load_wine：紅酒數(shù)據(jù)集，各類樣本數(shù)量輕微不均衡；
·load_digits：小型手寫數(shù)字?jǐn)?shù)據(jù)集（之所以稱為小型，是因?yàn)檫€有大型的手寫數(shù)字?jǐn)?shù)據(jù)集mnist），包含0-9共10種標(biāo)簽，各類樣本均衡；
·load_boston：波士頓房價(jià)數(shù)據(jù)集，適用于回歸任務(wù)值得指出。

2.6 數(shù)據(jù)預(yù)處理

sklearn中的各模型均有規(guī)范的數(shù)據(jù)輸入輸出格式，一般以np.array和pd.dataframe為標(biāo)準(zhǔn)格式，所以一些字符串的離散標(biāo)簽是不能直接用于模型訓(xùn)練的；同時(shí)為了加快模型訓(xùn)練速度和保證訓(xùn)練精度，往往還需對數(shù)據(jù)進(jìn)行預(yù)處理，常用的數(shù)據(jù)預(yù)處理功能：
·MinMaxScaler：最大最小歸一化；
·StandardScaler：標(biāo)準(zhǔn)化歸一化，主要適用于可能存在極大或極小的異常值，此時(shí)用MinMaxScaler時(shí)，可能因單個(gè)異常點(diǎn)而將其他數(shù)值變換的過于集中，而用標(biāo)準(zhǔn)正態(tài)分布去量綱則可有效避免這一問題；
·Binarizer：二值化處理，適用于將連續(xù)變量離散化；
·OneHotEncoder：獨(dú)熱編碼，一種經(jīng)典的編碼方式，適用于離散標(biāo)簽間不存在明確的大小相對關(guān)系時(shí)；
·Ordinary：數(shù)值編碼，適用于某些標(biāo)簽編碼為數(shù)值后不影響模型理解和訓(xùn)練時(shí)。

2.7 特征選擇

機(jī)器學(xué)習(xí)中有句經(jīng)典的臺(tái)詞是：數(shù)據(jù)和特征決定學(xué)習(xí)上限，模型和算法只是逼近這個(gè)上限，可見特征工程在機(jī)器學(xué)習(xí)中的重要性。幾種常見的特征選擇方式：from_model、VarianceThreshold、SelectKBest。

2.8 模型選擇

模型選擇是機(jī)器學(xué)習(xí)中的重要環(huán)節(jié)，涉及到的操作包括數(shù)據(jù)集切分、參數(shù)調(diào)整和驗(yàn)證等。對應(yīng)常用函數(shù)包括：
·train_test_split：常用操作之一，切分?jǐn)?shù)據(jù)集和測試集，可設(shè)置切分比例；
·cross_val_score：交叉驗(yàn)證，默認(rèn)K=5折，相當(dāng)于把數(shù)據(jù)集平均切分為5份，并逐一選擇其中一份作為測試集、其余作為訓(xùn)練集進(jìn)行訓(xùn)練及評分，最后返回K個(gè)評分；
·GridSearchCV：調(diào)參常用方法，通過字典類型設(shè)置一組候選參數(shù)，并制定度量標(biāo)準(zhǔn)，最后返回評分最高的參數(shù)。

2.9 基本學(xué)習(xí)模型

分類和回歸任務(wù)是機(jī)器學(xué)習(xí)中的經(jīng)典場景，同屬于有監(jiān)督學(xué)習(xí)。經(jīng)典的學(xué)習(xí)算法主要包括5種：
·線性模型，回歸任務(wù)中對應(yīng)線性回歸，分類任務(wù)則對應(yīng)即邏輯回歸，或者叫對數(shù)幾率回歸，實(shí)質(zhì)是通過線性回歸擬合對數(shù)幾率的方式來實(shí)現(xiàn)二分類；
·K近鄰，最簡單易懂的機(jī)器學(xué)習(xí)模型，無需訓(xùn)練（惰性模型），僅僅是通過判斷自己所處位置周邊的樣本判斷類比或者擬合結(jié)果；
·支持向量機(jī)，一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)模型，最初也是源于線性分類，通過最大化間隔實(shí)現(xiàn)最可靠的分類邊界。業(yè)界相傳：支持向量機(jī)有三寶、間隔對偶核函數(shù)。其中”間隔”由硬間隔升級為軟間隔解決了帶異常值的線性不可分場景，”對偶”是在優(yōu)化過程中求解拉格朗日問題的一個(gè)小技巧，而核函數(shù)才是支持向量機(jī)的核心，通過核實(shí)的核函數(shù)可以實(shí)現(xiàn)由線性可分向線性不可分的升級、同時(shí)避免了維度災(zāi)難；
·樸素貝葉斯，源于概率論中貝葉斯全概率公式，模型訓(xùn)練的過程就是擬合各特征分布概率的過程，而預(yù)測的過程則是標(biāo)出具有最大概率的類比，是一個(gè)純粹的依據(jù)概率完成分類任務(wù)的模型。而像邏輯回歸、K近鄰、支持向量機(jī)以及決策樹，雖然也都可以預(yù)測出各類別概率，但并不是純粹意義上的概率；
·決策樹，這是一個(gè)直觀而又強(qiáng)大的機(jī)器學(xué)習(xí)模型，訓(xùn)練過程主要包括特征選擇-切分-剪枝，典型的3個(gè)決策樹是ID3、C4.5和CART，其中CART樹既可用于分類也可用于回歸。更重要的是，決策樹不僅模型自身頗具研究價(jià)值，還是眾多集成學(xué)習(xí)模型的基學(xué)習(xí)器。

安裝指南

有多種安裝scikit-learn的方法：

• 安裝最新的官方版本。這是對于大多數(shù)用戶來說最好的方法。它將提供一個(gè)較穩(wěn)定的版本，并且預(yù)編譯的軟件包可適用于大多數(shù)平臺(tái)。
• 安裝電腦操作系統(tǒng)或Python發(fā)行版提供的scikit-learn版本 。對于電腦操作系統(tǒng)或Python發(fā)行版兼容scikit-learn的用戶來說，這是一個(gè)快速的選擇。它提供的可能不是最新的發(fā)行版本。
• 從源代碼構(gòu)建軟件包。對于想要最新和最強(qiáng)大的功能并且不害怕運(yùn)行全新代碼的用戶而言，這是最好的選擇。這也正是希望為該項(xiàng)目做出貢獻(xiàn)的用戶所需要的。

安裝最新版本

操作系統(tǒng)：Windows
包管理器：pip
例如從https://www.python.org上安裝Python 3的64位版本。
然后運(yùn)行：

1. pip?install?-U?scikit-learn


您可以使用以下語句去檢查

1. python?-m?pip?show?scikit-learn?#?查看scikit-learn安裝的位置及安裝的版本
python?-m?pip?freeze?#?查看所有在虛擬環(huán)境中已下載的包
python?-c?"import?sklearn;?sklearn.show_versions()"


操作系統(tǒng)：Windows
包管理器：conda
安裝 conda(不需要管理員權(quán)限).
然后運(yùn)行：

1. conda?install?scikit-learn


您可以使用以下語句去檢查

1. conda?list?scikit-learn?#?查看scikit-learn安裝的位置及安裝的版本
conda?list?#?查看所有在虛擬環(huán)境中已下載的包
python?-c?"import?sklearn;?sklearn.show_versions()"


操作系統(tǒng)：macOS
包管理器：pip
使用?homebrew?(brew install python) 或通過從?https://www.python.org手動(dòng)安裝軟件包來安裝Python 3
然后運(yùn)行：

1. pip?install?-U?scikit-learn


您可以使用以下語句去檢查

1. python?-m?pip?show?scikit-learn?#?查看scikit-learn安裝的位置及安裝的版本
python?-m?pip?freeze?#?查看所有在虛擬環(huán)境中已下載的包
python?-c?"import?sklearn;?sklearn.show_versions()"


操作系統(tǒng)：macOS
包管理器：conda
安裝 conda(不需要管理員權(quán)限).
然后運(yùn)行：

1. conda?install?scikit-learn


您可以使用以下語句去檢查

1. conda?list?scikit-learn?#?查看scikit-learn安裝的位置及安裝的版本
conda?list?#?查看所有在虛擬環(huán)境中已下載的包
python?-c?"import?sklearn;?sklearn.show_versions()"


操作系統(tǒng)：Linux
包管理器：pip
使用Linux發(fā)行版的軟件包管理器安裝python3和python3-pip
然后運(yùn)行：

1. pip3?install?-U?scikit-learn


您可以使用以下語句去檢查

1. python3?-m?pip?show?scikit-learn?#?查看scikit-learn安裝的位置及安裝的版本
python3?-m?pip?freeze?#?查看所有在虛擬環(huán)境中已下載的包
python3?-c?"import?sklearn;?sklearn.show_versions()"


操作系統(tǒng)：Linux
包管理器：conda
安裝 conda(不需要管理員權(quán)限).
然后運(yùn)行：

1. conda?install?scikit-learn


您可以使用以下語句去檢查

1. conda?list?scikit-learn?#?查看scikit-learn安裝的位置及安裝的版本
conda?list?#?查看所有在虛擬環(huán)境中已下載的包
python?-c?"import?sklearn;?sklearn.show_versions()"


? 請注意，為了避免與其他軟件包產(chǎn)生潛在的沖突，強(qiáng)烈建議使用虛擬環(huán)境，例如python3?virtualenv?（請參閱python3 virtualenv文檔）或conda環(huán)境。
? 使用的環(huán)境去安裝scikit-learn的特定版本及其依賴項(xiàng)時(shí)，可以完全與任何先前安裝的Python軟件包區(qū)分開。特別是在Linux下，不建議安裝pip軟件包依賴于軟件包管理器（apt，dnf，pacman…）管理的軟件包上。
請注意，無論何時(shí)啟動(dòng)新的終端會(huì)話，您都應(yīng)該始終記住在運(yùn)行任何Python命令之前要先激活您選擇的環(huán)境。
? 如果尚未安裝NumPy或SciPy，也可以使用conda或pip安裝它們。使用pip時(shí)，請確保使用二進(jìn)制wheels，并且不會(huì)從源代碼重新編譯NumPy和SciPy，這在使用操作系統(tǒng)和硬件的特定配置（例如Raspberry Pi上的Linux）時(shí)可能會(huì)發(fā)生。
? 如果必須使用pip安裝scikit-learn及其依賴項(xiàng)，則可以將其安裝為scikit-learn[alldeps]。
? Scikit-learn的繪圖功能（例如，函數(shù)以“ plot_”開頭和類以“ Display”結(jié)尾）需要Matplotlib（> = 2.1.1）。為了運(yùn)行這些示例，需要Matplotlib> = 2.1.1。其他有些示例需要scikit-image> = 0.13，有些示例需要Pandas> = 0.18.0，有些示例需要seaborn> = 0.9.0。
警告：

1. Scikit-learn?0.20是最后一個(gè)支持Python?2.7和Python?3.4的版本。?Scikit-learn0.21支持Python?3.5-3.7。?Scikit-learn0.22支持Python?3.5-3.8。Scikit-learn現(xiàn)在需要Python?3.6或更高版本。

注意：

1. 要在PyPy上安裝，需要PyPy3-v5.10?+，Numpy?1.14.0+和scipy?1.1.0+。

scikit-learn的第三方發(fā)行版

? 一些第三方發(fā)行版提供了scikit-learn的版本及其軟件包管理系統(tǒng)。
? 這些功能使用戶的安裝和升級變得更加容易，因?yàn)榧晒δ軗碛凶詣?dòng)安裝scikit-learn所需的依賴項(xiàng)（numpy，scipy）的能力。
? 以下是OS和python發(fā)行版提供的scikit-learn版本的不完整列表。

Arch

? Arch Linux的包是通過官方資料庫的?python-scikit-learn提供的?？梢酝ㄟ^鍵入以下命令來安裝它：

1. sudo?pacman?-S?python-scikit-learn


Debian / Ubuntu

? Debian / Ubuntu軟件包分為三個(gè)不同的軟件包，分別稱為?python3-sklearn（python模塊），python3-sklearn-lib（低配版），python3-sklearn-doc（文檔）。Debian Buster（最新的Debian發(fā)行版）中僅提供Python 3版本?？梢允褂妹?code>apt-get安裝軟件包：

1. sudo?apt-get?install?python3-sklearn?python3-sklearn-lib?python3-sklearn-doc


Fedora

? Fedora軟件包在python 3版本中被稱為python3-scikit-learn，這是Fedora30中唯一可用的版本?？梢允褂?code>dnf命令安裝：

1. sudo?dnf?install?python3-scikit-learn


NetBSD

? scikit-learn可通過pkgsrc-wip獲得：

http://pkgsrc.se/math/py-scikit-learn

MacPorts for Mac OSX

? MacPorts軟件包的名稱為py<XY>-scikits-learn，其中XY表示Python版本。可以通過鍵入以下命令來安裝它：

1. sudo?port?install?py36-scikit-learn


Canopy和Anaconda適用于所有支持的平臺(tái)

? 除了用于Windows，Mac OSX和Linux的大量科學(xué)python庫之外，Canopy和Anaconda還提供了最新版本的scikit-learn。
? Anaconda免費(fèi)提供scikit-learn。

Intel conda channel

? 英特爾擁有專用的conda渠道，該渠道可提供scikit-learn：

1. conda?install?-c?intel?scikit-learn


? 此版本的scikit-learn包含一些常見估量的替代求解器。這些求解器來自DAAL C ++庫，并針對多核Intel CPU進(jìn)行了優(yōu)化。
? 請注意，默認(rèn)情況下不啟用這些求解器，請參閱?daal4py文檔以獲取更多詳細(xì)信息。
? 可通過在https://github.com/IntelPython/daal4py上報(bào)告的自動(dòng)集成，運(yùn)行完整的scikit-learn測試，來檢查與標(biāo)準(zhǔn)scikit-learn解算器的兼容性。

Windows 版WinPython

? 該WinPython項(xiàng)目作為額外的插件在scikit-learn發(fā)布。

故障排除

Windows上的文件路徑長度限制引起的錯(cuò)誤

? 如果將Python安裝在電腦內(nèi)部位置（例如AppData用戶主目錄下的文件夾結(jié)構(gòu)）中，若達(dá)到Windows的默認(rèn)路徑大小限制時(shí)，pip可能無法安裝軟件包 ，例如：

1. C:\Users\username>C:\Users\username\AppData\Local\Microsoft\WindowsApps\python.exe?-m?pip?install?scikit-learn
Collecting?scikit-learn
...
Installing?collected?packages:?scikit-learn
ERROR:?Could?not?install?packages?due?to?an?EnvironmentError:?[Errno?2]?No?such?file?or?directory:?'C:\\Users\\username\\AppData\\Local\\Packages\\PythonSoftwareFoundation.Python.3.7_qbz5n2kfra8p0\\LocalCache\\local-packages\\Python37\\site-packages\\sklearn\\datasets\\tests\\data\\openml\\292\\api-v1-json-data-list-data_name-australian-limit-2-data_version-1-status-deactivated.json.gz'


在這種情況下，可以使用以下regedit工具在Windows注冊表中取消該限制：

1. 在Windows開始菜單中鍵入“ regedit”來啟動(dòng)regedit。
   
2. 選擇?Computer\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem?key
   
3. 編輯該LongPathsEnabled鍵的屬性值，將其設(shè)置為1。
   
4. 重新安裝scikit-learn（忽略以前的安裝報(bào)錯(cuò)）：