在這行干久了經(jīng)常被新入行的朋友問同一個問題想學(xué) Python 做數(shù)據(jù)科學(xué)到底先學(xué)什么我的答案永遠(yuǎn)是固定的三件套——NumPy、Pandas、Matplotlib。這套數(shù)據(jù)科學(xué)工具鏈幾乎覆蓋了從數(shù)據(jù)讀取、清洗、計算到可視化的全流程不管你是想分析一份 Excel 表格、爬蟲拿到的一堆 JSON還是公司數(shù)據(jù)庫導(dǎo)出的 CSV最終都會落到這三個庫上。這篇文章不是官方文檔的翻譯而是按我自己的踩坑經(jīng)歷來寫的哪些概念最容易卡住新手哪些安裝坑我每年都要幫人解決一次哪些報錯其實(shí)兩句話就能處理掉。全文會從環(huán)境搭建開始帶你依次跑通 NumPy 的數(shù)組運(yùn)算、Pandas 的表格處理、Matplotlib 的圖形輸出最后用一個完整的小案例把這套工具鏈串起來。適合剛?cè)腴T Python、正準(zhǔn)備接觸數(shù)據(jù)處理的讀者也適合那些裝好了環(huán)境但不知道從哪下手的同學(xué)。1. 先搞清楚一件事這套工具鏈到底幫你省了什么1.1 為什么是這三件套而不是 Pandas 直接干到底很多人有個疑問既然 Pandas 能讀 Excel、能做統(tǒng)計、能算均值排序為什么還要單獨(dú)學(xué) NumPy這里解釋一下它們的分工。NumPy 是整個工具鏈的地基提供高性能的 ndarray 數(shù)組對象和向量化運(yùn)算能力Pandas 在 NumPy 之上構(gòu)建了帶標(biāo)簽的表格結(jié)構(gòu)也就是 Series 和 DataFrameMatplotlib 則負(fù)責(zé)把數(shù)據(jù)變成圖形。打一個可能不太嚴(yán)謹(jǐn)?shù)苤庇^的比方NumPy 像廚房里的基礎(chǔ)食材和切配標(biāo)準(zhǔn)Pandas 是按菜譜配好的半成品托盤Matplotlib 是擺盤上桌的環(huán)節(jié)。沒有 NumPy 的高效運(yùn)算打底Pandas 處理幾十萬行數(shù)據(jù)時會明顯變慢不學(xué) Matplotlib你做出來的分析結(jié)論就只能寫文字說服力直接減半。我的建議是從一開始就把這套工具鏈當(dāng)成配合關(guān)系來理解而不是替代關(guān)系。數(shù)據(jù)處理的典型節(jié)奏是讀取數(shù)據(jù) → 用 Pandas 做預(yù)處理和切片 → 需要數(shù)值計算的地方切到 NumPy → 最后把結(jié)果交給 Matplotlib 畫圖。實(shí)際操作中你會頻繁在三個庫之間來回切換所以入門階段就要有意識地建立這個協(xié)作思維。庫核心對象主要職責(zé)類比角色NumPyndarray高性能數(shù)值計算、矩陣運(yùn)算地基/食材PandasDataFrame / Series數(shù)據(jù)讀取、清洗、聚合半成品托盤MatplotlibFigure / Axes數(shù)據(jù)可視化呈現(xiàn)擺盤上桌我見過大量新手拿到一份 CSV 之后第一反應(yīng)是head()看一下然后試圖寫循環(huán)處理每一行。這在數(shù)據(jù)量小的時候沒問題一旦跑真實(shí)業(yè)務(wù)數(shù)據(jù)慢到懷疑人生。真正的思路是先想清楚數(shù)據(jù)形態(tài)再決定用哪個庫的方法一步到位解決問題。1.2 你的第一個環(huán)境體驗裝不上、裝錯位置、裝錯版本聊正題之前先說個特別現(xiàn)實(shí)的現(xiàn)狀工具鏈本身不難難點(diǎn)從安裝就開始出現(xiàn)了。我每年幫人排查環(huán)境問題花的功夫比教寫代碼還多。常見的癥狀就三種。第一種屏幕上明明顯示安裝成功import 的時候卻報 ModuleNotFoundError。第二種在命令行里 import 正常換到 VSCode 或 PyCharm 里就報錯。第三種版本太老或太新導(dǎo)致某個 API 不存在、某個參數(shù)對不上。這些問題九成是同一個根因機(jī)器上有多個 Python 環(huán)境pip 裝到了一個環(huán)境解釋器用的卻是另一個環(huán)境。舉個例子你電腦里可能同時存在官網(wǎng)下載的 Python 3.11、Microsoft Store 裝的 Python 3.9還有某個 IDE 自帶的基礎(chǔ)解釋器。它們在系統(tǒng)里是完全獨(dú)立的各有各的 site-packages 目錄。你在命令行用官網(wǎng) Python 的 pip 安裝 NumPy裝進(jìn)去的位置和 VSCode 選中的 3.9 版 Python 搜索模塊的位置根本不是一回事。理解這一點(diǎn)環(huán)境問題就解決了一半。安裝這件事不是敲命令這么簡單你需要確認(rèn)三件事當(dāng)前用的 Python 解釋器是哪個當(dāng)前環(huán)境的 pip 是哪個包到底裝到了哪里。下面我會用一整節(jié)講清楚。2. 環(huán)境搭建從零到能跑第一個 Demo重點(diǎn)說清安裝的坑2.1 先定位 Python 解釋器和 pip別急著敲安裝命令無論你用的是下載安裝包的方式還是通過 Anaconda/Miniconda第一步永遠(yuǎn)是定位解釋器路徑。在命令行里執(zhí)行# Windows 與 macOS/Linux 通用 python --version pip --version # 更進(jìn)一步確認(rèn)解釋器路徑 python -c import sys; print(sys.executable)這一步能看出機(jī)器上默認(rèn)的 Python 是哪一個。如果你分不清自己用的是哪個后面所有 我明明裝了為什么還報錯 的問題都沒法定位。對于純新手我強(qiáng)烈建議直接裝 Anaconda 或者 Miniconda然后用它的 base 環(huán)境。這不是說 conda 有多高級而是它自帶一套解釋器和包管理大幅降低環(huán)境混亂的概率。當(dāng)然如果你已經(jīng)用官網(wǎng) Python 加 VSCode 能跑通那就別折騰換工具了能用才是王道。這里特別提一下 VSCode 用戶最容易踩的坑VSCode 右下角狀態(tài)欄會顯示當(dāng)前 Python 解釋器點(diǎn)擊它就可以切換。很多命令行能跑編輯器里跑不了的怪問題都是因為右下角選中的解釋器和命令行里的不是同一個。打開命令面板輸入Python: Select Interpreter手動選一次往往比你在終端里折騰半小時都有效。2.2 用 pip 安裝三件套的正確姿勢確認(rèn)好解釋器之后安裝就很簡單了。打開命令行輸入pip install numpy pandas matplotlib如果下載速度太慢可以臨時換用國內(nèi)鏡像源。這里給一個通用寫法pip install numpy pandas matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple裝完之后不要急著跑項目先做一個冒煙測試。在命令行里輸入python -c import numpy, pandas, matplotlib; print(numpy:, numpy.__version__); print(pandas:, pandas.__version__); print(matplotlib:, matplotlib.__version__)這個命令會把三個庫的版本號一次性打印出來。如果打印成功說明三件套已經(jīng)進(jìn)入同一個解釋器。如果這步都失敗不要再繼續(xù)寫代碼先回頭處理環(huán)境。提示pip install numpy和python -m pip install numpy在大部分情況下等價但在多環(huán)境并存的機(jī)器上python -m pip能確保 pip 和當(dāng)前 python 命令綁定的是同一個環(huán)境安全性更高。如果pip本身報錯或找不到我建議改用這個寫法。2.3 離線安裝、IDE 內(nèi)安裝和 Linux 服務(wù)器安裝有些場景下機(jī)器不能聯(lián)網(wǎng)或者網(wǎng)絡(luò)策略很嚴(yán)格這時候要提前準(zhǔn)備離線安裝包。方法是在一臺能聯(lián)網(wǎng)的同平臺機(jī)器上下載 wheel 文件然后拷過去用pip install 文件名安裝。先執(zhí)行 pip download# 在一臺聯(lián)網(wǎng)機(jī)器上下載并保留依賴 pip download numpy pandas matplotlib -d ./offline_packages然后把整個文件夾拷到目標(biāo)機(jī)器再執(zhí)行pip install --no-index --find-links./offline_packages numpy pandas matplotlib注意pip download只會下載指定包不會自動把依賴全部拉全。如果目標(biāo)環(huán)境是全新的建議在聯(lián)網(wǎng)機(jī)器上用pip freeze requirements.txt先導(dǎo)出依賴清單再把所有依賴的 wheel 一起下載下來。另一個常見場景是 PyCharm 里安裝包——打開 File → Settings → Project → Python Interpreter右下角加號搜索包名安裝即可。它的本質(zhì)還是調(diào)用了這個解釋器對應(yīng)的 pip所以界面上顯示安裝成功也不代表萬事大吉你依然要確認(rèn)項目用的解釋器是哪一個。Linux 服務(wù)器上安裝時有兩個容易踩的細(xì)節(jié)一是服務(wù)器可能同時存在系統(tǒng)自帶的 Python 3 和用戶自己編譯的 Python建議用python3 -m pip install而不是直接pip install二是沒有 root 權(quán)限時給 pip 加--user參數(shù)把包裝到用戶目錄避免權(quán)限問題。裝完之后再用第 2.2 節(jié)的冒煙測試驗證一下這個習(xí)慣能幫你省掉后面一大半的 Debug 時間。3. NumPy 快速上手?jǐn)?shù)組、向量化運(yùn)算和那幾件反直覺的事3.1 ndarray 與 dtype為什么數(shù)組里每個元素類型必須一致NumPy 的核心數(shù)據(jù)結(jié)構(gòu)是 ndarray也就是 N 維數(shù)組。它比 Python 內(nèi)置列表快得多的一個重要原因就是數(shù)組里所有元素的類型必須統(tǒng)一。內(nèi)存分配是連續(xù)且緊湊的CPU 可以直接批量處理不需要像 Python 列表那樣挨個查對象的類型信息。代價就是你往一個整數(shù)數(shù)組里塞浮點(diǎn)數(shù)或字符串要么被強(qiáng)轉(zhuǎn)要么直接報錯。這種類型敏感特性就是新手最容易反直覺的第一點(diǎn)。創(chuàng)建數(shù)組非常直觀import numpy as np a np.array([1, 2, 3, 4]) # 一維數(shù)組 b np.zeros((3, 4)) # 3 行 4 列全零數(shù)組 c np.ones((2, 2)) # 2 行 2 列全一數(shù)組 d np.arange(0, 10, 2) # 從 0 到 10(不含)步長為 2 e np.linspace(0, 1, 5) # 0 到 1 之間均勻取 5 個數(shù)但要注意寫np.array([1, 2, 3.5])時數(shù)組 dtype 會被自動推斷為 float64因為整數(shù) 1 被提升成了 1.0。如果后面你想對前兩個元素做整數(shù)邏輯運(yùn)算就容易踩坑。所以建議在創(chuàng)建時就顯式指定 dtypea np.array([1, 2, 3], dtypenp.float64)檢查 dtype 最常用的方式是a.dtype。看到 dtype 是 int32 還是 float64基本就能判斷很多莫名其妙的結(jié)果是因為精度丟失還是類型轉(zhuǎn)換引起的。NumPy 提供了一整族 dtype比如 int32、int64、float32、float64還有處理字符串的U類型。剛開始不需要記全只要知道數(shù)組是有類型強(qiáng)約束的這一點(diǎn)就夠用了。3.2 切片、布爾索引與廣播機(jī)制NumPy 的切片語法和 Python 列表類似但它有一個讓新手措手不及的特性切片返回的是視圖不是副本。也就是說執(zhí)行b a[1:3]之后你修改 b 的元素a 也會跟著變。這是因為 NumPy 為了性能默認(rèn)不復(fù)制底層數(shù)據(jù)只有顯式調(diào)用.copy()才會復(fù)制。解決這個問題的方法很簡單需要獨(dú)立數(shù)據(jù)時就寫.copy()不需要時就老實(shí)使用視圖以節(jié)省內(nèi)存。我建議新手養(yǎng)成一個習(xí)慣凡是不確定后面會不會改動切片結(jié)果的場景都補(bǔ)一個.copy()安全第一。這個細(xì)節(jié)在寫大型數(shù)據(jù)處理的腳本時特別重要因為視圖的副作用往往不會在出錯的第一時間暴露而是隔了很久才從某個詭異的數(shù)值里體現(xiàn)出來。布爾索引是 NumPy 的高效過濾手段data np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(data[data 5]) # 輸出所有大于 5 的元素廣播機(jī)制是 NumPy 最強(qiáng)大的特性之一。簡單說當(dāng)兩個數(shù)組形狀不完全一致時NumPy 會按規(guī)則自動擴(kuò)展較小的數(shù)組去匹配較大的數(shù)組。比如arr 1會把 1 廣播到每個元素上(3, 1)和(1, 4)相加會先擴(kuò)展成(3, 4)。我見過不少人在需要按列歸一化時很自然地寫了data - data.mean(axis0)卻得到了一堆看起來完全錯誤的結(jié)果。問題通常出在形狀對齊上data.mean(axis0)是一維的(n,)減去它時 NumPy 沿著行廣播結(jié)果就亂了。遇到這種情況先打印兩個數(shù)組的 shape再用reshape或keepdimsTrue顯式對齊維度。3.3 mgrid 的用法與常用聚合函數(shù)有人專門搜索numpy庫mgrid方法說明這是很多人學(xué)習(xí)時卡住的地方之一。mgrid 的作用是生成一個用于網(wǎng)格計算的密集坐標(biāo)數(shù)組。比如我們要生成一個 3x3 網(wǎng)格的 x 坐標(biāo)和 y 坐標(biāo)x, y np.mgrid[0:3, 0:3] # x 是縱向重復(fù) 3 行y 是橫向重復(fù) 3 列 print(x) # [[0 1 2] # [0 1 2] # [0 1 2]] print(y) # [[0 0 0] # [1 1 1] # [2 2 2]]它在畫二維圖、做數(shù)值模擬時非常常見。比如你想對平面上每個點(diǎn)計算z f(x, y)先用 mgrid 生成坐標(biāo)網(wǎng)格再對整個網(wǎng)格做向量化計算比嵌套兩層 for 循環(huán)快得多代碼也更簡潔。很多人第一次看到 mgrid 的輸出會愣住因為它是把坐標(biāo)拆開而不是給你一組現(xiàn)成的坐標(biāo)點(diǎn)。多打印幾次輸出理解維度方向就好。聚合函數(shù)方面最常用的是sum、mean、max、min、std。注意axis參數(shù)的語義axis0是沿著行方向壓縮計算每一列的結(jié)果axis1是沿著列方向壓縮計算每一行的結(jié)果。這個方向問題初學(xué)者幾乎必錯一次我也只能提醒你多打印結(jié)果驗證。判斷方法很簡單結(jié)果數(shù)組的維度比原數(shù)組少一維你只要看輸出形狀是 (n,) 還是 (,n) 就能反推出方向。4. Pandas 快速上手從表格思維到數(shù)據(jù)處理思維4.1 Series 和 DataFrame兩個核心對象的直覺理解Pandas 的兩個核心對象經(jīng)常被新同學(xué)混淆。簡單理解Series 是一列帶標(biāo)簽的數(shù)據(jù)DataFrame 是由多個 Series 組成的二維表格。大多數(shù)時候你直接操作的是 DataFrame但 DataFrame 里的每一列本質(zhì)上是 Series。如果你在數(shù)據(jù)處理時寫df.iterrows()去逐行循環(huán)處理大概率是沒理解 Pandas 的向量化能力。大部分需求可以用整列操作完成速度和代碼可讀性都遠(yuǎn)好于循環(huán)。比如計算兩列的比值直接寫df[A] / df[B]就行不需要一行一行來。這個思維方式的轉(zhuǎn)變是很多人從會寫 Python到會用 Pandas的分水嶺。創(chuàng)建 DataFrame 最常用的方式是從字典創(chuàng)建和從文件讀取import pandas as pd # 從字典創(chuàng)建key 是列名value 是列數(shù)據(jù) df pd.DataFrame({ 姓名: [張三, 李四, 王五], 年齡: [25, 30, 35], 城市: [北京, 上海, 廣州] })創(chuàng)建完之后用df.shape看行列數(shù)用df.columns看列名。新手容易把字典的 key 順序和 DataFrame 的列順序搞混實(shí)際上 Pandas 會按傳入順序保留不需要擔(dān)心字典在 Python 3.7 是有序的這個前提。4.2 讀取 Excel/CSV 與數(shù)據(jù)類型轉(zhuǎn)換的關(guān)鍵細(xì)節(jié)pd.read_excel()和pd.read_csv()是處理數(shù)據(jù)的起點(diǎn)。讀 CSV 時我強(qiáng)烈建議先試encodingutf-8遇到亂碼就換成encodinggbk這是國內(nèi)導(dǎo)出數(shù)據(jù)的常見編碼。讀 Excel 時注意sheet_name參數(shù)不傳默認(rèn)讀第一個 sheet也可以傳多個 sheet 名返回一個字典。讀取之后第一件事不是直接 print而是先用三個方法檢查數(shù)據(jù)形態(tài)df.head() # 看前 5 行 df.info() # 看列名、非空值數(shù)量、dtype df.describe() # 看數(shù)值列的統(tǒng)計描述df.info()是我個人最常用的因為它的輸出會直接告訴你每一列是什么 dtype、有沒有缺失值這比肉眼翻表格高效太多。類型轉(zhuǎn)換是 Pandas 踩坑重災(zāi)區(qū)。最常見的場景是年齡列看起來是數(shù)字實(shí)際上是字符串。比如讀 Excel 時把某一列讀成了 object一求均值直接報錯。轉(zhuǎn)換的標(biāo)準(zhǔn)寫法是df[年齡] pd.to_numeric(df[年齡], errorscoerce) df[日期] pd.to_datetime(df[日期], errorscoerce)errorscoerce的作用是把無法轉(zhuǎn)換的值變?yōu)?NaN而不是直接拋異常斷開整個流程。這個參數(shù)非常重要能讓你在數(shù)據(jù)質(zhì)量差的時候先保留流程后面再統(tǒng)一處理缺失值。另一個高頻需求是把字符串類型的浮點(diǎn)數(shù)列轉(zhuǎn)換為真正的浮點(diǎn)列方法同樣是pd.to_numeric。關(guān)于讀寫文件還有一個經(jīng)常被忽略的導(dǎo)出細(xì)節(jié)df.to_excel(output.xlsx, indexFalse)時記得加indexFalse否則會把行索引寫進(jìn) Excel 的第一列給自己制造多余數(shù)據(jù)。寫 CSV 給 Excel 用時建議df.to_csv(output.csv, indexFalse, encodingutf-8-sig)utf-8-sig能避免 Excel 打開中文亂碼。4.3 數(shù)據(jù)清洗三板斧缺失值、重復(fù)值、異常值數(shù)據(jù)清洗是 Pandas 使用頻率最高的場景。我的經(jīng)驗是把它拆成三板斧。第一板斧是缺失值。先看缺失情況分布df.isnull().sum()然后決定策略刪除df.dropna()還是填充df.fillna()。刪除時注意參數(shù)subset可以指定只在某些列缺失時才刪填充時常用df[列名].fillna(df[列名].mean())或者用前向填充ffill()。我的一般原則是關(guān)鍵業(yè)務(wù)字段缺失優(yōu)先填充非關(guān)鍵字段缺失可以考慮刪除時間序列數(shù)據(jù)優(yōu)先前向填充因為用未來值去填過去值在邏輯上是說不通的。第二板斧是重復(fù)值。df.duplicated()可以判斷哪些行重復(fù)df.drop_duplicates()刪除重復(fù)行。注意默認(rèn)是按整行判斷如果想按某一列判斷重復(fù)必須傳subset[列名]。比如會員表里一個人可能出現(xiàn)多行你只想保留每人最近一條記錄就要按會員 ID 去重。第三板斧是異常值。最簡單快速的是通過分位數(shù)過濾q1 df[金額].quantile(0.25) q3 df[金額].quantile(0.75) iqr q3 - q1 df_filtered df[(df[金額] q1 - 1.5 * iqr) (df[金額] q3 1.5 * iqr)]這套 IQR 方法不是萬能的但對入門階段處理臟數(shù)據(jù)非常實(shí)用。清洗過后再用df.info()對比一下行數(shù)和非空值就能知道清洗有沒有生效。很多時候數(shù)據(jù)清洗不是一次性做完的而是檢查 → 清洗 → 再檢查的循環(huán)你在第 2 次檢查時可能又會發(fā)現(xiàn)新的問題。5. Matplotlib 快速上手畫出第一張能看的數(shù)據(jù)圖5.1 繪圖基礎(chǔ)流程與 Figure/Axes 的層級關(guān)系Matplotlib 的 API 經(jīng)過多年演進(jìn)很多老教程還在用plt.plot()直接畫雖然也能出圖但理解 Figure畫布和 Axes坐標(biāo)系的層級關(guān)系才能讓后續(xù)的布局調(diào)整不那么痛苦。Figure 是整個圖形窗口Axes 是圖上的一個坐標(biāo)系。一張 Figure 上可以有多個 Axes比如并排幾張子圖每個 Axes 有自己的 x 軸、y 軸和數(shù)據(jù)。最基礎(chǔ)的繪圖流程是import matplotlib.pyplot as plt x [1, 2, 3, 4, 5] y [3, 5, 7, 9, 11] fig, ax plt.subplots(figsize(6, 4)) ax.plot(x, y, markero, linestyle--, colorb, label示例數(shù)據(jù)) ax.set_xlabel(X 軸) ax.set_ylabel(Y 軸) ax.set_title(我的第一張 Matplotlib 圖表) ax.legend() plt.show()這里的fig, ax plt.subplots()是顯式創(chuàng)建 Figure 和 Axes 對象后續(xù)所有配置都通過ax完成。對比老式寫法plt.xlabel()這個方式更清晰也方便在一張畫布里創(chuàng)建多個子圖時統(tǒng)一管理。如果你想畫并排的兩張子圖核心邏輯是一樣的fig, (ax1, ax2) plt.subplots(1, 2, figsize(10, 4)) ax1.plot(x, y) ax2.bar(x, y) plt.show()subplots(1, 2)返回(fig, axs)axs是一個包含兩個 Axes 對象的數(shù)組展開賦值給(ax1, ax2)就行。后面你分別調(diào)用 ax1 和 ax2 的方法兩張圖就在同一張畫布里各占一半。5.2 常見圖表選型與中文顯示問題該選什么圖我的習(xí)慣是看趨勢用折線圖ax.plot看分布用直方圖ax.hist或箱線圖ax.boxplot看占比用餅圖ax.pie比較各類別數(shù)值用柱狀圖ax.bar。新手最容易犯的錯是用柱狀圖去表達(dá)時間序列趨勢這會讓讀者很難看清連續(xù)變化換成折線圖馬上自然很多。幾乎每個用 Matplotlib 的人都會碰到中文顯示問題。默認(rèn)字體里沒有中文字體出來的圖全是方框。解決方法要先指定支持中文的字體import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC] plt.rcParams[axes.unicode_minus] False # 解決負(fù)號顯示為方框的問題把這兩行放在腳本開頭大部分場景的中文顯示問題都能解決。如果系統(tǒng)里確實(shí)沒有這些字體就需要手動安裝中文字體并重新構(gòu)建字體緩存過程比較繁瑣。我建議入門階段直接采用這個配置如果不行再考慮裝字體。另外直方圖和箱線圖很適合快速查看數(shù)據(jù)分布。比如我們要檢查銷售金額是否呈偏態(tài)分布import matplotlib.pyplot as plt import numpy as np data np.random.gamma(2, 2, 500) fig, (ax1, ax2) plt.subplots(1, 2, figsize(10, 4)) ax1.hist(data, bins30, edgecolorblack) ax1.set_title(直方圖) ax2.boxplot(data) ax2.set_title(箱線圖) plt.show()箱線圖里的中位數(shù)線、四分位邊界和離群點(diǎn)一眼就能看出數(shù)據(jù)分布的形狀。配合前面第 4.3 節(jié)講的 IQR 異常值過濾你會發(fā)現(xiàn) Matplotlib 和 Pandas 的聯(lián)動非常緊密。6. 高頻報錯的完整排查鏈路別再靠猜很多人在社區(qū)發(fā)求助帖時直接貼個報錯截圖連錯誤信息和環(huán)境都沒說清楚。這里我按幾個高頻報錯挨個拆解一遍排查過程目的是幫你建立一條排查思路而不是背答案。以后再遇到類似報錯至少知道從哪里下手。6.1AttributeError: module pandas has no attribute core的真實(shí)原因這個報錯看起來很嚇人其實(shí)是典型的名字遮蔽或版本不一致問題。排查鏈路是這樣的先確認(rèn)代碼里有沒有一個文件叫pandas.py或者某個目錄叫pandas/。如果有Python 在導(dǎo)入import pandas時會優(yōu)先導(dǎo)入你本地這個文件而不是真正的 Pandas 庫。這時候你訪問pandas.core時就報出module pandas has no attribute core。確認(rèn)方式是在報錯前先打印模塊路徑import pandas print(pandas.__file__)如果打印出來的路徑不是 site-packages 下的 pandas 目錄而是你項目里的某個路徑基本就是實(shí)錘了。解決辦法是把本地文件改名刪除當(dāng)前目錄下的pandas.py或pandas/文件夾然后徹底重啟解釋器。這類問題在真實(shí)項目里其實(shí)不少見因為很多人喜歡把腳本命名為pandas.py或者numpy.py來做練習(xí)這個習(xí)慣非常危險。另一個原因是 Pandas 版本極老或極新導(dǎo)致內(nèi)部結(jié)構(gòu)變動?，F(xiàn)在的 Pandas 已經(jīng)把pandas.core視為內(nèi)部實(shí)現(xiàn)不推薦直接訪問。如果你在舊項目里看到pandas.core.frame.DataFrame這類寫法升級后可能就找不到了。解決辦法是改用公開 API比如直接import pandas as pd然后pd.DataFrame。6.2UserWarning: failed to initialize numpy: no module named numpy與版本沖突這個報錯常見于裝完某個庫之后出現(xiàn)。表面上是沒找到 numpy但很可能是環(huán)境里有多個 Python或者 numpy 沒有裝到正確的環(huán)境中。排查鏈路如下先執(zhí)行python -c import numpy; print(numpy.__version__)看當(dāng)前解釋器能不能導(dǎo)入 numpy。如果能導(dǎo)入說明當(dāng)前解釋器沒問題報錯來自另一個解釋器。這時候要看是誰在報警告經(jīng)常是某個 IDE 或軟件內(nèi)置的 Python 在掃描環(huán)境、初始化擴(kuò)展時掃描到了一個不完整的環(huán)境。如果不能導(dǎo)入說明只是裝錯了位置。用pip show numpy查看包裝到了哪里用python -c import sys; print(sys.executable)確認(rèn)當(dāng)前解釋器路徑兩者對比把包裝到正確的解釋器下即可。另外還要注意 NumPy 和 Pandas/Matplotlib 存在版本兼容區(qū)間。如果一起安裝時沒注意版本可能出現(xiàn)舊版編譯產(chǎn)物和新版運(yùn)行時不匹配報錯形式五花八門。最簡單穩(wěn)妥的修復(fù)方式是新建一個干凈的虛擬環(huán)境然后重新安裝一次最新穩(wěn)定版python -m venv myenv # Windows: myenv\Scripts\activate macOS/Linux: source myenv/bin/activate pip install numpy pandas matplotlib虛擬環(huán)境的好處是每個項目獨(dú)立一套依賴不會和系統(tǒng)全局環(huán)境互相污染。我以前也偷懶不建虛擬環(huán)境直到某次把公司服務(wù)器的 Python 環(huán)境搞壞了才老實(shí)了一輩子。6.3 請安裝 matplotlib 以顯示圖標(biāo)這類提示是怎么來的有時候你在跑某個第三方庫或 GUI 應(yīng)用時會看到類似 請安裝 matplotlib 以顯示圖標(biāo) 或者 pip install matplotlib 的提示。這種情況通常是你要用到的某個功能依賴 matplotlib 作為后端來繪圖或渲染圖標(biāo)但當(dāng)前環(huán)境里沒有裝。我在實(shí)際調(diào)試這類問題時總是先去看錯誤發(fā)生的位置而不是直接執(zhí)行它提示的命令。因為很多項目里的報錯實(shí)際上是因為本機(jī)有其他依賴沒滿足提示安裝 matplotlib 只是順帶一提。最穩(wěn)妥的方案依然是在項目虛擬環(huán)境里用pip install matplotlib裝上然后重新跑一下。如果你是離線環(huán)境就回到前面第 2.3 節(jié)的那套離線安裝流程去聯(lián)網(wǎng)機(jī)器下載 wheel 包拷貝過來后手動安裝注意同時把依賴一并處理好。一個容易遺漏的細(xì)節(jié)是離線安裝后也要記得做一次import matplotlib冒煙測試因為 wheel 包之間有依賴順序要求少一個依賴哪怕安裝了也會在運(yùn)行時才報錯。7. 綜合實(shí)戰(zhàn)從 Excel 到一張完整圖表的完整數(shù)據(jù)鏈路7.1 案例背景與完整代碼到這里三個庫各自的用法都過了一遍。我用一個完整的小案例把它們串起來目標(biāo)是把一份訂單表數(shù)據(jù)讀取進(jìn)來做清洗和計算最后畫出一張銷售額趨勢圖。假設(shè)當(dāng)前目錄下有一個orders.xlsx包含三列日期、銷售金額、銷售數(shù)量。其中日期列有部分缺失銷售金額列有部分字符串類型混入。下面是完整代碼import pandas as pd import numpy as np import matplotlib.pyplot as plt # 1. 讀取數(shù)據(jù) df pd.read_excel(orders.xlsx) # 2. 查看數(shù)據(jù)結(jié)構(gòu)和缺失情況 print(df.info()) print(df.isnull().sum()) # 3. 數(shù)據(jù)清洗日期轉(zhuǎn)成 datetime金額轉(zhuǎn)成數(shù)值缺失值填充處理 df[日期] pd.to_datetime(df[日期], errorscoerce) df[銷售金額] pd.to_numeric(df[銷售金額], errorscoerce) df df.dropna(subset[日期]) # 刪掉日期缺失的行 df[銷售金額] df[銷售金額].fillna(df[銷售金額].median()) # 金額缺失用中位數(shù)填充 # 4. 用 NumPy 計算一些聚合統(tǒng)計 amounts df[銷售金額].to_numpy(dtypenp.float64) print(總銷售額:, amounts.sum()) print(單筆平均金額:, amounts.mean()) print(最大單筆金額:, amounts.max()) # 5. 按月份匯總銷售額 df[月份] df[日期].dt.to_period(M) monthly df.groupby(月份)[銷售金額].sum() # 6. 導(dǎo)出清洗后的數(shù)據(jù) df.to_excel(orders_cleaned.xlsx, indexFalse) # 7. 繪圖 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC] plt.rcParams[axes.unicode_minus] False fig, ax plt.subplots(figsize(10, 5)) ax.plot(monthly.index.astype(str), monthly.values, markero, linestyle-) ax.set_xlabel(月份) ax.set_ylabel(銷售額) ax.set_title(各月銷售額趨勢) plt.tight_layout() plt.show()7.2 每一行代碼背后的關(guān)鍵細(xì)節(jié)這段代碼看著不復(fù)雜但里面每一個選擇背后都有原因。讀取 Excel 后第一件事不是繪圖而是df.info()看結(jié)構(gòu)因為清洗前你永遠(yuǎn)不知道數(shù)據(jù)有多臟。日期轉(zhuǎn) datetime 失敗的行會被置為 NaT所以dropna(subset[日期])刪除的只是真正無效的行。金額列混入字符串時pd.to_numeric(..., errorscoerce)會把非數(shù)字變成 NaN后面用中位數(shù)填充避免異常值對結(jié)果沖擊過大。用 NumPy 計算聚合統(tǒng)計其實(shí)用 Pandas 的df[銷售金額].sum()也能直接做但這里特意演示了df[銷售金額].to_numpy(dtypenp.float64)的轉(zhuǎn)換方式。這在實(shí)際工作中非常常見Pandas 做完了數(shù)據(jù)整理要把列轉(zhuǎn)成 NumPy 數(shù)組去做更底層的計算或者傳入機(jī)器學(xué)習(xí)模型。月份分組用的是df[日期].dt.to_period(M)這個操作可以很方便地按月份提取周期對象再groupby就能得到月度匯總。這里不用 NumPy因為groupby本來就是 Pandas 的強(qiáng)項。繪圖時我把monthly.index轉(zhuǎn)成字符串再傳給 x 軸避免了 Matplotlib 對 PeriodIndex 的一些兼容問題。這個細(xì)節(jié)在舊版 Matplotlib 上特別有用新版雖然也能直接處理但顯式轉(zhuǎn)字符串更保險。跑完這段代碼你會看到一張月度銷售額趨勢折線圖同時當(dāng)前目錄下多了一個orders_cleaned.xlsx。整個過程就是這套數(shù)據(jù)科學(xué)工具鏈最典型的協(xié)作方式Pandas 清理和匯總數(shù)據(jù)NumPy 做底層數(shù)值計算Matplotlib 把結(jié)論可視化。三個庫各用一點(diǎn)數(shù)據(jù)鏈路就走通了。7.3 數(shù)據(jù)源換成爬蟲 JSON 和導(dǎo)出結(jié)果如果讀入的不是 Excel而是爬蟲拿到的 JSON 列表流程也沒有太大區(qū)別。把列表轉(zhuǎn)成 DataFrame 后后面的清洗、分組、繪圖流程完全一致。import pandas as pd # 假設(shè)爬蟲返回的是一個包含多個 dict 的列表 data [ {日期: 2024-01-05, 銷售金額: 120.0}, {日期: 2024-01-12, 銷售金額: 85}, {日期: None, 銷售金額: 90} ] df pd.json_normalize(data) # 把嵌套結(jié)構(gòu)展開成 DataFrame df[銷售金額] pd.to_numeric(df[銷售金額], errorscoerce) print(df)pd.json_normalize()能把嵌套的 JSON 結(jié)構(gòu)拍平成表格這對于爬蟲數(shù)據(jù)特別友好。工具鏈的優(yōu)勢就在這里數(shù)據(jù)源可以變處理管線不用推翻重寫。如果你還需要把結(jié)果導(dǎo)出到 Excel 給同事看一行df.to_excel(output.xlsx, indexFalse)就搞定。注意在寫入帶有中文字符的 CSV 時用encodingutf-8-sig在寫入 Excel 時記得關(guān)閉索引這些前面都提過做一遍就會形成肌肉記憶。最后分享一個我個人很受用的經(jīng)驗入門這套工具鏈不要一上來就背 API而是準(zhǔn)備一個自己的最小數(shù)據(jù)集。我當(dāng)年就是用一份幾百行的歷史銷售表反復(fù)練手日期解析、缺失值、字符串混入、中文圖例顯示所有問題一次性踩了個遍。想真正記住 NumPy、Pandas、Matplotlib 這些東西靠的不是看文檔而是拿一份真實(shí)數(shù)據(jù)從頭到尾跑通一遍清洗、計算、繪圖全流程。等你跑完兩三遍后再回頭看會發(fā)現(xiàn)所有當(dāng)初覺得玄乎的概念其實(shí)都是手邊最樸素的工具而已。如果實(shí)戰(zhàn)中遇到環(huán)境又亂了多打印sys.executable、pandas.__file__、numpy.__version__這三個值它們能把絕大多數(shù)環(huán)境錯配問題直接暴露出來。這套工具鏈本身并不難難的是在龐大生態(tài)里找到一條清晰的入門路徑希望這篇內(nèi)容能幫你少走一段彎路。