本文为 Python 60 Days Challenge 课程学习整理，原作者与原 Notebook 链接见「课程资料」。代码按章节顺序运行；语法示意和故意报错的反例已单独标注。

数据准备： 将课程仓库中的 data.csv／data.xlsx 放在 Notebook 的当前工作目录，路径已移除原作者电脑的盘符。读取 Excel 需要 openpyxl。各节额外依赖按文中安装说明准备。

本次校订： 本节用整份表演示缺失值 API，不是模型评估流程。后续训练时必须先拆分数据，填补统计量只从训练集学习；不能填补目标标签来制造监督样本。

打卡任务

  • 阅读本节讲义或 Notebook
  • 跑通示例代码
  • 整理 3 个关键点
  • 完成当日打卡输出

课程资料

学习内容

机器学习的数据多是表格化数据，也称为结构化数据（行是样本，列是特征），在python中的pandas工具可以实现和excel一样的操作。

数据的读取和查看

# 读取数据
import pandas as pd
data = pd.read_csv('data.csv')

type(data) # 类

data

昨天我们提到，目前这个阶段可以简单理解下len（xxx）和xxx.append()这样的形式，前者是自己没有的东西需要借助函数实现，后者是这个对象有的东西。

今天我们稍微聚焦一点，python里面万物皆对象，那么一个对象具有属性和方法。

  • 方法 ：人.跳舞()
  • 属性：人.年龄
data.isnull()            # 布尔矩阵显示缺失值，这个方法返回一个布尔矩阵，也是dataframe对象，其中True表示对应位置的值是缺失值，False表示对应位置的值不是缺失值。

data.head()

# !pip install openpyxl

# pandas读取excel需要安装openpyxl库，去anaconda prompt中安装
data2 =pd.read_excel('data.xlsx')
data2

data.head(10)

数据信息的查看

此时data是一个dataframe类型的对象，可以理解为dataframe类的实例。实例就具有类的属性和方法。

  1. 属性的调用格式为：实例名.属性名。
  2. 方法的调用格式为：实例名.方法名()。
data.info()       # 列名、非空值、数据类型

data.shape        # (行数, 列数) data的属性

data.columns      # 所有列名 data的属性

data.describe()   # 数值列的基本统计量

# dtype是data type的缩写，用于描述数据类型。后续会频繁借助这个方法来查看某一列数据的属性
data.dtypes       # 各列数据类型

data.info()

data["Annual Income"].dtype # 查看某一列的数据类型

data.isnull()            # 布尔矩阵显示缺失值，这个方法返回一个布尔矩阵，也是dataframe对象，其中True表示对应位置的值是缺失值，False表示对应位置的值不是缺失值。

type(data.isnull())         # 布尔矩阵显示缺失值，这个方法返回一个布尔矩阵，其中True表示对应位置的值是缺失值，False表示对应位置的值不是缺失值。

data.isnull()            # 布尔矩阵显示缺失值，这个方法返回一个布尔矩阵，其中True表示对应位置的值是缺失值，False表示对应位置的值不是缺失值。

data.isnull().sum()      # 每列缺失值计数,sum方法为求每一列的和

缺失值的填补

尝试用众数 中位数进行填补

data['Annual Income']

type(data['Annual Income'])
# dataframe里单独的一列是series

# 计算 'Annual Income' 列的中位数（会自动忽略 NaN 值）
median_income = data['Annual Income'].median()
median_income

# 使用计算出的中位数填补该列的 NaN 值
# inplace=True 参数表示直接在原 DataFrame 上进行修改
# 如果不设置该参数，fillna() 方法会返回一个新的 DataFrame，原 DataFrame 不会被修改
data['Annual Income'] = data['Annual Income'].fillna(median_income)  # 显式赋值，兼容 pandas Copy-on-Write

# 检查下是否有缺失值
data['Annual Income'].isnull().sum()

# 使用众数填充缺失值
import pandas as pd
data = pd.read_csv('data.csv') #需要重新读取一遍数据
mode = data['Annual Income'].mode()
# mode() 会返回数据中出现频率最高的所有值，如果频次相同，会返回最多每个值。
mode

# 这里返回了4个最多频次的值，我们一般保留第一个
mode = mode[0]

# 众数填补
data['Annual Income'] = data['Annual Income'].fillna(mode)  # 显式赋值，兼容 pandas Copy-on-Write
# 检查下是否有缺失值
data['Annual Income'].isnull().sum()

填补所有的数值型缺失值

从上面的打印信息可以看到，缺失值的数值列包括：Annual Income、Months since last delinquent、Bankruptcies、Credit Score。这些列的缺失值数量分别为1557、4081、14和1557。

data.columns

type(data.columns)

很自然的 我们想要遍历打印这个对象中的每一个元素，如果是数值，就补全缺失值

# 介绍一下tolist方法，将numpy数组和pandas对象转换成list
import numpy as np
a =np.array([1,2,3])
a.tolist()

c = data.columns.tolist()
type(c)

# 循环遍历c这个列表中的每一列
for i in c:
    # 找到为数值型的列
    if data[i].dtype != 'object': # 找到为数值型的列
        if data[i].isnull().sum() > 0: # 找到存在缺失值的列
            #计算该列的均值
            mean_value = data[i].mean()
            #用均值填充缺失值
            data[i] = data[i].fillna(mean_value)  # 显式赋值，兼容 pandas Copy-on-Write

data.isnull().sum()

# 完整的缺失值处理流程
print("=== 原始数据缺失情况 ===")
print(data.isnull().sum())

print("\n=== 处理数值列缺失值 ===")
numeric_cols = data.select_dtypes(include=['number']).columns

for col in numeric_cols:
    if data[col].isnull().sum() > 0:
        mean_val = data[col].mean()
        data[col] = data[col].fillna(mean_val)  # 显式赋值，兼容 pandas Copy-on-Write
        print(f"{col} 已用均值 {mean_val:.2f} 填补")

print("\n=== 处理后缺失情况 ===")
print(data.isnull().sum())