写点什么

大话 Python:python 操作 excel 系列 -- 数据清洗

发布于: 2021 年 03 月 04 日
大话 Python:python 操作 excel 系列 -- 数据清洗

python 在对 excel 操作的同时,前面文章中说了数据的读取、插入、简单分析,还有一个非常重要的点就是数据清洗。那什么叫数据清洗,说白了就是去除数据文本中的垃圾值,比如:存在的空值、多余的空格、数据格式等等的处理。


1,导入 python 库、读取 excel 数据

# 导入 pandas 库
import pandas as pd
# read_excel() 读取 excel 数据
# DataFrame() 将读取到的数据转换为 DataFrame 数据
df = pd.DataFrame(pd.read_excel('data.xlsx'))
复制代码


2,数据清洗(去除空值)

# dropna() 函数去除 df 数据表中存在空值的所有行
df.dropna(how='any')
# mean() 函数计算 age 字段所在列的平均值
age_pre = df['age'].mean()
# 使用 fillna() 函数对存在的空值进行填充,将 age_pre 的值填充到字段为空的值内面
df['age'].fillna(age_pre)
复制代码


3,数据清洗(清除字段中的空格)

# 清除字段的空格
df['name'] = df['name'].map(str.strip)
复制代码


4,数据清洗(对某个列进行重命名)

# rename() 函数对列进行重命名
df.rename(columns={'name': 'name_new'})
复制代码


5,数据清洗(清除某一列中的重复值)

# 从前往后查找某个列中的重复值,如果存在则清除后面所出现的重复值
df['name'].drop_duplicates()
# 从后往前查找某个列中的重复值,如果存在则清除前面所出现的重复值
df['city'].drop_duplicates(keep='last')
# 两种正好是按照相反的清除顺序
复制代码


6,数据清洗(数据值替换)

# 将某一列中的具体值进行替换
df['name'].replace('laow', 'lwsbc')
复制代码

更多精彩前往微信公众号【老王说编程】>>>

关注微信公众号【老王说编程】,专注后端编程实战,原创文章每天更新!


发布于: 2021 年 03 月 04 日阅读数: 45
用户头像

还未添加个人签名 2021.03.03 加入

微信公众号【Python 集中营】作者,擅长后端编程语言开发,每天更新原创文章,专注于 Python实战干货技术,快来关注我吧!

评论

发布
暂无评论
大话 Python:python 操作 excel 系列 -- 数据清洗