首页 > Python基础教程 > Python数据可视化
阅读:12,121
Python读取csv文件(详解版,看了无师自通)
前面程序展示的数据都是直接通过程序给出的,但实际应用可能需要展示不同来源(比如文件、网络)、不同格式(比如 csv、JSON)的数据,这些数据可能有部分是损坏的,因此程序需要对这些数据进行处理。
csv 文件格式的本质是一种以文本存储的表格数据(使用 Excel 工具即可读写 csv 文件)。csv 文件的每行代表一行数据,每行数据中每个单元格内的数据以逗号隔开。
Python 提供了 csv 模块来读写 csv 文件。由于 csv 文件的格式本身比较简单(通常第一行是表头,用于说明每列数据的含义,接下来每行代表一行数据),因此使用 csv 模块读取 csv 文件也非常简单:
本节使用的是 2017 年广州天气数据的 csv 文件(数据来源于 http://lishi.tianqi.com/ 网站。下面程序示范了使用 csv 读取器来读取 csv 文件的两行内容。
运行上面程序,可以看到如下输出结果:
掌握了 csv 读取器的用法之后,下面程序将会使用 Matplotlib 来展示 2017 年 7 月广州的最高气温和最低气温。
程序的后半部分代码绘制了两条折线来显示最高气温和最低气温,其中第 31 行代码用于绘制最高气温,第 34 行代码用于绘制最低气温;第 37 行代码控制在两条折线之间填充颜色。程序也对坐标轴、图例进行了简单的设置。
运行上面程序,可以看到如图 1 所示的折线图。
图 1 2017 年7 月广州的气温折线图
程序也可以使用 Pygal 来统计 2017 年广州的天气汇总情况,比如统计出阴天、晴天、多云天和雨天各占多少天。程序会使用 csv 读取器读取 2017 年广州阴天、晴天、多云天和雨天共有多少天,然后将这些数据添加到 pygal.Pie 对象中即可绘制饼图。该程序的代码如下:
上面程序中建了一个 pygal.Pie 对象,该对象就表示一个饼图。接下来向 pygal.Pie 对象添加数据。运行上面程序,可以生成如图 2 所示的饼图。
图 2 统计2017 年广州天气情况的饼图
csv 文件格式的本质是一种以文本存储的表格数据(使用 Excel 工具即可读写 csv 文件)。csv 文件的每行代表一行数据,每行数据中每个单元格内的数据以逗号隔开。
Python 提供了 csv 模块来读写 csv 文件。由于 csv 文件的格式本身比较简单(通常第一行是表头,用于说明每列数据的含义,接下来每行代表一行数据),因此使用 csv 模块读取 csv 文件也非常简单:
- 创建 csv 模块的读取器。
- 循环调用 csv 读取器的 next() 方法逐行读取 csv 文件内容即可。next() 方法返回一个 list 列表代表一行数据,list 列表的每个元素代表一个单元格数据。
本节使用的是 2017 年广州天气数据的 csv 文件(数据来源于 http://lishi.tianqi.com/ 网站。下面程序示范了使用 csv 读取器来读取 csv 文件的两行内容。
import csv filename = 'guangzhou-2017.csv' # 打开文件 with open(filename) as f: # 创建cvs文件读取器 reader = csv.reader(f) # 读取第一行,这行是表头数据。 header_row = next(reader) print(header_row) # 读取第二行,这行是真正的数据。 first_row = next(reader) print(first_row)上面程序中第 7 行代码创建了 CSV 读取器,第 9 行、第 12 行代码各读取文件的一行,其中第 7 行代码会返回 csv 文件的表头数据;第 9 行代码会返回真正的数据。
运行上面程序,可以看到如下输出结果:
['Date', 'Max TemperatureC', 'Min TemperatureC', 'Description', 'WindDir', 'WindForce']
['2017-1-1', '24', '13', '晴', '西南风', '1级']
掌握了 csv 读取器的用法之后,下面程序将会使用 Matplotlib 来展示 2017 年 7 月广州的最高气温和最低气温。
import csv from datetime import datetime from matplotlib import pyplot as plt filename = 'guangzhou-2017.csv' # 打开文件 with open(filename) as f: # 创建cvs文件读取器 reader = csv.reader(f) # 读取第一行,这行是表头数据。 header_row = next(reader) print(header_row) # 定义读取起始日期 start_date = datetime(2017, 6, 30) # 定义结束日期 end_date = datetime(2017, 8, 1) # 定义3个list列表作为展示的数据 dates, highs, lows = [], [], [] for row in reader: # 将第一列的值格式化为日期 d = datetime.strptime(row[0], '%Y-%m-%d') # 只展示2017年7月的数据 if start_date < d < end_date: dates.append(d) highs.append(int(row[1])) lows.append(int(row[2])) # 配置图形 fig = plt.figure(dpi=128, figsize=(12, 9)) # 绘制最高气温的折线 plt.plot(dates, highs, c='red', label='最高气温', alpha=0.5, linewidth = 2.0, linestyle = '-', marker='v') # 再绘制一条折线 plt.plot(dates, lows, c='blue', label='最低气温', alpha=0.5, linewidth = 3.0, linestyle = '-.', marker='o') # 为两个数据的绘图区域填充颜色 plt.fill_between(dates, highs, lows, facecolor='blue', alpha=0.1) # 设置标题 plt.title("广州2017年7月最高气温和最低气温") # 为两条坐标轴设置名称 plt.xlabel("日期") # 该方法绘制斜着的日期标签 fig.autofmt_xdate() plt.ylabel("气温(℃)") # 显示图例 plt.legend() ax = plt.gca() # 设置右边坐标轴线的颜色(设置为none表示不显示) ax.spines['right'].set_color('none') # 设置顶部坐标轴线的颜色(设置为none表示不显示) ax.spines['top'].set_color('none') plt.show()上面程序的前半部分代码用于从 csv 文件中读取 2017 年 7 月广州的气温数据,程序分别使用了 dates、highs 和 lows 三个 list 列表来保存日期、最高气温、最低气温。
程序的后半部分代码绘制了两条折线来显示最高气温和最低气温,其中第 31 行代码用于绘制最高气温,第 34 行代码用于绘制最低气温;第 37 行代码控制在两条折线之间填充颜色。程序也对坐标轴、图例进行了简单的设置。
运行上面程序,可以看到如图 1 所示的折线图。
图 1 2017 年7 月广州的气温折线图
程序也可以使用 Pygal 来统计 2017 年广州的天气汇总情况,比如统计出阴天、晴天、多云天和雨天各占多少天。程序会使用 csv 读取器读取 2017 年广州阴天、晴天、多云天和雨天共有多少天,然后将这些数据添加到 pygal.Pie 对象中即可绘制饼图。该程序的代码如下:
import csv import pygal filename = 'guangzhou-2017.csv' # 打开文件 with open(filename) as f: # 创建cvs文件读取器 reader = csv.reader(f) # 读取第一行,这行是表头数据。 header_row = next(reader) print(header_row) # 准备展示的数据 shades, sunnys, cloudys, rainys = 0, 0, 0, 0 for row in reader: if '阴' in row[3]: shades += 1 elif '晴' in row[3]: sunnys += 1 elif '云' in row[3]: cloudys += 1 elif '雨' in row[3]: rainys += 1 else: print(rows[3]) # 创建pygal.Pie对象(饼图) pie = pygal.Pie() # 为饼图添加数据 pie.add("阴", shades) pie.add("晴", sunnys) pie.add("多云", cloudys) pie.add("雨", rainys) pie.title = '2017年广州天气汇总' # 设置将图例放在底部 pie.legend_at_bottom = True # 指定将数据图输出到SVG文件中 pie.render_to_file('guangzhou_weather.svg')上面程序的前半部分代码也是用于从 csv 文件中读取 2017 年广州的天气数据,该程序只读取 csv 文件的数据行的第四列数据(天气描述),并使用 shades、sunnys、cloudys、rainys 分别保存阴天、晴天、多云天和雨天的数据。
上面程序中建了一个 pygal.Pie 对象,该对象就表示一个饼图。接下来向 pygal.Pie 对象添加数据。运行上面程序,可以生成如图 2 所示的饼图。
图 2 统计2017 年广州天气情况的饼图
所有教程
- socket
- Python基础教程
- C#教程
- MySQL函数
- MySQL
- C语言入门
- C语言专题
- C语言编译器
- C语言编程实例
- GCC编译器
- 数据结构
- C语言项目案例
- C++教程
- OpenCV
- Qt教程
- Unity 3D教程
- UE4
- STL
- Redis
- Android教程
- JavaScript
- PHP
- Mybatis
- Spring Cloud
- Maven
- vi命令
- Spring Boot
- Spring MVC
- Hibernate
- Linux
- Linux命令
- Shell脚本
- Java教程
- 设计模式
- Spring
- Servlet
- Struts2
- Java Swing
- JSP教程
- CSS教程
- TensorFlow
- 区块链
- Go语言教程
- Docker
- 编程笔记
- 资源下载
- 关于我们
- 汇编语言
- 大数据
- 云计算
- VIP视频