【数据预处理】pandas读取sql数据(支持百万条读取)
主要使用两个pandas方法:1、read_sql函数:pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)效果:将SQL查询或数据库表读入DataFrame。 此功能是一个方便的包装和...
主要使用两个pandas方法:
1、read_sql
函数:
pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
效果:将SQL查询或数据库表读入DataFrame。
此功能是一个方便的包装和 (为了向后兼容)。它将根据提供的输入委派给特定的功能。SQL查询将被路由到,而数据库表名将被路由到。请注意,委派的功能可能有更多关于其功能的特定说明,此处未列出。
| 参数: |
sql : string or SQLAlchemy Selectable (select or text object)
con : SQLAlchemy connectable (engine/connection) or database string URI
index_col : string or list of strings, optional, default: None
coerce_float : boolean, default True
params : list, tuple or dict, optional, default: None
parse_dates : list or dict, default: None
columns : list, default: None
chunksize : int, default None
|
|---|---|
| Returns: |
DataFrame |
使用案例
import pymysql
import pandas as pd
con = pymysql.connect(host="127.0.0.1",user="root",password="password",db="world")
# 读取sql
data_sql=pd.read_sql("SQL查询语句",con)
# 存储
data_sql.to_csv("test.csv")
2、read_sql_table
函数:
pandas.read_sql_table(table_name, con, schema=None, index_col=None, coerce_float=True, parse_dates=None, columns=None, chunksize=None)[source]
效果:将SQL数据库表读入DataFrame。
给定一个表名和一个SQLAlchemy可连接,返回一个DataFrame。此功能不支持DBAPI连接。
| Parameters: |
table_name : string
con : SQLAlchemy connectable (or database string URI)
schema : string, default None
index_col : string or list of strings, optional, default: None
coerce_float : boolean, default True
parse_dates : list or dict, default: None
columns : list, default: None
chunksize : int, default None
|
|---|---|
| Returns: |
DataFrame |
使用案例
import pandas as pd
import pymysql
from sqlalchemy import create_engine
con = create_engine('mysql+pymysql://user_name:password@127.0.0.1:3306/database_name')
data = pd.read_sql_table("table_name", con)
data.to_csv("table_name.csv")
更多推荐


所有评论(0)