python查询、处理、批量存入数据

1、安装数据库连接器

首先需要安装一个数据库连接器，比如pymysql、pyodbc等，用于连接MySQL、SQL Server等不同的数据库。 安装命令如下

pip install PyMySQL 2. 连接数据库

连接数据库需要先指定数据库的主机名、端口号、用户名和密码等信息。这些信息在连接数据库之前，应该先在数据库中进行配置。

以MySQL数据库为例，示例代码：

import pymysql conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='123456', db='testdb') cursor = conn.cursor()

上述代码中，使用pymysql模块连接MySQL数据库，需要指定主机名、端口号、用户名、密码和数据库名。connect()函数用于连接数据库，返回一个Connection对象。cursor()方法可以获得游标对象，用于执行SQL查询。

3. 执行SQL查询

一旦连接建立，执行SQL查询的方法是使用游标对象的execute()方法。

cursor.execute("SELECT * FROM mytable") 4、python将一张表里面字段为json格式的数据，按对应字段存到相应表中，代码如下：

1）mysql库

import pymysql import json # 连接数据库 conn = pymysql.connect(host='localhost', port=3336, user='root', passwd='BigData.2018v6', db='testdb') cursor = conn.cursor() # 执行SQL查询,content为 cursor.execute("SELECT `content` FROM mytable") # 获取查询结果 rows = cursor.fetchall() list_data = [] for row in rows: json_obj = json.loads(row[0]) line = (json_obj['type'], json_obj['title'], json_obj['level']) list_data.append(line) print(list_data) sql = "INSERT INTO dong (type, title,level) VALUES (%s, %s, %s)" cursor.executemany(sql, list_data) # 提交更改 conn mit() # 关闭连接 conn.close()

2）hive

from pyhive import hive import json # 连接Hive服务器 cursor = hive.connect(host='hive.server', port=10000, username='hiveuser').cursor() # 执行SQL查询,content为 cursor.execute("SELECT `content` FROM mytable") # 获取查询结果 rows = cursor.fetchall() list_data = [] for row in rows: json_obj = json.loads(row[0]) line = (json_obj['type'], json_obj['title'], json_obj['level']) list_data.append(line) print(list_data) sql = "INSERT INTO dong (type, title,level) VALUES (%s, %s, %s)" cursor.executemany(sql, list_data) # 提交事务 cursor.execute('COMMIT')