python json爬虫如何进行数据同步

发布时间:2024-12-11 08:59:18

阅读量:143

在Python中，使用JSON爬虫进行数据同步通常涉及以下步骤：

导入所需库：首先，您需要导入requests库来发送HTTP请求，以及json库来处理JSON数据。

import requests
import json

发送请求：使用requests.get()方法从目标URL获取JSON数据。

url = "https://api.example.com/data"  # 替换为您要抓取的API URL
response = requests.get(url)

检查响应状态：确保请求成功，响应状态码应为200。

if response.status_code == 200:
    data = response.json()
else:
    print("请求失败，状态码：", response.status_code)

解析JSON数据：将JSON数据解析为Python对象（通常是字典或列表）。

parsed_data = json.loads(response.text)

数据同步：根据您的需求，可以将数据同步到文件、数据库或其他存储系统。以下是一些示例：

将数据保存到JSON文件：

with open("output.json", "w") as file:
    json.dump(parsed_data, file, ensure_ascii=False, indent=4)

将数据保存到SQLite数据库：

import sqlite3

conn = sqlite3.connect("data.db")
c = conn.cursor()

# 创建表
c.execute("""CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY, key TEXT, value TEXT)""")

# 插入数据
for item in parsed_data:
    c.execute("INSERT INTO data (key, value) VALUES (?, ?)", (item["key"], item["value"]))

# 提交更改并关闭连接
conn.commit()
conn.close()

将数据发送到另一个API：

import requests

def send_data(data):
    url = "https://api.example.com/send_data"  # 替换为您要发送数据的API URL
    headers = {"Content-Type": "application/json"}
    response = requests.post(url, headers=headers, data=json.dumps(data))

    if response.status_code == 200:
        print("数据发送成功")
    else:
        print("数据发送失败，状态码：", response.status_code)

send_data(parsed_data)