前言
需求：要向redis存入mongodb中的数据
思路：利用redis和pymongo模块，读取mongo的数据后用lpush写入redis中。
脚本
import pymongo,redis
'''读取mongo数据'''
def read_data(c_n,d_n):
client =pymongo.MongoClient('localhost',27017)
db =client[d_n]
collection =db[c_n]
data = collection.find()
return data
'''写入数据到redis'''
def write_data(val):
a = redis.Redis()
a.lpush('myspider3:start_urls',val)
return 'ok'
if __name__ == '__main__':
aa =read_data(c_n='url_recheack',d_n='project_shenzhen')
bb =[i['url'] for i in aa][:50]
map(write_data,bb)
网友评论