当前位置:首页 > python代码库 > 采集 > python采集需要登录的页面

python采集需要登录的页面

点击次数:1074  更新日期:2018-09-27
import time
import requests
from selenium import webdriver

def get_cookies():
    print("开始登陆")
    url = 'http://www.xxx123.com/login.jsp'#登录页地址
    web_driver = webdriver.Chrome()
    web_driver.get(url)
    username = web_driver.find_element_by_class_name('login_name')#输入用户名
    username.send_keys('admin')
    password = web_driver.find_element_by_class_name('login_password')#输入密码
    password.send_keys('111111')
    login_button = web_driver.find_element_by_class_name('LoginBtn')#点击登录按钮
    login_button.click()
    time.sleep(3)
    cookies = web_driver.get_cookies()
    web_driver.close()
    return cookies

cookies = get_cookies()
s = requests.Session()
for cookie in cookies:
    s.cookies.set(cookie['name'], cookie['value'])
res=s.get("http://www.xxx123.com/Tiku/Knows/index.html?product_id=&itemtype=0&num=30&type=1&again=0")#请求需要登录才能访问的页面
print(res.text)