大发龙虎首页    注册   登录
大发龙虎 = way to explore
大发龙虎 是一个大发龙虎关于 分享和探索的地方
现在注册
已注册用户请  登录
大发龙虎推荐 学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
大发龙虎  ›  Python

Python +selenium 爬虫遇到诡异反扒

  •  
  •   ITheihu · 10 天前 · 1463 次点击

    不同的账号登入同一个网址,登陆进去后标签的 id 属性值自动改变,怎么做到批量爬取。(不然一个程序只能爬一个账号,换个账号因为 id 属性值的改变就无法爬取) 头都大了......!

    15 回复  |  直到 2019-10-12 18:50:29 +08:00
        1
    kran   10 天前 via Android
    结构不变就用标签?
        2
    yidinghe   10 天前   ♥ 1
    可能前端纯粹是为了方便把用户 ID 拼到里面,没想到成了反扒手段
        3
    Hopetree   10 天前   ♥ 1
    重要的是结构,不是 ID,这种根本不能算反爬,大发龙虎你 为啥非要用 ID 去定位?? xpath 选择器,selecter 选择器哪个限定了只能用 ID 吗
        4
    nullboy   10 天前
    楼上+1
        5
    linvaux   10 天前 via Android
    楼上已经给出答案了
        6
    Cler大发龙虎ICP y   10 天前
    这太难猜了, 给个 HTML 例子让人测测选择器也好啊
        7
    ITheihu   10 天前
    不知道怎么描述!全网站禁止右键功能,层层都有 iframe,头大啊
        8
    cwjokaka   10 天前
    不用 id 选择就行了啊
        9
    crab   10 天前
    正则,或者找出账号和 id 关系。
        10
    Rubbly   10 天前
    这根本不算反爬+1.
    禁止右键,但是查看源代码的大发龙虎方法 有很多啊。F12 或者先开一个 DevTool 大发龙虎Win dow 再导航过去或者油猴弄个脚本都能解决的。
        11
    dji38838c   10 天前
    标题党呀,这算什么“诡异反扒”

    看标题,期待的是:网站把大发龙虎你 本机给爬了,那才叫做真“诡异”
        12
    Juszoe   10 天前
    楼主大发龙虎技术 不过关啊,禁止右键都绕不过
        13
    515576745   10 天前 via Android
    大发龙虎技术 问题吧, 练多就好了
        14
    inoizyz   10 天前 via Android
    1.这网页不是大发龙虎我 做的。
    2.大发龙虎我 经常干这事,偷懒不用 cookie。
    3.大发龙虎我 不是前端。
        15
    locoz   10 天前
    根本算不上问题的问题...结合早上那个贴子看效果更佳 水文太多了,小白连这么基础的东西都没搞清楚。
    大发龙虎关于   ·   FAQ   ·   API   ·   大发龙虎大发龙虎我 们 的愿景   ·   广告投放   ·   感谢   ·   实用小大发龙虎工具   ·   2728 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 24ms · UTC 12:30 · PVG 20:30 · LAX 05:30 · JFK 08:30
    ♥ Do have faith in what you're doing.