一般爬虫访问一个网站的时候,首先会根据该站点下的Robots.txt文件来确定可爬取的网页范围,Robots协议是需要网络爬虫共同遵守的协议,这个老师也说说吧
jpgo
展开
|
|
学习达人
|
wyykapo
展开
|
MR蒋蒋
展开
现在手机显示的也是:百度一下,你就知道?我用了好几个不同的use-agent,运行结果都是:百度一下,你就知道 bluer99
展开
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) CriOS/31.0.1650.18 Mobile/11B554a Safari/8536.25
百度一下
[Finished in 0.3s]
网上找个老款手机的资料。 aa765685928
展开
url=r"http://m.baidu.com/" 百度上的网址和电脑和手机是有区别的,你登入的是电脑的网址。你用手机的网址就好了 |
|
学习达人
|
sbynidxv
展开
|
陈肖杰
展开
|
|
打卡Lv1
|
江小墩墩
展开
|
承担因您的行为而导致的法律责任,
本站有权保留或删除有争议评论。
参与本评论即表明您已经阅读并接受
上述条款。