如何确定网站可否可爬取

Robots协议

约束性: Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。

网站排除爬虫有两个办法

审查来源

Robots协议告知

作用:网站告知网络爬虫哪些页面可以抓取，哪些不行。形式:在网站根目录下的robots.txt文件。

查看京东Robots协议

https://www.jd.com/robots.txt,

可以看到：（并不是所有网站都有协议，无Robots协议说明可任意爬取）

User-agent: * 无论什么样的爬虫都应当遵守如下协议

Disallow: /?* 任何爬虫都不当访问以问号开头的网站

Disallow: /pop/*.html

Disallow: /pinpai/*.html?*

User-agent: EtaoSpider 这个爬虫不允许爬取京东的任何资源

Disallow: /

User-agent: HuihuiSpider

Disallow: /

User-agent: GwdangSpider

Disallow: /

User-agent: WochachaSpider

Disallow: /