[多选题]以下哪些说法是正确的?

A
只要撰写了 robots.txt,爬虫就不会爬取未经允许的页面
B
爬虫不一定会遵循 sitemap.xml 来执行爬取工作
C
降低访问频率可以从一定程度绕开常规反爬机制
D
SEO 通常属于恶意爬虫行为
正确答案:B,C
题目解析
robots.txt 并不是强制要求;SEO 通常属于善意的接受爬虫行为
扫描二维码
免费搜题、免费刷题、免费查看解析