Skip to main content

21.10. urllib.robotparser — robots.txt的解析器

源代码: Lib/urllib/robotparser.py


此模块提供了一个单独的类 RobotFileParser,它回答关于特定用户代理是否可以在发布 robots.txt 文件的Web站点上提取URL的问题。有关 robots.txt 文件结构的更多详细信息,请参见 http://www.robotstxt.org/orig.html

class urllib.robotparser.RobotFileParser(url='')

这个类提供了读取,解析和回答关于 urlrobots.txt 文件的问题的方法。

set_url(url)

设置指向 robots.txt 文件的URL。

read()

读取 robots.txt URL并将其提供给解析器。

parse(lines)

解析线参数。

can_fetch(useragent, url)

如果允许 useragent 根据解析的 robots.txt 文件中包含的规则获取 url,则返回 True

mtime()

返回上次提取 robots.txt 文件的时间。这对需要定期检查新 robots.txt 文件的长期运行的Web蜘蛛非常有用。

modified()

robots.txt 文件的上次读取时间设置为当前时间。

crawl_delay(useragent)

useragentrobots.txt 返回 Crawl-delay 参数的值。如果没有这样的参数或者它不适用于指定的 useragent 或者该参数的 robots.txt 条目具有无效的语法,则返回 None

3.6 新版功能.

request_rate(useragent)

namedtuple() (requests, seconds) 的形式返回来自 robots.txtRequest-rate 参数的内容。如果没有这样的参数或者它不适用于指定的 useragent 或者该参数的 robots.txt 条目具有无效的语法,则返回 None

3.6 新版功能.

以下示例演示了 RobotFileParser 类的基本使用:

>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rrate = rp.request_rate("*")
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay("*")
6
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True