Skip to main content

20.2. html.parser —简单的HTML和XHTML解析器

源代码: Lib/html/parser.py


该模块定义了一个类 HTMLParser,它作为解析以HTML(超文本标记语言)和XHTML格式化的文本文件的基础。

class html.parser.HTMLParser(*, convert_charrefs=True)

创建一个能够解析无效标记的解析器实例。

如果 convert_charrefsTrue (默认值),所有字符引用(除了 script/style 元素中的引号)都会自动转换为相应的Unicode字符。

当遇到开始标签,结束标签,文本,注释和其他标记元素时,HTMLParser 实例被馈送HTML数据并调用处理程序方法。用户应该子类化 HTMLParser 并覆盖其方法以实现所需的行为。

此解析器不检查结束标记是否匹配开始标记,或者对通过关闭外部元素隐式关闭的元素调用结束标记处理程序。

在 3.4 版更改: 添加了 convert_charrefs 关键字参数。

在 3.5 版更改: 参数 convert_charrefs 的默认值现在是 True

20.2.1. 示例HTML解析器应用程序

作为一个基本示例,下面是一个简单的HTML解析器,它使用 HTMLParser 类来打印出开始标记,结束标记和数据:

from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Encountered a start tag:", tag)

    def handle_endtag(self, tag):
        print("Encountered an end tag :", tag)

    def handle_data(self, data):
        print("Encountered some data  :", data)

parser = MyHTMLParser()
parser.feed('<html><head><title>Test</title></head>'
            '<body><h1>Parse me!</h1></body></html>')

输出将是:

Encountered a start tag: html
Encountered a start tag: head
Encountered a start tag: title
Encountered some data  : Test
Encountered an end tag : title
Encountered an end tag : head
Encountered a start tag: body
Encountered a start tag: h1
Encountered some data  : Parse me!
Encountered an end tag : h1
Encountered an end tag : body
Encountered an end tag : html

20.2.2. HTMLParser 方法

HTMLParser 实例有以下方法:

HTMLParser.feed(data)

将一些文本提供给解析器。它被处理,因为它包括完整的元素;不完整的数据被缓冲直到更多的数据被馈送或 close() 被调用。 data 必须是 str

HTMLParser.close()

强制处理所有缓冲的数据,就好像它后面是文件结束标记。此方法可以由派生类重新定义,以在输入结束时定义附加处理,但重新定义的版本应始终调用 HTMLParser 基类方法 close()

HTMLParser.reset()

重置实例。丢失所有未处理的数据。这在实例化时隐式调用。

HTMLParser.getpos()

返回当前行号和偏移量。

HTMLParser.get_starttag_text()

返回最近打开的开始标记的文本。这通常不需要用于结构化处理,但是在处理“部署的”或用于以最小改变重新生成输入(可以保留属性之间的空格等)时可能是有用的。

当遇到数据或标记元素并且它们意图在子类中被覆盖时,调用以下方法。基类实现什么也不做(除了 handle_startendtag()):

HTMLParser.handle_starttag(tag, attrs)

调用此方法来处理标记(例如 <div id="main">)的开始。

tag 参数是转换为小写的标记的名称。 attrs 参数是包含标记的 <> 括号内的属性的 (name, value) 对的列表。 name 将转换为小写,value 中的引号已删除,并且已替换字符和实体引用。

例如,对于标签 <A HREF="https://www.cwi.nl/">,该方法将被称为 handle_starttag('a', [('href', 'https://www.cwi.nl/')])

来自 html.entities 的所有实体引用在属性值中被替换。

HTMLParser.handle_endtag(tag)

调用此方法来处理元素(例如 </div>)的结束标记。

tag 参数是转换为小写的标记的名称。

HTMLParser.handle_startendtag(tag, attrs)

类似于 handle_starttag(),但当解析器遇到XHTML风格的空标签(<img ... />)时调用。这个方法可以被需要这个特定词汇信息的子类覆盖;默认实现只是调用 handle_starttag()handle_endtag()

HTMLParser.handle_data(data)

调用此方法来处理任意数据(例如文本节点和 <script>...</script><style>...</style> 的内容)。

HTMLParser.handle_entityref(name)

调用此方法来处理 &name; (例如 &gt;)形式的命名字符引用,其中 name 是一般实体引用(例如 'gt')。如果 convert_charrefsTrue,则不会调用此方法。

HTMLParser.handle_charref(name)

调用此方法以处理形式为 &#NNN;&#xNNN; 的十进制和十六进制数字字符引用。例如,&gt; 的十进制等效值为 &#62;,而十六进制值为 &#x3E;;在这种情况下,该方法将接收 '62''x3E'。如果 convert_charrefsTrue,则不会调用此方法。

HTMLParser.handle_comment(data)

当遇到注释时调用此方法(例如 <!--comment-->)。

例如,注释 <!-- comment --> 将导致使用参数 ' comment ' 调用此方法。

Internet Explorer条件注释(condcoms)的内容也将发送到此方法,因此,对于 <!--[if IE 9]>IE9-specific content<![endif]-->,此方法将接收 '[if IE 9]>IE9-specific content<![endif]'

HTMLParser.handle_decl(decl)

调用此方法来处理HTML doctype声明(例如 <!DOCTYPE html>)。

decl 参数将是 <!...> 标记内的声明的全部内容(例如 'DOCTYPE html')。

HTMLParser.handle_pi(data)

遇到处理指令时调用的方法。 data 参数将包含整个处理指令。例如,对于处理指令 <?proc color='red'>,该方法将被称为 handle_pi("proc color='red'")。它的目的是被一个派生类覆盖;基类实现什么也不做。

注解

HTMLParser 类使用SGML语法规则来处理指令。使用尾随 '?' 的XHTML处理指令将使 '?' 包括在 data 中。

HTMLParser.unknown_decl(data)

当解析器读取无法识别的声明时,将调用此方法。

data 参数将是 <![...]> 标记内声明的全部内容。有时有用的是被派生类覆盖。基类实现什么也不做。

20.2.3. 例子

下面的类实现了一个解析器,将用来说明更多的例子:

from html.parser import HTMLParser
from html.entities import name2codepoint

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Start tag:", tag)
        for attr in attrs:
            print("     attr:", attr)

    def handle_endtag(self, tag):
        print("End tag  :", tag)

    def handle_data(self, data):
        print("Data     :", data)

    def handle_comment(self, data):
        print("Comment  :", data)

    def handle_entityref(self, name):
        c = chr(name2codepoint[name])
        print("Named ent:", c)

    def handle_charref(self, name):
        if name.startswith('x'):
            c = chr(int(name[1:], 16))
        else:
            c = chr(int(name))
        print("Num ent  :", c)

    def handle_decl(self, data):
        print("Decl     :", data)

parser = MyHTMLParser()

解析doctype:

>>> parser.feed('<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" '
...             '"http://www.w3.org/TR/html4/strict.dtd">')
Decl     : DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"

解析具有几个属性和标题的元素:

>>> parser.feed('<img src="python-logo.png" alt="The Python logo">')
Start tag: img
     attr: ('src', 'python-logo.png')
     attr: ('alt', 'The Python logo')
>>>
>>> parser.feed('<h1>Python</h1>')
Start tag: h1
Data     : Python
End tag  : h1

scriptstyle 元素的内容按原样返回,而不进一步解析:

>>> parser.feed('<style type="text/css">#python { color: green }</style>')
Start tag: style
     attr: ('type', 'text/css')
Data     : #python { color: green }
End tag  : style

>>> parser.feed('<script type="text/javascript">'
...             'alert("<strong>hello!</strong>");</script>')
Start tag: script
     attr: ('type', 'text/javascript')
Data     : alert("<strong>hello!</strong>");
End tag  : script

解析注释:

>>> parser.feed('<!-- a comment -->'
...             '<!--[if IE 9]>IE-specific content<![endif]-->')
Comment  :  a comment
Comment  : [if IE 9]>IE-specific content<![endif]

解析命名和数字字符引用并将它们转换为正确的字符(注意:这3个引用都等同于 '>'):

>>> parser.feed('&gt;&#62;&#x3E;')
Named ent: >
Num ent  : >
Num ent  : >

feed() 提供不完整的块,但 handle_data() 可能被调用多次(除非 convert_charrefs 设置为 True):

>>> for chunk in ['<sp', 'an>buff', 'ered ', 'text</s', 'pan>']:
...     parser.feed(chunk)
...
Start tag: span
Data     : buff
Data     : ered
Data     : text
End tag  : span

解析无效的HTML(例如未引用的属性)也可以:

>>> parser.feed('<p><a class=link href=#main>tag soup</p ></a>')
Start tag: p
Start tag: a
     attr: ('class', 'link')
     attr: ('href', '#main')
Data     : tag soup
End tag  : p
End tag  : a