Skip to main content

32.5. token —用于Python解析树的常量

源代码: Lib/token.py


该模块提供了表示分析树(终端令牌)的叶节点的数值的常量。有关语言语法上下文中的名称的定义,请参阅Python分发中的文件 Grammar/Grammar。名称映射到的特定数值可能在Python版本之间变化。

该模块还提供从数字代码到名称和一些函数的映射。这些函数镜像Python C头文件中的定义。

token.tok_name

将此模块中定义的常数的数值映射回名称字符串的字典,从而允许生成更加人性化的解析树表示。

token.ISTERMINAL(x)

对终端令牌值返回true。

token.ISNONTERMINAL(x)

对于非终端令牌值返回true。

token.ISEOF(x)

如果 x 是指示输入结束的标记,则返回true。

令牌常量是:

token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR
token.RPAR
token.LSQB
token.RSQB
token.COLON
token.COMMA
token.SEMI
token.PLUS
token.MINUS
token.STAR
token.SLASH
token.VBAR
token.AMPER
token.LESS
token.GREATER
token.EQUAL
token.DOT
token.PERCENT
token.LBRACE
token.RBRACE
token.EQEQUAL
token.NOTEQUAL
token.LESSEQUAL
token.GREATEREQUAL
token.TILDE
token.CIRCUMFLEX
token.LEFTSHIFT
token.RIGHTSHIFT
token.DOUBLESTAR
token.PLUSEQUAL
token.MINEQUAL
token.STAREQUAL
token.SLASHEQUAL
token.PERCENTEQUAL
token.AMPEREQUAL
token.VBAREQUAL
token.CIRCUMFLEXEQUAL
token.LEFTSHIFTEQUAL
token.RIGHTSHIFTEQUAL
token.DOUBLESTAREQUAL
token.DOUBLESLASH
token.DOUBLESLASHEQUAL
token.AT
token.ATEQUAL
token.RARROW
token.ELLIPSIS
token.OP
token.AWAIT
token.ASYNC
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET

在 3.5 版更改: 添加了 AWAITASYNC 令牌。从Python 3.7开始,“async”和“await”将被标记为 NAME 令牌,AWAITASYNC 将被删除。