.config/coc/extensions/coc-python-data/languageServer.0.5.59/Typeshed/stdlib/3/tokenize.pyi

   1 from typing import Any, Callable, Generator, Iterable, List, NamedTuple, Optional, Union, Sequence, TextIO, Tuple\r
   2 from builtins import open as _builtin_open\r
   3 import sys\r
   4 from token import *  # noqa: F403\r
   5 \r
   6 COMMENT = ...  # type: int\r
   7 NL = ...  # type: int\r
   8 ENCODING = ...  # type: int\r
   9 \r
  10 _Position = Tuple[int, int]\r
  11 \r
  12 _TokenInfo = NamedTuple('TokenInfo', [\r
  13     ('type', int),\r
  14     ('string', str),\r
  15     ('start', _Position),\r
  16     ('end', _Position),\r
  17     ('line', str)\r
  18 ])\r
  19 \r
  20 class TokenInfo(_TokenInfo):\r
  21     @property\r
  22     def exact_type(self) -> int: ...\r
  23 \r
  24 # Backwards compatible tokens can be sequences of a shorter length too\r
  25 _Token = Union[TokenInfo, Sequence[Union[int, str, _Position]]]\r
  26 \r
  27 class TokenError(Exception): ...\r
  28 class StopTokenizing(Exception): ...\r
  29 \r
  30 class Untokenizer:\r
  31     tokens = ...  # type: List[str]\r
  32     prev_row = ...  # type: int\r
  33     prev_col = ...  # type: int\r
  34     encoding = ...  # type: Optional[str]\r
  35     def __init__(self) -> None: ...\r
  36     def add_whitespace(self, start: _Position) -> None: ...\r
  37     def untokenize(self, iterable: Iterable[_Token]) -> str: ...\r
  38     def compat(self, token: Sequence[Union[int, str]], iterable: Iterable[_Token]) -> None: ...\r
  39 \r
  40 def untokenize(iterable: Iterable[_Token]) -> Any: ...\r
  41 def detect_encoding(readline: Callable[[], bytes]) -> Tuple[str, Sequence[bytes]]: ...\r
  42 def tokenize(readline: Callable[[], bytes]) -> Generator[TokenInfo, None, None]: ...\r
  43 def generate_tokens(readline: Callable[[], str]) -> Generator[TokenInfo, None, None]: ...\r
  44 \r
  45 if sys.version_info >= (3, 6):\r
  46     from os import PathLike\r
  47     def open(filename: Union[str, bytes, int, PathLike]) -> TextIO: ...\r
  48 else:\r
  49     def open(filename: Union[str, bytes, int]) -> TextIO: ...\r
  50 \r
  51 # Names in __all__ with no definition:\r
  52 #   AMPER\r
  53 #   AMPEREQUAL\r
  54 #   ASYNC\r
  55 #   AT\r
  56 #   ATEQUAL\r
  57 #   AWAIT\r
  58 #   CIRCUMFLEX\r
  59 #   CIRCUMFLEXEQUAL\r
  60 #   COLON\r
  61 #   COMMA\r
  62 #   DEDENT\r
  63 #   DOT\r
  64 #   DOUBLESLASH\r
  65 #   DOUBLESLASHEQUAL\r
  66 #   DOUBLESTAR\r
  67 #   DOUBLESTAREQUAL\r
  68 #   ELLIPSIS\r
  69 #   ENDMARKER\r
  70 #   EQEQUAL\r
  71 #   EQUAL\r
  72 #   ERRORTOKEN\r
  73 #   GREATER\r
  74 #   GREATEREQUAL\r
  75 #   INDENT\r
  76 #   ISEOF\r
  77 #   ISNONTERMINAL\r
  78 #   ISTERMINAL\r
  79 #   LBRACE\r
  80 #   LEFTSHIFT\r
  81 #   LEFTSHIFTEQUAL\r
  82 #   LESS\r
  83 #   LESSEQUAL\r
  84 #   LPAR\r
  85 #   LSQB\r
  86 #   MINEQUAL\r
  87 #   MINUS\r
  88 #   NAME\r
  89 #   NEWLINE\r
  90 #   NOTEQUAL\r
  91 #   NT_OFFSET\r
  92 #   NUMBER\r
  93 #   N_TOKENS\r
  94 #   OP\r
  95 #   PERCENT\r
  96 #   PERCENTEQUAL\r
  97 #   PLUS\r
  98 #   PLUSEQUAL\r
  99 #   RARROW\r
 100 #   RBRACE\r
 101 #   RIGHTSHIFT\r
 102 #   RIGHTSHIFTEQUAL\r
 103 #   RPAR\r
 104 #   RSQB\r
 105 #   SEMI\r
 106 #   SLASH\r
 107 #   SLASHEQUAL\r
 108 #   STAR\r
 109 #   STAREQUAL\r
 110 #   STRING\r
 111 #   TILDE\r
 112 #   VBAR\r
 113 #   VBAREQUAL\r
 114 #   tok_name\r