一、程序要求（以python为例）。
1.词法分析程序（Lexical Analyzer）要求：
- 从左至右扫描构成源程序的字符流
- 识别出有词法意义的单词（Lexemes）
- 返回单词记录（单词类别，单词本身）
- 滤掉空格
- 跳过注释
- 发现词法错误
2.程序结构：
输入：字符流（什么输入方式，什么数据结构保存）
处理：
输出：单词流（什么输出形式）
3.单词类别：
1.标识符（10）
2.无符号数（11）
3.保留字（一词一码）
4.运算符（一词一码）
5.界符（一词一码）
| 单词符号 | 种别码 | 单词符号 | 种别码 |
| begin | 1 | : | 17 |
| if | 2 | := | 18 |
| then | 3 | < | 20 |
| while | 4 | <= | 21 |
| do | 5 | <> | 22 |
| end | 6 | > | 23 |
| l(l|d)* | 10 | >= | 24 |
| dd* | 11 | = | 25 |
| + | 13 | ; | 26 |
| - | 14 | ( | 27 |
| * | 15 | ) | 28 |
| / | 16 | # | 0 |
二、代码实现（以python为例）。
1.词法分析程序。
1 import re 2 3 strs = "if sum >= 1000 then x : x - 1;#"+" " 4 5 types = {'begin':1, 6 'if':2, 7 'then':3, 8 'while':4, 9 'do':5, 10 'end':6, 11 'l(l|d)*':10, 12 'dd*':11, 13 '+':13, 14 '-':14, 15 '*':15, 16 '/':16, 17 ':':17, 18 ':=':18, 19 '<':20, 20 '<=':21, 21 '<>':22, 22 '>':23, 23 '>=':24, 24 '=':25, 25 ';':26, 26 '(':27, 27 ')':28, 28 '#':0 29 } 30 31 if __name__ == '__main__': 32 # strs = input('请输入程序代码：')+" " #补位 33 34 index = 0 35 while index < len(strs): 36 keyIndex = 0 37 for key in types.keys(): 38 if index+len(key) < len(strs): 39 if strs[index:index+len(key)] == key and not re.match('^[=a-zA-Z0-9_-]$', strs[index+len(key)]): 40 if not(strs[index] == '=' and re.match('^[<>]$', strs[index-1])): 41 ss = strs[index:index+len(key)] 42 print((ss, types.get(ss))) 43 elif re.match('^[a-zA-Z0-9_]+', strs[index:]): 44 ss = re.match('^([a-zA-Z0-9_]+)', strs[index:]).group() 45 print((ss, types.get(ss))) 46 index += len(ss) 47 keyIndex+=1 48 index+=1
2.运行结果展示。
来源：博客园
作者：Rakers
链接：https://www.cnblogs.com/Rakers1024/p/11640718.html