词法分析程序（Lexical Analyzer）要求：
- 从左至右扫描构成源程序的字符流
- 识别出有词法意义的单词（Lexemes）
- 返回单词记录（单词类别，单词本身）
- 滤掉空格
- 跳过注释
- 发现词法错误
程序结构：
输入：字符流（什么输入方式，什么数据结构保存）
处理：
–遍历（什么遍历方式）
–词法规则
输出：单词流（什么输出形式）
–二元组
单词类别：
1.标识符（10）
2.无符号数（11）
3.保留字（一词一码）
4.运算符（一词一码）
5.界符（一词一码）
|
单词符号 |
种别码 |
单词符号 |
种别码 |
|
begin |
1 |
: |
17 |
|
if |
2 |
:= |
18 |
|
then |
3 |
< |
20 |
|
while |
4 |
<= |
21 |
|
do |
5 |
<> |
22 |
|
end |
6 |
> |
23 |
|
l(l|d)* |
10 |
>= |
24 |
|
dd* |
11 |
= |
25 |
|
+ |
13 |
; |
26 |
|
- |
14 |
( |
27 |
|
* |
15 |
) |
28 |
|
/ |
16 |
# |
0 |
源程序：
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define SIZE 100
int p=0,syn,n,i; //syn用于记录种别码，其为全局变量
char prog[SIZE],ch,token[8];
char *keyword[6]={"begin","then","if","while","do","end"};//定义关键字数组
void scaner(); //将prog数组中的数移到token数组进行比较，更新种别码
main()
{
p=0;
printf("请输入源程序字符串（以'#'结束）：\n");
do
{
ch=getchar();
prog[p++]=ch;
}while(ch!='#');//将键盘输入的字符串录入数组prog
p=0;
do
{
scaner();
switch(syn)
{
case -1:printf("词法分析 出错\n");break;
default :printf("<%d,%s>\n",syn,token);break;
}
}while(syn!=0);//输入#号，种别码syn为0，循环结束
printf("词法分析 成功\n");
getchar();
}
void scaner()
{
for(n=0;n<8;n++)//初始化token数组
{token[n]='\0';}
n=0;
ch=prog[p++];
while(ch==' ')
{ch=prog[p++];}
if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z'))//判断输入的是否为关键字
{
do{
token[n++]=ch;
ch=prog[p++];
}while((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||(ch>='0'&&ch<='9'));
syn=10;
for(n=0;n<6;n++) //在六个关键字中对比
{
if(strcmp(token,keyword[n])==0)
syn=n+1;
}
p--;
}
else if(ch>='0'&&ch<='9')//判断输入的是否为整数常数
{
p--;
do
{
token[n++]=prog[p++];
ch=prog[p];
}while(ch>='0'&&ch<='9');
syn=11;
return;
}
else
{
switch(ch)
{
case '+':syn=13;token[0]=ch;break;
case '-':syn=14;token[0]=ch;break;
case '*':syn=15;token[0]=ch;break;
case '/':syn=16;token[0]=ch;break;
case ':':syn=17;token[0]=ch;
ch=prog[p++];
if(ch=='='){token[1]=ch;syn++;}
else p--;
break;
case '<':syn=20;token[0]=ch;
ch=prog[p++];
if(ch=='>'){token[1]=ch;syn++;}
else if(ch=='='){token[1]=ch;syn=syn+2;}
else p--;
break;
case '>':syn=23;token[0]=ch;
ch=prog[p++];
if(ch=='='){token[1]=ch;syn++;}
else p--;
break;
case '=':syn=25;token[0]=ch;break;
case ';':syn=26;token[0]=ch;break;
case '(':syn=27;token[0]=ch;break;
case ')':syn=28;token[0]=ch;break;
case '#':syn=0;token[0]=ch;break;
default: printf("词法分析出错! 请检查是否输入非法字符\n");syn=-1;break;
}
}
}
本次作业做得不是很理想，C语言掌握的并不是很好，要多加练习才OK。
#include <stdio.h>#include <stdlib.h>#include <string.h>typedef struct{ int key; char *value;}CIZU;CIZU cizu[1024];int main(){ FILE *fp; char buf[1024]; char a[1024]; char b[1024]; char seps[]=" \t \n "; char *token=NULL; char *next_token=NULL; int h=0,q=0; if((fp=fopen("代码.txt","ab+"))==NULL){ printf("File open error!\n"); exit(0); } while(fgets(buf,2, fp) != NULL){ a[h]=buf[0]; h++; } token = strtok_r(a,seps,&next_token); while(token!=NULL){ if(token!=NULL){ if(strcmp(token,"int")==0){ cizu[q].key=7; cizu[q].value="标识符 int"; }else if(strcmp(token,"beigin")==0){ cizu[q].key=1; cizu[q].value="标识符 begin"; }else if(strcmp(token,"main")==0){ cizu[q].key=39; cizu[q].value="标识符 main"; }else if(strcmp(token,"if")==0){ cizu[q].key=2; cizu[q].value="标识符 if"; }else if(strcmp(token,"then")==0){ cizu[q].key=3; cizu[q].value="标识符 then"; }else if(strcmp(token,"while")==0){ cizu[q].key=4; cizu[q].value="标识符 while"; }else if(strcmp(token,"do")==0){ cizu[q].key=5; cizu[q].value="标识符 do"; }else if(strcmp(token,"end")==0){ cizu[q].key=6; cizu[q].value="标识符 end"; }else if(strcmp(token,"#")==0){ cizu[q].key=0; cizu[q].value="#"; }else if(strcmp(token,"h")==0){ cizu[q].key=104; cizu[q].value="h"; }else if(strcmp(token,"(")==0){ cizu[q].key=40; cizu[q].value="("; }else if(strcmp(token,")")==0){ cizu[q].key=41; cizu[q].value=")"; }else if(strcmp(token,":")==0){ cizu[q].key=58; cizu[q].value=":"; }else if(strcmp(token,"printf")==0){ cizu[q].key=30; cizu[q].value="printf"; }else if(strcmp(token,";")==0){ cizu[q].key=59; cizu[q].value=";"; }else if(strcmp(token,"scanf")==0){ cizu[q].key=31; cizu[q].value="scanf"; }else if(strcmp(token,"[")==0){ cizu[q].key=32; cizu[q].value="["; }else if(strcmp(token,"]")==0){ cizu[q].key=33; cizu[q].value="]"; }else if(strcmp(token,"{")==0){ cizu[q].key=34; cizu[q].value="{"; }else if(strcmp(token,"}")==0){ cizu[q].key=35; cizu[q].value="}"; }else if(strcmp(token,"h")==0){ cizu[q].key=104; cizu[q].value="h"; }else if(strcmp(token,"20")==0){ cizu[q].key=14; cizu[q].value="20"; }else if(strcmp(token,"return")==0){ cizu[q].key=36; cizu[q].value="return"; }else if(strcmp(token,"s")==0){ cizu[q].key=115; cizu[q].value="s"; }else if(strcmp(token,"%")==0){ cizu[q].key=37; cizu[q].value="%"; }else{ cizu[q].key=0; cizu[q].value=token; } q++; printf("%s\n",token); token=strtok_r(NULL,seps,&next_token); } } printf("%d\n\n",q); for(int i=0;i<q;i++) printf("<%d,%s>\n",cizu[i].key,cizu[i].value); if(fclose(fp)){ printf("Can not close the file!\n"); exit(0); }}