高級(jí)語言及其文法

2.1語言概述什么是語言自然語言(NaturalLanguage)是人與人的通訊工具語義(Semantics):環(huán)境、背景知識(shí)、語氣、二義性——難以形式化計(jì)算機(jī)語言(ComputerLanguage)計(jì)算機(jī)系統(tǒng)間、人機(jī)間通訊工具嚴(yán)格的語法(Grammar)、語義(Semantics)——易于形式化：嚴(yán)格語言是用來交換信息的工具——功能性描述2.1語言概述語言的描述方法——現(xiàn)狀自然語言：自然、方便-非形式化數(shù)學(xué)語言（符號(hào)）：嚴(yán)格、準(zhǔn)確-形式化形式化描述高度的抽象，嚴(yán)格的理論基礎(chǔ)和方便的計(jì)算機(jī)表示。2.1語言概述語言——形式化的內(nèi)容提取單詞(Token)：滿足一定規(guī)則字符(Character)串句子(Sentence)：滿足一定規(guī)則單詞序列語言(Language)：滿足一定條件的句子集合語言是字和組合字的規(guī)則——結(jié)構(gòu)性描述例：一譯開天第課今始編節(jié)上今天開始上第一節(jié)編譯課2.1語言概述程序設(shè)計(jì)語言——形式化的內(nèi)容提取程序設(shè)計(jì)語言(ProgrammingLanguage)：組成程序的所有語句的集合程序(Program)：滿足語法規(guī)則的語句序列語句(Sentence)：滿足語法規(guī)則的單詞序列單詞(Token)：滿足詞法規(guī)則的字符串例變量=表達(dá)式if條件then語句while條件do語句call過程名(參數(shù)表)2.1語言概述描述形式——文法語法——語句語句的組成規(guī)則描述方法：BNF范式、語法(描述)圖詞法——單詞單詞的組成規(guī)則描述方法：BNF范式、正規(guī)式2.2基本定義字母表（Alphabet）是一個(gè)非空有窮集合，字母表中的元素稱為該字母表的一個(gè)字母（Letter），也叫字符（Character）例以下是不同的字母表 ⑴{a，b，c，d} ⑵{a，b，c，……，z} ⑶{0，1}相當(dāng)于高級(jí)語言的字符集2.2基本定義字母表上符號(hào)串(String)的定義

(1)ε是∑上的一個(gè)符號(hào)串，叫做空串。(2)若x是∑上的符號(hào)串，而a是∑的元素,

則xa是∑上的符號(hào)串。(3)y是∑上的符號(hào)串,當(dāng)且僅當(dāng)它由(1)和(2)導(dǎo)出。由字母表中的符號(hào)所組成的的任何有窮序列被稱之為該字母表上的符號(hào)串,也稱作“字”(Word)。2.2基本定義定義1設(shè)∑1、∑2是兩個(gè)字母表，∑1與∑2

的乘積(Product)∑1∑2={ab|a∈∑1，b∈∑2}例:∑1={0,1},∑2={a,b},∑1∑2={0a,0b,1a,1b}定義2設(shè)∑是一個(gè)字母表，∑的n次冪(Power)遞歸地定義為：⑴∑0={ε}⑵∑n=∑n-1∑ n≥1例：∑13={000,001,010,011,100,101,110,111}2.2基本定義定義3設(shè)∑是一個(gè)字母表，∑的正閉包(PositiveClosure)：∑+=∑∪∑2∪∑3∪∑4∪……∑的克林閉包(KleeneClosure)：∑*=∑0∪∑+=∑0∪∑∪∑2∪∑3∪……2.2基本定義例{0,1}+={0，1，00，01，11，000，001，010，011，100，……}{a，b，c，d}+={a，b，c，d，aa，ab，ac，ad，ba，bb，bc，bd，……，aaa，aab，aac，aad，aba，abb，abc……}2.2基本定義例{0,1}*={ε，0，1，00，01，11，000，001，010，011，100，…}{a，b，c，d}*={ε，a，b，c，d，aa，ab，ac，ad，ba，bb，bc，bd，…，aaa，aab，aac，aad，aba，abb，abc，…}2.2基本定義定義5設(shè)∑是一個(gè)字母表，

L

∑*，L稱為字母表∑上的一個(gè)語言（Language），

x∈L，x叫做L的一個(gè)句子。例：字母表{0，1}上的語言{0，1}{00，11}{0，1，00，11}{0，1，00，11，01，10}{00，11}*{01，10}*2.2基本定義設(shè)s是符號(hào)串：01290273前綴：移走s的尾部的零個(gè)或多于零個(gè)符號(hào)后綴：刪去s的頭部的零個(gè)或多于零個(gè)符號(hào)子串：從s中刪去一個(gè)前綴和一個(gè)后綴子序列:從s中刪去零個(gè)或多于零個(gè)符號(hào)(這些符號(hào)不要求是連續(xù)的）長度：是該符號(hào)串中的符號(hào)的數(shù)目。例如|aab|=3,|ε|=0。2.2基本定義符號(hào)串的連接和冪1.連接：設(shè)x和y是符號(hào)串，它們的連接xy是把y的符號(hào)寫在x的符號(hào)之后得到的符號(hào)串。例如，x=ba,y=nana,xy=banana.2.冪：x0=

;x1=x;x2=xx;……;xn=xn-1x;

例如,x=ba,x1=ba,x2=baba,x3=bababa,…...2.3文法的定義如何實(shí)現(xiàn)語言結(jié)構(gòu)的形式化描述？考慮一個(gè)句子——文法要素的提取分析：Thegraywolfwilleatthegoat〈謂語〉〈主語〉〈形容詞〉〈名詞〉〈動(dòng)詞〉〈直接賓語〉助動(dòng)詞〈句子〉動(dòng)原冠詞名詞Thegraywolfwilleatthegoat〈冠詞〉提取規(guī)則，寫在黑板上

句子

→

主語

謂語

主語

→

冠詞

形容詞

名詞

謂語

→

動(dòng)詞

直接賓語

動(dòng)詞

→

助動(dòng)詞

動(dòng)詞原形

直接賓語

→

冠詞

名詞

產(chǎn)生句子的規(guī)則——從產(chǎn)生語言的角度

冠詞

→

the

形容詞

→

gray

助動(dòng)詞

→

will

動(dòng)詞原形

→

eat

名詞

→

wolf

名詞

→

goat終結(jié)符號(hào)集VT={the，gray,wolf,will,eat,goat}非終結(jié)符號(hào)集VN={

句子

，

主語

，

謂語

，

冠詞

，

形容詞

，

名詞

，

動(dòng)詞

，

直接賓語

，

助動(dòng)詞

，

動(dòng)詞原形

}語法規(guī)則集P={

句子

→

主語

謂語

，……}開始符號(hào)S=

句子

句子的語法組成

——終結(jié)符號(hào)集，非終結(jié)符號(hào)集，語法規(guī)則，開始符號(hào)文法G的形式定義文法G為一個(gè)四元組:

Ｇ=(ＶT，ＶN，Ｐ，Ｓ)ＶT：終結(jié)符(Terminal)集ＶN：非終結(jié)符(Variable)集，ＶT∩ＶN=Φ語法范疇——某個(gè)語言結(jié)構(gòu)Ｓ：開始符號(hào)(StartSymbol)，S∈ＶN至少在產(chǎn)生式左側(cè)出現(xiàn)一次文法G的形式定義Ｐ：產(chǎn)生式(Product)集合α→β，被稱為產(chǎn)生式（定義式），讀作：α定義為β。其中α∈(ＶT∪ＶN)+，且α中至少有ＶN中元素的一個(gè)出現(xiàn)。β∈(ＶT∪ＶN)*。α稱為產(chǎn)生式α→β的左部(LeftPart)，β稱為產(chǎn)生式α→β的右部(RightPart)。

句子

主語

謂語

冠詞

形容詞

名詞

謂語

the

形容詞

名詞

謂語

thegray

名詞

謂語

thegraywolf

謂語

thegraywolf

動(dòng)詞

直接賓語

thegraywolf

助動(dòng)詞

動(dòng)詞原形

直接賓語

thegraywolfwill

動(dòng)詞原形

直接賓語

thegraywolfwilleat

直接賓語

thegraywolfwilleat

冠詞

名詞

thegraywolfwilleatthe

名詞

thegraywolfwilleatthegoat句子的派生（推導(dǎo)）___根據(jù)規(guī)則

句子

thegraywolfwilleatthegoatthegraywolfwilleatthewolfthegraygoatwilleatthewolfthegraygoatwilleatthegray符合語法且符合語義的句子僅是：

thegraywolfwilleatthegoat還可以“得出”其他的句子例2-1算術(shù)表達(dá)式的文法考慮簡單算術(shù)表達(dá)式組成的語言遞歸定義——中綴表示標(biāo)識(shí)符(id)（常數(shù)、變量）是表達(dá)式；表達(dá)式加一個(gè)表達(dá)式是表達(dá)式；表達(dá)式減一個(gè)表達(dá)式是表達(dá)式；表達(dá)式乘一個(gè)表達(dá)式是表達(dá)式；表達(dá)式除一個(gè)表達(dá)式是表達(dá)式；表達(dá)式加上括號(hào)后是表達(dá)式。例2-1算術(shù)表達(dá)式的文法考慮用式子表示這個(gè)定義標(biāo)識(shí)符(id)是表達(dá)式表達(dá)式加一個(gè)表達(dá)式是表達(dá)式E→idE→E+E表達(dá)式減一個(gè)表達(dá)式是表達(dá)式E→E-E表達(dá)式乘一個(gè)表達(dá)式是表達(dá)式E→E*E表達(dá)式除一個(gè)表達(dá)式是表達(dá)式E→E/E表達(dá)式加上括號(hào)后是表達(dá)式E→(E)例2-1算術(shù)表達(dá)式的文法P:E→E+EE→E-EE→E*EE→E/EE→(E)E→idG=（{id，+，-，*，/，(，)}，{E}，P，E）約定：只寫產(chǎn)生式簡寫E→E+E|E*E|E-E|E/E|(E)|id產(chǎn)生式的簡寫對(duì)一組有相同左部的產(chǎn)生式α→β1，α→β2…，α→βn簡單地記為：α→β1|β2|…|βn

讀作：α定義為或者β1，或者β2，…，或者βn。并且稱它們?yōu)棣廉a(chǎn)生式。β1，β2，…，βn稱為候選式(Candidate)文法如何實(shí)現(xiàn)對(duì)語言的刻畫？產(chǎn)生式很關(guān)鍵！產(chǎn)生式規(guī)定的一些變換E由第1個(gè)候選式可以變成E+EE+E中的第1個(gè)E由第2個(gè)候選式可以變成E*E，從而E+E變成E*E+E根據(jù)第4個(gè)候選式，E*E+E中的E都可以變成id:E*E+E變成id*E+Eid*E+E變成id*E+idid*E+id變成id*id+id也就是說，根據(jù)第4個(gè)候選式，E*E+E經(jīng)3步變換變成id*id+id1E→E+E2E→E*E3E→(E)4E→id5E→E-E6E→E/E表示依據(jù)文法進(jìn)行的變換E

E+E （1）

E*E+E （2）

id*E+E （4）

id*E+id （4）

id*id+id （4）4E→id5E→E-E6E→E/EE可以變成E+EE+E中的第一個(gè)E變成E*EE*E+E變成id*E+Eid*E+E變成id*E+idid*E+id變成id*id+idE經(jīng)5步變換變成id*id+id：E

5id*id+id1E→E+E2E→E*E3E→(E)實(shí)質(zhì)是從E開始依據(jù)產(chǎn)生式對(duì)所得串中的特定部分進(jìn)行變換，不斷獲得新的串，最終得到目標(biāo)變換的分析實(shí)質(zhì)是從E開始依據(jù)產(chǎn)生式對(duì)所得串中的特定部分進(jìn)行變換，不斷獲得新的串，最終得到目標(biāo)

E*E

依據(jù)產(chǎn)生式E→E+EE*E+EαAβ依據(jù)產(chǎn)生式A→γαγβ直接推導(dǎo)與歸約根據(jù)產(chǎn)生式對(duì)符號(hào)串進(jìn)行變換的過程Ａ→γ是文法Ｇ的一個(gè)產(chǎn)生式，且α、β∈（ＶT∪ＶN）*，稱αＡβ的直接推導(dǎo)/派生(Derive)出αγβ，也稱αγβ直接歸約(Reduce)為αＡβ。記為αＡβ

αγβ例：id+E

id+E*E（多步）推導(dǎo)/歸約α0

α1

α2

…

αn記為α0

nαn

(恰用n步)α0

+αn

（至少一步）

α0

*αn

（若干步:零步或多步）E

5id*id+id推導(dǎo)/歸約回顧E

E+E （1）串中含有變量

id+E （4）串中含有變量

id+E*E （2）串中含有變量

id+id*E （4）串中含有變量

id+id*id （4）串中沒有變量到此串中已經(jīng)沒有（語法）變量了，不能再推了——得到句子1E→E+E2E→E*E3E→(E)4E→id句型與句子E

E+E

E+E*EE

4id+id*E定義:如果S

*α，α∈(ＶT∪ＶN)*則稱α是G產(chǎn)生的一個(gè)句型(SententialForm)E

5id+id*id定義:如果S

*x，且x∈ＶT*，則稱x是G產(chǎn)生的一個(gè)句子(Sentence)文法G產(chǎn)生的語言定義： L(G)={x|S

*xandx∈VT*}文法E→E+E|E*E|(E)|id可以派生出多少個(gè)句子？文法G的作用——語言的有窮描述以有限的規(guī)則描述無限的語言現(xiàn)象有限:產(chǎn)生式集合、終結(jié)符集合、非終結(jié)符集合無限：可以導(dǎo)出無窮多個(gè)句子（注：L也可是有窮）id+id*id的不同推導(dǎo)E→E+E|E*E|(E)|idE

E+E

id+E

id+E*E

id+id*E

id+id*idE

E+E

E+E*E

E+E*id

E+id*id

id+id*idE

E*E

E+E*E

E+id*E

id+id*E

id+id*id不做限制句型

(sententialForm)（歸約）E

*

id+id*id施于最右變量右句型/規(guī)范句型 (canonical~)(最左/規(guī)范歸約)E

+

id+id*id施于最左變量左句型(left-~)（最右歸約）

E

5

id+id*id最左推導(dǎo)與最右推導(dǎo)最左推導(dǎo)(Left-mostDerivation)每次推導(dǎo)都施加在句型的最左邊的語法變量上——與最右歸約對(duì)應(yīng)最右推導(dǎo)(Right-mostDerivation)每次推導(dǎo)都施加在句型的最右邊的語法變量上——與最左歸約（規(guī)范規(guī)約）對(duì)應(yīng)的規(guī)范(Canonical)句型短語(Phrase)

Ｓ

*

αＡβ

+αγβ

？？就自然語言而言，γ在αγβ中什么叫什么？）如果Ｓ

*

αＡβ&A

γ則稱γ是句型αγβ的相對(duì)于變量A的直接短語最左直接短語叫做句柄(Handle)如果Ｓ

*

αＡβ&A

+γ，則稱γ是句型αγβ的相對(duì)于變量A的短語例：句型的短語與直接短語E

E+T

T+T

F+T

(E)+T

(E+T)+T

(E+T)+T

(T+T)+T

(F+T)+T

(a+T)+T

(a+T*F)+T

(a+F*F)+T

(a+b*F)+T

(a+b*c)+T

(a+b*c)+F

(a+b*c)+dE→E+T|TT→T*F|FF→(E)|id句型的句柄(Handle)——最左直接短語E→E+T|TT→T*F|FF→(E)|idE

E+T

T+T

F+T

(E)+T

(E+T)+T

(E+T)+T

(T+T)+T

(F+T)+T

(a+T)+T

(a+T*F)+T

(a+F*F)+T

(a+b*F)+T

(a+b*c)+T

(a+b*c)+F

(a+b*c)+d例2-2標(biāo)識(shí)符的文法1S→L|LT T→L|N|TL|TN L→a|b|c|d letter N→0|1|2|3|4|5 digit?正整數(shù)的文法；正實(shí)數(shù)的文法2.４文法的分類(Chomsky體系)語言結(jié)構(gòu)的復(fù)雜程度（形式語言）涉及文法的復(fù)雜程度、分析方法的選擇如果G滿足文法定義的要求，則Ｇ是０型文法（短語結(jié)構(gòu)文法PSG:PhraseStructureGrammar）。L(G)為PSL。例2-3標(biāo)識(shí)符的文法2S→L|LT T→L|N|TL|TN L→a|b|c|d N→0|1|2|3|4|5S→a|b|c|d S→aT|bT|cT|dT T→a|b|c|d|0|1|2|3|4|5 T→aT|bT|cT|dT|0T T→1T|2T|3T|4T|5T例2-4標(biāo)識(shí)符的文法3S→a|b|c|dS→aT|bT|cT|dTT→a|b|c|dT→0|1|2|3|4|5T→aT|bT|cT|dT|0TT→1T|2T|3T|4T|5TS→a|b|c|dS→Ha|Hb|Hc|Hd|H0S→H1|H2|H3|H4|H5H→Ha|Hb|Hc|Hd|H0H→H1|H2|H3|H4|H5H→a|b|c|dA→aB或A→aA→Ba或A→a正規(guī)文法(RG)設(shè)A、B∈VN，a∈VT∪{

}右線性(RightLinear)文法：A→aB或A→a左線性(LeftLinear)文法：A→Ba或A→a都是３型文法(正規(guī)文法RegularGrammar-RG)L(G)為3型/正規(guī)集/正則集/正則語言（RL）例：程序設(shè)計(jì)語言的多數(shù)詞法特性左、右線性文法不可混用例非CFL的文法L={anbncn|n>0}的文法S

aBC|aSBCCB

BCaB

abbB

bbbC

bccC

cc“可以證明”不存在CFGG,使L(G)=L

在我們使用的程序語言中,有些語言結(jié)構(gòu)并不是總能用上下文無關(guān)文法描述的。例L1={wcw|w∈{a,b}+}。例,aabcaab就是L1的一個(gè)句子。這個(gè)語言是檢查程序中標(biāo)識(shí)符的聲明應(yīng)先于引用的抽象。

例L2={anbmcndm|n,m≥0}，它是檢查過程聲明的形參個(gè)數(shù)和過程引用的參數(shù)個(gè)數(shù)是否一致問題的抽象。高級(jí)語言中的非CFL結(jié)構(gòu)Chomsky體系——總結(jié)1型文法(CSG)S

aBCS

aSBCCB

BCaB

abbB

bbbC

bccC

cc

0型文法(PSG)S

aBCS

aSBCCB

BCaB

dbB

bbbC

bcC

cc2型文法(CFG)E→E+EE→E*EE→(E)E→idE→E-EE→E/E

3型文法S→a|bS→aT|bTT→a|bT→1|2T→aT|bTT→1T|2T3型文法S→a|bS→Ha|HbS→H1|H2H→Ha|HbH→H1|H2H→a|bChomsky體系——總結(jié)Ｇ=(ＶT，ＶN，Ｐ，Ｓ)是一個(gè)文法,α→β∈P* G是0型文法，L(G)是0型語言；

---其能力相當(dāng)于圖靈機(jī)(TM)* |α|≤|β|:G是1型文法，L(G)是1型語言(除Ｓ→ε);

---其識(shí)別系統(tǒng)是線性界限自動(dòng)機(jī)(LBA)* α∈ＶN:G是2型文法，L(G)是2型語言;

---其識(shí)別系統(tǒng)是不確定的下推自動(dòng)機(jī)(PDA)* A→aB或A→a:G是右線性文法，L(G)是3型語言

A→Ba或A→ａ:G是左線性文法，L(G)是3型語言

---其識(shí)別系統(tǒng)是有窮自動(dòng)機(jī)(FA)四種文法之間的關(guān)系是將產(chǎn)生式作進(jìn)一步限制而定義的四種文法之間的逐級(jí)“包含”關(guān)系如下：2型文法1型文法0型文法3型文法Chomsky體系——總結(jié)ＢＮＦ范式——Backus-NaurForm

Backus-NormalFormα→β表示為α∷＝β非終結(jié)符用“<”和“>”括起來終結(jié)符：基本符號(hào)集其他β(α1|α2…|αn)≡βα1|βα2…|βαn{α1|α2…|αn}ul

{α1|α2…|αn}ml=0,u=m[α]≡α|ε……ＢＮＦ范式——BackusNormalForm例簡單算術(shù)表達(dá)式(只寫產(chǎn)生式)<簡單表達(dá)式>∷＝<簡單表達(dá)式>+<簡單表達(dá)式><簡單表達(dá)式>∷＝<簡單表達(dá)式>*<簡單表達(dá)式><簡單表達(dá)式>∷＝(<簡單表達(dá)式>)<簡單表達(dá)式>∷＝id即：<簡單表達(dá)式>∷＝<簡單表達(dá)式>+<簡單表達(dá)式>| <簡單表達(dá)式>*<簡單表達(dá)式>|(<簡單表達(dá)式>)|id哪些是終結(jié)符？哪些是變量？例2-5句子結(jié)構(gòu)的表示

(文法E→E+E|E*E|(E)|id

）EE+EE→E+EidE→idEE*E→E*EidE→ididE→idE

E+E

id+E

id+E*E

id+id*E

id+id*id一棵樹！2.5CFG的語法樹ParseTree用樹的形式表示句型的結(jié)構(gòu)樹根：開始符號(hào)中間結(jié)點(diǎn)：非終結(jié)符葉結(jié)點(diǎn)：終結(jié)符或者非終結(jié)符每個(gè)推導(dǎo)對(duì)應(yīng)一個(gè)中間結(jié)點(diǎn)及其兒子——一個(gè)二級(jí)子樹-直接短語又稱為語法分析樹例2-6短語與語法(分析)樹

(文法E→E+E|E*E|(E)|id

）EE+Eid(a1)EE*id(a2)id(a3)短語——一棵子樹的葉子！短語：非單一結(jié)點(diǎn)的子樹的結(jié)果是相對(duì)于子樹根的短語。直接短語：僅有父子兩代的子樹的結(jié)果。句柄：一個(gè)句型的分析樹中最左那棵只有父子兩代的子樹的結(jié)果。例如，對(duì)表達(dá)式文法G[E]和句子a1+a2*a3，挑選出推導(dǎo)過程中產(chǎn)生的句型中的短語，直接短語，句柄。用子樹解釋短語，直接短語，句柄E

E+T

T+T

F+T

a1+T

a1+T*F

a1+F*F

a1+a2*FE+T

T,T+TF,F+Ta1,a1+Ta1,T*F,a1+T*Fa1,F,F*F,a1+F*F

a1,a2,a1+a2*F,a2*F

a1,a2,a3,a2*

a3

a1+a2*a3EE+TTFa1T*FFa2a3

a1+a2*a3短語a1+a2*a3

1.描述一個(gè)句子的文法不是唯一的；

2.對(duì)于一個(gè)句子的分析應(yīng)是唯一的?？紤]表達(dá)式下面的文法G[E],其產(chǎn)生式如下：

E

E+E

E*E

(E)

id

文法的二義性(歧義性/ambiquity)文法的二義性EE*EidEE+ididEE+EEEid*idid一個(gè)句子有兩棵不同的語法樹

E

E+E

a1+E

a1+E*E

a1+a2*E

a1+a2*a3

E

E*E

E+E*E

a1+E*E

a1+a2*E

a1+a2*a3EE+Ea1E*Ea2a3EE*E+EEa1a2a3兩個(gè)不同的最左推導(dǎo),對(duì)應(yīng)兩不同的語法樹

E

E*E

E*a3

E+E*a3

E+a2*a3

a1+a2*a3EE+Ea1E*Ea2a3EE*E+EEa1a2a3兩個(gè)不同的最右推導(dǎo),對(duì)應(yīng)兩不同的語法樹

E

E+E

E+E*E

E+E*a3

E+a2*a3

a1+a2*a3如果一個(gè)文法的句子存在兩棵分析樹,那么,該句子是二義性的如果一個(gè)文法包含二義性的句子,則稱這個(gè)文法是二義性的;否則，該文法是無二義性的文法的二義性1.一般來說,高級(jí)程序設(shè)計(jì)語言存在無二義性文法,但有時(shí)用二義性文法。如：表達(dá)式文法、條件語句文法S

ifexprthenS

ifexprthenSelseS

other二義性的句子:ife1thenife2thens1elses2

E→E+E|E-E|E*E|E/E|(E)|id無二義性文法較復(fù)雜E→E+T|E-T|TT→T*F|T/F|FF→(E)|id文法的二義性文法的二義性1.一般來說,高級(jí)程序設(shè)計(jì)語言存在無二義性文法,但有時(shí)用二義性文法。如：表達(dá)式文法、條件語句文法S

ifexprthenS