1、第三章建構(gòu)了貧困機(jī)械人與詞法解析、廣東商學(xué)院胡建軍、CS_GDCC Hjj、2020/7/24、主要內(nèi)容、詞法解析過(guò)程涉及的一些問(wèn)題詞法分析器的生成技術(shù)正則表達(dá)式有限機(jī)械人、CS_GDCC Hjj、2020/對(duì)應(yīng)的內(nèi)部表示TOKEN， 在云同步中檢查源計(jì)程儀列中的詞法錯(cuò)誤，過(guò)濾源計(jì)程儀列中的注釋和空格(空格、換行、制表符和鍵入時(shí)用于分隔詞法單位的其它字符)。 (即，對(duì)錯(cuò)誤消息賦予行號(hào))、CS_GDCC Hjj、2020/7/24、詞法分析器的兩種形式、CharList、CS_GDCC Hjj、2020/7/24單詞是項(xiàng)目中的最小的語(yǔ)義單位，不能分割。 (軟件編程語(yǔ)言中沒(méi)有單詞的概念是被引入到編

2、譯程序中的概念)、CS_GDCC Hjj、2020/7/24、Token定義、Token表示作為最小的語(yǔ)義單位的單詞的信息。 也就是說(shuō)，是由單詞內(nèi)部表示的數(shù)據(jù)構(gòu)造形式。 在(沒(méi)有固定模式) Token中，需要記錄與單詞相關(guān)的信息：?jiǎn)卧~的標(biāo)簽查詢密碼($id、$intC、)識(shí)別作為單詞種類(lèi)的類(lèi)型信息Token.class單詞的特征屬性(標(biāo)簽名、符號(hào)表地址等)，而編譯程序的操作對(duì)象正在計(jì)程儀中、CS_GDCC Hjj、2020/7/24、Token引入的原因、編譯程序、計(jì)程儀、數(shù)據(jù)、是、只處理、編譯程序、只處理、編譯程序、編譯程序詞法分析器的一些問(wèn)題和處理方法：詞法分析器的功能、分類(lèi)詞的分類(lèi)、To

3、ken是空格子、 標(biāo)簽和換行復(fù)合型符號(hào)括號(hào)類(lèi)的匹配預(yù)備文字空間序列字句糾錯(cuò)字句解析結(jié)束，常用單詞的分類(lèi)識(shí)別符：以字母開(kāi)頭的字母/數(shù)字串調(diào)整常數(shù)：以數(shù)字開(kāi)頭的數(shù)字串實(shí)常數(shù)：整數(shù).整數(shù)保留關(guān)鍵字： begin，end，var，read，write，integer 控制： (換行符)，語(yǔ)言Token結(jié)構(gòu)，標(biāo)識(shí)符Token: ($id，標(biāo)識(shí)符)示例($id，x )整數(shù)Token: ($intC，整數(shù))示例：0.5)保留關(guān)鍵字Token: ($begin，- )，($end，- )符號(hào)token 3360 ($mult，- ) ($實(shí)際，- )，例如，begin var x :實(shí)際； 由詞法分析器處理后

4、，轉(zhuǎn)換為如下所示的Token序列：處理標(biāo)識(shí)符和常量：所有標(biāo)識(shí)符(常量)可視為一種單詞，從而確定詞法(類(lèi)型)信息。 在a語(yǔ)義信息的長(zhǎng)度有限制的情況下，語(yǔ)義信息的表現(xiàn)直接使用識(shí)別符或常數(shù)本身。 b沒(méi)有長(zhǎng)度限制時(shí)，制作識(shí)別符或者常數(shù)標(biāo)度，語(yǔ)義信息將其表中的地址(字符串空間節(jié)約存儲(chǔ)器空間)、保留關(guān)鍵字：在語(yǔ)言規(guī)定牛鼻子字不能作為用戶定義的識(shí)別符使用時(shí)，將它們稱為保留關(guān)鍵字。 保留關(guān)鍵字的特點(diǎn)：長(zhǎng)度不同，處理不順利，就浪費(fèi)空間。 目標(biāo)：節(jié)省空間、效率(時(shí)間)、處理保留關(guān)鍵字(1)、CS_GDCC Hjj、2020/7/24、處理保留關(guān)鍵字(2)、1 .創(chuàng)建保留關(guān)鍵字表思想：事先建構(gòu)其他情況下，用一般標(biāo)識(shí)

5、符處理。序列表、哈希序列表、哈希序列表2 .判斷是否在拼寫(xiě)和云同步中保留字符，拼寫(xiě)完成后判斷結(jié)束(自動(dòng)機(jī))，CS_GDCC Hjj，2020/7/24，例如：只有begin和end保留字符的缺點(diǎn)：機(jī)械人龐大一般識(shí)別符、CS_GDCC Hjj、2020/7/24、運(yùn)算符的處理：1.不進(jìn)行區(qū)別，統(tǒng)一為一，根據(jù)主義信息進(jìn)行區(qū)別。 2 .劃分，每個(gè)運(yùn)算符都是類(lèi)，不需要語(yǔ)義信息。 空格符、制表符和換行字符的處理1 .在源程序中設(shè)置空格字符的目的是分離單詞，因此拼寫(xiě)單詞后必須刪除無(wú)用的空格和制表符2 .字符串內(nèi)的空格不能刪除設(shè)置字符串標(biāo)志二進(jìn)制位StringFlag，空格出現(xiàn)在字符串內(nèi)3 .不能刪除換行符

6、。 用于錯(cuò)誤定位的復(fù)合型特殊字符，在“:=”的處理中讀取“:”時(shí)，無(wú)法判斷是否為冒號(hào)，必須讀取下一個(gè)字符。CS_GDCC Hjj、2020/7/24、括號(hào)類(lèi)情侶對(duì)戒初步檢查、括號(hào)類(lèi)： begin end、if then、() 處理方法：按括號(hào)類(lèi)設(shè)定計(jì)數(shù)器(初始值=0)、CS_GDCC Hjj、2020/7/24、字符串(長(zhǎng)短不同) 提高存取速度的方法： 1、字符數(shù)組在字符數(shù)組空間存儲(chǔ)字符串，描述字符串信息： (提高位置、長(zhǎng)度存取速度的方法： 1、在字符數(shù)組字符數(shù)組空間存儲(chǔ)字符串，描述字符串信息： (位置、長(zhǎng)度) 2、指針數(shù)據(jù)、CS_GDCC Hjj、2020/7/24、程序計(jì)程儀錯(cuò)誤、 語(yǔ)法層

7、錯(cuò)誤是指語(yǔ)法結(jié)構(gòu)上有錯(cuò)誤的單詞；語(yǔ)義層錯(cuò)誤是指語(yǔ)義中有錯(cuò)誤的語(yǔ)法單位。 字句分析中發(fā)現(xiàn)字句層錯(cuò)誤語(yǔ)法分析中發(fā)現(xiàn)語(yǔ)法層錯(cuò)誤語(yǔ)義分析中發(fā)現(xiàn)語(yǔ)義層錯(cuò)誤。CS_GDCC Hjj、2020/7/24、字句錯(cuò)誤更正、詞法分析器可發(fā)現(xiàn)的錯(cuò)誤非常有限：非法字符、單詞的第一個(gè)字符錯(cuò)誤。 如果在詞法分析中發(fā)現(xiàn)錯(cuò)誤，不要立即停止詞法分析，而應(yīng)采取一定的補(bǔ)救措施，使詞法分析過(guò)程繼續(xù)進(jìn)行。 糾錯(cuò)是糾正原代碼，而不是糾正計(jì)程儀程序中的錯(cuò)誤。CS_GDCC Hjj、2020/7/24、字句錯(cuò)誤更正、字句錯(cuò)誤種類(lèi)：不按(不符合配詞規(guī)則)語(yǔ)言行政許可的符號(hào)： #括號(hào)類(lèi)對(duì)錯(cuò)誤：?jiǎn)卧~的接班人錯(cuò)誤(偶爾): 字句錯(cuò)誤更正方法： a已刪除示例： B E # G I N，CS_GDCC H