2025年P(guān)ython自然語言處理專項訓(xùn)練試卷：文本挖掘與情感分析實戰(zhàn)演練考試時間：______分鐘總分：______分姓名：______一、請編寫Python代碼，使用`pandas`庫讀取名為`data.csv`的文件（假設(shè)該文件包含一列名為`text`的文本數(shù)據(jù)），并顯示前5行內(nèi)容。二、假設(shè)你已經(jīng)使用`pandas`讀取了名為`corpus`的DataFrame，其中包含一列名為`text`的中文評論文本。請編寫代碼，使用`jieba`庫進(jìn)行分詞，去除停用詞（假設(shè)你有一個名為`stopwords.txt`的文件，每行一個停用詞），并將處理后的分詞結(jié)果存儲在一個新的列`words`中。請展示處理后的前5條記錄。三、繼續(xù)使用上一題的`corpus`DataFrame。請編寫代碼，為`text`列中的每條評論計算TF-IDF向量表示。你需要使用`scikit-learn`庫中的`TfidfVectorizer`，并假設(shè)你需要去除標(biāo)點符號和數(shù)字，分詞時使用`jieba`。請展示前5條評論的TF-IDF向量化結(jié)果（僅展示向量化的數(shù)據(jù)部分，非DataFrame本身）。四、假設(shè)你有一個包含新聞標(biāo)題和對應(yīng)主題標(biāo)簽的數(shù)據(jù)集（例如，標(biāo)簽有`體育`、`科技`、`娛樂`）。請編寫Python代碼，使用`scikit-learn`庫，基于TF-IDF特征，訓(xùn)練一個樸素貝葉斯分類器（`MultinomialNB`）來預(yù)測新聞標(biāo)題的主題。你需要將數(shù)據(jù)集劃分為訓(xùn)練集（80%）和測試集（20%），并使用訓(xùn)練集進(jìn)行模型訓(xùn)練。五、在第四題的基礎(chǔ)上，請編寫代碼，使用訓(xùn)練好的樸素貝葉斯模型對測試集進(jìn)行預(yù)測，并計算模型的準(zhǔn)確率（`accuracy_score`）、精確率（`precision_score`，考慮多類平均）、召回率（`recall_score`，考慮多類平均）和F1分?jǐn)?shù)（`f1_score`，考慮多類平均）。請展示這些評估指標(biāo)的結(jié)果。六、請編寫代碼，使用`scikit-learn`庫中的`TextBlob`庫，對`corpus`DataFrame中的`text`列進(jìn)行情感分析。你需要為每條評論計算其情感極性（`polarity`）和主觀性（`subjectivity`）得分，并將這兩個分?jǐn)?shù)分別存儲在新的列`polarity`和`subjectivity`中。請展示包含這兩個新列的處理后的前10條記錄。七、假設(shè)你有一份包含用戶評論及其對應(yīng)情感標(biāo)簽（`positive`,`negative`,`neutral`）的數(shù)據(jù)集。請編寫代碼，使用`scikit-learn`庫，基于TF-IDF特征，訓(xùn)練一個支持向量機分類器（`SVC`）來進(jìn)行情感分類。你需要將數(shù)據(jù)集劃分為訓(xùn)練集（80%）和測試集（20%），并使用訓(xùn)練集進(jìn)行模型訓(xùn)練。八、在第七題的基礎(chǔ)上，請編寫代碼，使用訓(xùn)練好的SVC模型對測試集進(jìn)行預(yù)測，并計算分類的準(zhǔn)確率（`accuracy_score`）、精確率（`precision_score`，考慮三類平均）、召回率（`recall_score`，考慮三類平均）和F1分?jǐn)?shù)（`f1_score`，考慮三類平均，使用`'macro'`平均方式）。請展示這些評估指標(biāo)的結(jié)果。九、請編寫Python代碼，使用`transformers`庫中的預(yù)訓(xùn)練模型（例如`distilbert-base-chinese-sentiment`）對一個中文句子（例如：“這家餐廳的服務(wù)非常好，食物也很美味。”）進(jìn)行情感分析。你需要加載模型和對應(yīng)的分詞器（`Tokenizer`），對句子進(jìn)行編碼，進(jìn)行預(yù)測，并輸出預(yù)測的情感類別（積極或消極）以及對應(yīng)的置信度分?jǐn)?shù)。十、假設(shè)你使用`TfidfVectorizer`對一段英文文本進(jìn)行了TF-IDF向量化，得到了一個形狀為`(1,1000)`的稀疏向量`X_tfidf`（這里僅為示例維度）。請編寫代碼，使用`scikit-learn`庫中的`LinearSVC`模型，將該向量分類到三個預(yù)定義的類別（例如，`['news','sports','opinion']`）中。你需要展示模型預(yù)測的類別。試卷答案一、```pythonimportpandasaspd#讀取數(shù)據(jù)df=pd.read_csv('data.csv')#顯示前5行print(df.head())```解析：使用`pandas.read_csv`函數(shù)讀取指定路徑的CSV文件，并利用`head()`方法展示前5行數(shù)據(jù)。二、```pythonimportpandasaspdimportjieba#假設(shè)stopwords已加載為一個列表stopwords_list#stopwords_list=[詞1,詞2,...]#讀取數(shù)據(jù)corpus=pd.read_csv('corpus.csv')#定義分詞和去停用詞函數(shù)defprocess_text(text):words=jieba.cut(text)words_filtered=[wordforwordinwordsifwordnotinstopwords_listandlen(word)>1]#假設(shè)stopwords_list已準(zhǔn)備好return''.join(words_filtered)#應(yīng)用函數(shù)到text列corpus['words']=corpus['text'].apply(process_text)#顯示前5條記錄print(corpus.head())```解析：首先讀取包含評論文本的DataFrame。定義一個`process_text`函數(shù)，使用`jieba.cut`進(jìn)行分詞，然后通過列表推導(dǎo)式過濾掉停用詞和單字詞。使用`DataFrame.apply()`將此函數(shù)應(yīng)用到`text`列，生成處理后的分詞結(jié)果并存儲在新列`words`中。最后展示前5條記錄。三、```pythonfromsklearn.feature_extraction.textimportTfidfVectorizerimportpandasaspd#假設(shè)corpusDataFrame和stopwords_list已從上一題準(zhǔn)備好#創(chuàng)建TfidfVectorizer實例#使用jieba進(jìn)行分詞，去除標(biāo)點、數(shù)字，使用自定義停用詞列表vectorizer=TfidfVectorizer(tokenizer=lambdax:jieba.cut(x),token_pattern=None,#token_pattern=None允許自定義tokenizerpreprocessor=lambdax:''.join([cforcinxifc.isalnum()orc.isspace()]),#去除標(biāo)點和數(shù)字，保留字母數(shù)字和空格stop_words=stopwords_list)#使用停用詞列表#擬合并轉(zhuǎn)換文本數(shù)據(jù)X_tfidf=vectorizer.fit_transform(corpus['text'])#展示前5條記錄的TF-IDF向量（僅展示數(shù)據(jù)本身）print(X_tfidf[:5].toarray())#使用toarray()轉(zhuǎn)換為普通數(shù)組形式以便查看```解析：導(dǎo)入`TfidfVectorizer`。創(chuàng)建實例時，指定`tokenizer`參數(shù)為一個lambda函數(shù)，該函數(shù)接收文本輸入并使用`jieba.cut`進(jìn)行分詞。設(shè)置`token_pattern=None`因為我們自定義了分詞器。`preprocessor`參數(shù)設(shè)置為去除非字母數(shù)字字符的lambda函數(shù)。`stop_words`參數(shù)傳入停用詞列表。使用`fit_transform`方法擬合模型到文本數(shù)據(jù)并轉(zhuǎn)換為TF-IDF矩陣。`X_tfidf[:5].toarray()`用于展示前5條文本的TF-IDF向量（轉(zhuǎn)換為非稀疏數(shù)組形式）。四、```pythonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.naive_bayesimportMultinomialNBfromsklearn.feature_extraction.textimportTfidfVectorizerimportpandasaspd#假設(shè)dfDataFrame包含'title'（標(biāo)題）和'topic'（主題標(biāo)簽）列#假設(shè)topics=['體育','科技','娛樂']是所有可能的標(biāo)簽列表#讀取數(shù)據(jù)（示例，實際數(shù)據(jù)結(jié)構(gòu)可能不同）#df=pd.read_csv('news.csv')#示例文件名#分詞和TF-IDF向量化vectorizer=TfidfVectorizer(tokenizer=lambdax:jieba.cut(x),token_pattern=None,preprocessor=lambdax:''.join([cforcinxifc.isalnum()orc.isspace()]),stop_words=stopwords_list)#假設(shè)stopwords_list已準(zhǔn)備好X_tfidf=vectorizer.fit_transform(df['title'])y=df['topic']#劃分訓(xùn)練集和測試集X_train,X_test,y_train,y_test=train_test_split(X_tfidf,y,test_size=0.2,random_state=42,stratify=y)#訓(xùn)練樸素貝葉斯分類器nb_classifier=MultinomialNB()nb_classifier.fit(X_train,y_train)```解析：首先，導(dǎo)入必要的庫。準(zhǔn)備數(shù)據(jù)集`df`，其中包含新聞標(biāo)題`title`和對應(yīng)主題`topic`。使用與第三題類似的`TfidfVectorizer`對標(biāo)題進(jìn)行向量化。將文本特征`X_tfidf`和對應(yīng)標(biāo)簽`y`準(zhǔn)備好。使用`train_test_split`函數(shù)將數(shù)據(jù)劃分為訓(xùn)練集（80%）和測試集（20%），`random_state`確?？蓮?fù)現(xiàn)性，`stratify=y`保證標(biāo)簽在訓(xùn)練集和測試集中的比例與原始數(shù)據(jù)一致。創(chuàng)建`MultinomialNB`實例并使用訓(xùn)練集數(shù)據(jù)`X_train`,`y_train`進(jìn)行模型訓(xùn)練。五、```pythonfromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score#假設(shè)nb_classifier已從第四題準(zhǔn)備好，X_test,y_test也已準(zhǔn)備好#使用模型進(jìn)行預(yù)測y_pred=nb_classifier.predict(X_test)#計算評估指標(biāo)accuracy=accuracy_score(y_test,y_pred)precision=precision_score(y_test,y_pred,average='macro')#'macro'處理多類平均recall=recall_score(y_test,y_pred,average='macro')f1=f1_score(y_test,y_pred,average='macro')#展示結(jié)果print(f"Accuracy:{accuracy}")print(f"Precision:{precision}")print(f"Recall:{recall}")print(f"F1Score:{f1}")```解析：導(dǎo)入評估指標(biāo)相關(guān)的函數(shù)。使用訓(xùn)練好的`nb_classifier`對測試集特征`X_test`進(jìn)行預(yù)測，得到預(yù)測標(biāo)簽`y_pred`。分別調(diào)用`accuracy_score`,`precision_score`,`recall_score`,`f1_score`計算準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)。在多類分類場景下，指定`average='macro'`表示計算每一類的指標(biāo)然后取平均值，不考慮類別不平衡問題。最后打印出各個指標(biāo)的結(jié)果。六、```pythonfromtextblobimportTextBlobimportpandasaspd#假設(shè)corpusDataFrame已從第二題準(zhǔn)備好#初始化TextBlob對象#假設(shè)corpus['text']列包含需要分析的中文評論#應(yīng)用情感分析corpus['polarity']=corpus['text'].apply(lambdax:TextBlob(x).sentiment.polarity)corpus['subjectivity']=corpus['text'].apply(lambdax:TextBlob(x).sentiment.subjectivity)#顯示包含新列的前10條記錄print(corpus[['text','polarity','subjectivity']].head(10))```解析：導(dǎo)入`TextBlob`庫。假設(shè)`corpus`DataFrame已包含評論文本列`text`。使用`TextBlob`的`sentiment`屬性，該屬性返回一個`Sentiment`對象，包含`polarity`（情感極性，范圍-1到1）和`subjectivity`（主觀性，范圍0到1）兩個屬性。通過`apply`將此lambda函數(shù)應(yīng)用于`text`列，分別計算每條評論的情感極性和主觀性，并將結(jié)果存儲在新的列`polarity`和`subjectivity`中。最后展示包含這兩列的前10條記錄。七、```pythonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.svmimportSVCfromsklearn.feature_extraction.textimportTfidfVectorizerimportpandasaspd#假設(shè)dfDataFrame包含'comment'（評論）和'sentiment'（情感標(biāo)簽：positive/negative/neutral）列#假設(shè)sentiment_labels=['positive','negative','neutral']是所有可能的標(biāo)簽列表#讀取數(shù)據(jù)（示例）#df=pd.read_csv('sentiment.csv')#示例文件名#分詞和TF-IDF向量化vectorizer=TfidfVectorizer(tokenizer=lambdax:jieba.cut(x),token_pattern=None,preprocessor=lambdax:''.join([cforcinxifc.isalnum()orc.isspace()]),stop_words=stopwords_list)#假設(shè)stopwords_list已準(zhǔn)備好X_tfidf=vectorizer.fit_transform(df['comment'])y=df['sentiment']#劃分訓(xùn)練集和測試集X_train,X_test,y_train,y_test=train_test_split(X_tfidf,y,test_size=0.2,random_state=42,stratify=y)#訓(xùn)練SVC分類器svm_classifier=SVC(kernel='linear')#使用線性核svm_classifier.fit(X_train,y_train)```解析：與第四題類似，導(dǎo)入所需庫。準(zhǔn)備包含評論`comment`和情感標(biāo)簽`sentiment`的數(shù)據(jù)集`df`。使用`TfidfVectorizer`對評論進(jìn)行向量化。準(zhǔn)備好特征`X_tfidf`和標(biāo)簽`y`。使用`train_test_split`劃分訓(xùn)練集和測試集，`stratify=y`保證標(biāo)簽分布。創(chuàng)建`SVC`實例，指定`kernel='linear'`使用線性核（適用于高維稀疏數(shù)據(jù)）。使用訓(xùn)練集`X_train`,`y_train`訓(xùn)練模型。八、```pythonfromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score#假設(shè)svm_classifier已從第七題準(zhǔn)備好，X_test,y_test也已準(zhǔn)備好#使用模型進(jìn)行預(yù)測y_pred=svm_classifier.predict(X_test)#計算評估指標(biāo)accuracy=accuracy_score(y_test,y_pred)precision=precision_score(y_test,y_pred,average='macro')#'macro'處理多類平均recall=recall_score(y_test,y_pred,average='macro')f1=f1_score(y_test,y_pred,average='macro')#展示結(jié)果print(f"Accuracy:{accuracy}")print(f"Precision:{precision}")print(f"Recall:{recall}")print(f"F1Score:{f1}")```解析：與第五題類似，導(dǎo)入評估函數(shù)。使用訓(xùn)練好的`svm_classifier`對測試集`X_test`進(jìn)行預(yù)測，得到`y_pred`。計算準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)。在多類（3類）場景下，指定`average='macro'`進(jìn)行平均。最后打印出評估指標(biāo)結(jié)果。九、```pythonfromtransformersimportpipeline,AutoTokenizerimporttorch#可能需要#預(yù)定義句子sentence="這家餐廳的服務(wù)非常好，食物也很美味。"#選擇預(yù)訓(xùn)練模型（確保模型名稱正確）model_name="distilbert-base-chinese-sentiment"#加載預(yù)訓(xùn)練模型和分詞器tokenizer=AutoTokenizer.from_pretrained(model_name)model=pipeline("sentiment-analysis",model=model_name,tokenizer=tokenizer)#進(jìn)行情感分析result=model(sentence)#提取并展示結(jié)果#result通常是一個包含字典的列表，例如[{'label':'POSITIVE','score':0.9998...}]label=result[0]['label']score=result[0]['score']print(f"Sentiment:{label},Confidence:{score:.4f}")```解析：導(dǎo)入`transformers`庫中的`pipeline`和`AutoTokenizer`。定義要分析的中文句子。指定要使用的預(yù)訓(xùn)練模型名稱（例如`distilbert-base-chinese-sentiment`）。使用`AutoTokenizer.from_pretrained`加載對應(yīng)的分詞器。使用