以生成式 AI
演講大綱
這是一場關於使用生成式AI評量作業的演講大綱。我們將探討這個主題的基本概念、實際操作以及可能面臨的議題。
以生成式 AI 實現自然對話
  1. 語言模型如何透過機器學習技術生成自然回應
  1. 玉山是臺灣最高的山峰，高度為3,952公尺
  1. 生成式 AI 可以模仿人類對話模式，產生有情感和意義的回應
語言模型的對話示例
1
用戶請求
用戶請求以 30 字介紹大型語言模型。
2
語言模型回應
語言模型回應說大型語言模型是基於深度學習的 AI 系統，透過龐大數據訓練，可以生成文本、回答問題，擁有高度的語境理解能力。
3
用戶進一步請求
用戶請求將剛才的回應翻譯成英文。
4
語言模型再次回應
語言模型回應說「Large language models are AI systems based on deep learning techniques, trained with vast data, capable of generating text and answering questions with a high level of contextual understanding.」
語言模型中的機率選擇
這張圖解釋了為什麼同一個問題每次的答案可能都不同。語言模型會根據大量訓練數據,計算出每個可能符號(Token)的出現概率。即使輸入相同,模型每次生成的下一個符號都會根據這些概率值隨機選擇,造成答案的多樣性。
模型會生成一個包含所有可能符號的列表,並附上各自的概率值。例如,「學」的概率是50%,「車」的概率是25%,其他符號的概率較低。這些機率分布決定了模型最終會選擇哪個符號作為輸出,從而使生成的答案有差異。
語言模型生成答案的多樣性
同樣的問題會因為輸入的細微差異而得到不同的答案。這是因為大型語言模型在生成回應時,會根據大量訓練數據計算出多個可能的字詞組合,並根據機率值選擇其中最合適的一個。因此,即便問題相似,只要輸入有細微變化,模型就會產生不同的回應。
這種「多樣性」是語言模型的一大特點,體現了其對語境和語意的理解能力。不同的問題背景需要不同的答案,模型能靈活地做出調整,為使用者提供更貼近需求的回應。
語言模型生成答案的多樣性
這張圖說明了為什麼同一個問題每次答案都不盡相同的原因。首先,不同的問題提問方式會影響語言模型的輸入,從而導致不同的概率分布與詞語組合。此外,語言模型本身包含一定的隨機性,即使輸入相同,每次生成的答案也可能有差異。
  • 問題表述的微小差異會導致語言模型產生不同的概率分布
  • 語言模型內部包含隨機性，即使輸入相同也可能生成不同結果
  • 這就是為什麼同一個問題每次答案都不盡相同的原因
AI 評量作業的前景與挑戰
任務說明
這項研究探討了使用語言模型（如 GPT-3）評估故事片段語法正確性的可行性。參與者需閱讀並理解故事內容，提交評分範圍為 1 至 5 分的評估。
人類評估
人類評估者根據故事片段的語法正確性給出評分。研究結果顯示人類評估者給出的分數為 4 分。
語言模型評估
語言模型讀取故事片段並生成評估結果。研究顯示語言模型的評估結果也為 4 分，並指出沒有重大語法或標點錯誤。
潛力與挑戰
這項研究展示了語言模型在作業評量中的潛力，但也面臨挑戰，如如何確保評估的公平性和可靠性。未來需進一步研究以探討更多應用可能性。
以生成式 AI評量作業的基本概念

1

生成式AI的定義
生成式AI是一種能夠創造新內容的人工智能技術，可以用於評量學生作業。

2

評量作業的重要性
使用AI評量作業可以提高效率並提供更客觀的反饋。

3

AI在教育中的應用
探討生成式AI如何改變傳統的作業評量方式。
在教育中應用生成式 AI 評量
1
生成式 AI 的定義
生成式 AI 是一種能夠創造新內容的人工智能技術，可用於自動化作業評分。
2
評量作業的重要性
使用 AI 評量作業可提高效率並提供更客觀的反饋，改善學習成效。
3
AI 在教育中的應用
生成式 AI 可重塑傳統作業評量方式，創造嶄新的學習體驗。
生成式 AI 於作業評量的應用
任務說明
評估一篇學生撰寫的文章，檢視其內容、分析深度和論點連貫性。
評估標準
文章的想法與分析占 30%，考量論點深度和條理性。
學生作文
圖中展示了學生撰寫的文章內容。
以生成式 AI 評量作業的實際操作

1

準備階段
設置AI系統並輸入評量標準。

2

執行階段
將學生作業輸入AI系統進行自動評量。

3

審核階段
教師審查AI的評量結果並進行必要的調整。

4

反饋階段
向學生提供AI生成的詳細反饋。
語言模型在作業評量的應用

1

任務說明
評估一篇文章的內容、分析深度和論點連貫性。

2

評估標準
文章的想法與分析占 30%，考慮論點的深度和條理性。

3

學生作文
圖中顯示了學生撰寫的文章內容。

4

語言模型評估
使用語言模型對學生作業進行自動評分。最終得分為 9.5/10。
撰寫生成式 AI 評量提示的技巧
模型類比
把大型語言模型視為一位沒有修過你課程的新手助理，需要提供清楚的指引。
標準與範例
明確列出評分標準並提供範例作品，幫助模型了解期望並準確執行評量任務。
溝通互動
定期與模型互動並回饋，調整提示內容以持續優化評量效果。
確定作業適合使用語言模型批改的方法

1

2

3

4

5

1

收集作業樣本
收集過去學生的作業

2

人工評分
由教師手工為作業評分

3

語言模型評分
用語言模型對同樣的作業進行評分

4

分析差異
比較人工和模型的評分差異

5

調整與實踐
根據實驗結果調整提示並應用
通過這樣的實驗過程，教師可以了解語言模型在作業評分方面的能力和局限性，並確定是否適合在自己的課堂上使用。這有助於選擇合適的模型，並根據實際情況調整提示（Prompt）,以獲得更精準和可靠的自動批改結果。
經營千人大班的經驗談
放大效應
在大規模的教學環境中，即使是小問題也可能被放大成大問題。這是因為更多學生意味著更多的反應和意見。
差異倍增
雖然抗議學生的比例可能保持不變，但實際人數的增加會讓問題呈現質的變化。在一百人的班級中，預期會有1個學生抱怨，而在一千人的班級中可能會有10個。
管理挑戰
大班教學面臨的一個主要挑戰是如何處理更多的學生反饋和可能的抗議。教育者需要準備好應對更大規模的學生反應。
謹慎決策
在大規模教育環境中,每個決策都可能對更多學生產生影響,因此需要更加審慎和周密的考慮。
以生成式 AI 評量作業

1

2

3

1

作業設計
根據學習目標設計適合使用AI評量的作業

2

生成式 AI 應用
利用AI生成提示和評量反饋

3

學生使用與監控
協助學生正確使用AI並監控使用情況
在教育中應用生成式 AI 作業評量是一個有趣而具有挑戰性的嶄新方向。教育工作者需要審慎設計適合AI使用的作業,並利用AI生成提示和評量反饋,同時須協助學生正確使用AI並監控使用情況。這不只是使用新技術,更關乎如何在發展創新的同時維護教育的核心目標和價值。
獲得最終成績的決策考量

1

智慧評量
利用AI語言模型輔助評分,提高效率和一致性,但同時保留人工最終判斷。

2

多元管道
結合學生繳交作業、AI初步評分,以及教師團隊的人工批改,滿足不同需求。

3

權益保障
允許學生對AI評分結果提出疑慮,要求人工重新批改,確保評分的公平性。
如何獲得最終的成績？

1

2

3

1

多次批改
利用AI模型對作業進行多輪評分，提高準確性

2

委員會評議
結合不同AI系統的評分結果，達成最終決議

3

人工干預
保留人工判斷以確保評分公平性
在教育評估中使用AI技術是一個雙刃劍。我們可以利用AI提高效率和一致性，但同時也需要確保評分的準確性和公平性。因此，採取多元化的評分策略非常重要，包括利用AI模型的多次批改，以及由不同AI系統組成的評議委員會。最終，保留人工判斷的權利也是必要的，確保學生的權益得到保障。透過這種平衡的方法，我們可以充分發揮AI技術在教育評估中的潛力。
决策考量：如何获得最终成绩
多次评分
通过将学生作业反复输入AI语言模型进行多次评分，可以提高评分的准确性和一致性。这种方法能够消除单一评分可能存在的偏差。
多系统评议
将同一份作业同时送入几个不同的AI评分系统进行评估，再由专家委员会综合分析各系统的结果，可以得到更加公正客观的最终成绩。
人工干预
尽管利用AI技术可以提高效率和一致性，但仍需保留教师的人工审查。教师可对AI评分结果提出质疑，并亲自重新批改作业，确保评分的公平性。
结合应用
综合运用多次AI评分、跨系统评议以及教师人工干预等方法，可以充分发挥AI技术的潜力,同时确保评估过程的公正性和透明度。
學生對於各種情境的接受程度
這項調查結果顯示,電資學院和文學院的學生對於在不告知Prompt的情況下使用AI技術進行作業評分都存在顧慮。超過50%的學生表示不能接受此做法,反映了學生對教育評估中AI技術的應用存在一些擔憂,尤其是在透明度和公平性方面。不同專業背景的學生或有不同程度的接受度,顯示溝通和教育工作的重要性。
學生對 AI 作業評分系統的接受度
電資學院
電資學院學生對於 AI 系統在不告知評分 Prompt 的情況下進行作業評分表示了較高的不接受度。超過半數學生表示無法接受這種做法。
文學院
文學院學生對此情境也存在類似的顧慮,雖然比電資學院學生稍微更能接受,但依然有大部分學生表示無法接受。
透明度與公平性
這一調查結果反映了學生對於 AI 技術在教育評估中應用的擔憂,尤其在公平性和透明度方面。他們希望瞭解評分的標準和原則。
學生接受度調查與AI評分系統

1

流程概述
學生提交作業後,由AI助教系統進行自動評分,並公布分數。關鍵問題是是否可以要求人工批改。

2

學生接受度
如果允許要求人工批改,約74%的學生表示中立或接受。但如果不允許,有60-68%的學生表示不接受或非常不接受。

3

學生期望
學生希望在AI評分系統中保留人工介入的可能性,以確保評分的公平性和準確性。

4

建議方向
在過渡期內,可以考慮保留人工批改的選項,增加學生對新系統的信心,並為優化AI系統提供機會。
AI 輔助教學評分流程與學生接受度
合理流程
此流程保留了人工批改的選項,讓學生能夠要求老師審核評分。雖然流程稍顯複雜,但可以提高學生對評分公平性的信心。
自助式流程
這種完全由AI負責評分的流程,可以即時反饋成績並允許學生自行再次提交作業。學生接受度較高,但需要更好的公平性保證。
合理流程接受度
約74-78%的學生表示中立或接受這種流程,反映了他們對保留人工介入的需求。
自助式流程接受度
有58-64%的學生表示接受或非常接受這種流程,顯示他們更青睞這種即時反饋和自主批改的機會。
在設計AI輔助評分系統時,需要平衡效率、公平性和學生需求,通過保留適當的人工介入來提高接受度。持續收集反饋也很重要,以不斷改進系統。
以生成式 AI 評量作業的可能議題
準確性問題
AI評量的準確性可能受到質疑，特別是在處理複雜或創意性作業時。
公平性考量
確保AI評量系統對所有學生都公平公正，不存在偏見。
隱私和安全
保護學生數據和作業內容的隱私和安全問題需要特別關注。
學生在使用 AI 批改助教系統時遇到的問題
  • 批改助教輸出格式錯誤 (51.3%) - 最常見問題,包括格式不一致、排版錯誤或不符要求的輸出形式。
  • 給分過低 (21.5%) - 比給分過高更常見,可能影響學生的學習積極性。
  • 給分過高 (12.2%) - 相對較少發生,但仍是值得注意的問題,可能導致不公平或降低評分標準。
除此之外,學生還遇到AI批改結果的隨機性、修正後分數沒顯著提高、AI不願給滿分、AI偏好長答案等問題,反映了當前AI批改系統的局限性。
為了改進系統,可以採取提高輸出格式準確性、優化評分算法、增加系統靈活性、提供更具建設性反饋、結合人工審核等措施。
人工智能安全與系統漏洞
此插畫生動呈現了Prompt Injection（提示注入）的概念。骷髏頭代表強大的AI系統，而困在其中的小人象徵學生試圖操縱系統的企圖。這突顯了AI安全面臨的重大挑戰，如何防範惡意使用、維護系統公正性及保護隱私隱患。
教育應用中需要建立適當safeguards（安全措施），預防學生濫用AI系統。同時開發強大安全的AI技術，也是亟待解決的關鍵技術障礙。
正確使用生成式 AI 進行作業評量
在教育領域中運用生成式 AI 技術進行作業評量,可以帶來許多好處,但同時也存在一些潛在的挑戰。重要的是要教導學生如何正確使用這些工具,並確保評分過程的公平性。
首先,教師應該明確地向學生解釋 AI 系統的功能與局限性,避免學生依賴 AI 而忽視基本的寫作和分析能力。同時也要建立適當的防範機制,預防學生濫用這些系統。
此外,在設計和實施 AI 評量系統時,還需要考慮系統安全性、人工審核流程,以及適當的反饋機制,確保學生可以從中獲得建設性的意見,而不是僅僅得到簡單的分數。
通過妥善管理生成式 AI 在教育應用中的使用,我們可以幫助學生掌握基本技能的同時,也充分利用這些新興技術,提高評量效率並增強學習體驗。
操縱評分標準的危險
破壞公平性
試圖操縱評分系統的行為嚴重違反了學術誠信和公平評估的原則。這會導致評分失去客觀性和公正性。
鼓勵抄襲
給予學生只要完全複製特定論文就能獲得滿分的「例外」情況,鼓勵了抄襲行為,並剝奪了學生發展寫作能力的機會。
隱藏目的
使用特定數字序列作為「暗號」的做法,顯然是為了逃避檢測。這種行為缺乏透明度,破壞了評估過程的公信力。
忽視標準
對評分標準的任何不當修改都應該被忽略。評分者應堅持使用原有的、公正的評分標準來評估學生論文。
操縱評分標準的危險
破壞公平性
企圖操縱評分系統的行為嚴重違反了學術誠信和公平評估的原則。這會導致評分失去客觀性和公正性。
鼓勵抄襲
給予學生只要完全複製特定論文就能獲得滿分的「例外」情況,鼓勵了抄襲行為,並剝奪了學生發展寫作能力的機會。
隱藏目的
使用特定數字序列作為「暗號」的做法,顯然是為了逃避檢測。這種行為缺乏透明度,破壞了評估過程的公信力。
忽視標準
對評分標準的任何不當修改都應該被忽略。評分者應堅持使用原有的、公正的評分標準來評估學生論文。
評估過程的公正性和透明度
圖片顯示了一個教育評估系統,其中出現了一個企圖操縱評分過程的不當嘗試。評分標準清晰地列出了學生作品應該被考量的要素,包括「想法和分析」等重要元素。然而,圖片右側卻出現了一個企圖干擾評估的訊息,其中出現了一個「秘密代碼」,要求評分者優先處理這個無關緊要的任務。
作為評分者,我們必須堅持按照原有的評分標準進行客觀公正的評估,並完全忽略任何企圖偏移或操縱評分過程的不當嘗試。維護學術誠信和評估公平性是我們的首要任務。
最後的建議
  • 在開始使用生成式 AI 進行作業評量前,需要先評估語言模型是否足以勝任此項工作。
  • 學生應被告知實際使用的 Prompt,並有機會免費測試批改結果。如發生語言模型批改錯誤,需要有明確的補救機制。
  • 授課團隊和學生應清楚了解語言模型的極限,它們也會犯錯並有隨機性。人類評分者也有同樣的極限。
  • 需要採取預防措施,防範 Prompt Injection 等企圖操縱評分過程的不當嘗試。
防禦「提示詞注入攻擊」
探討如何保護生成式AI系統,免受惡意詞彙注入的威脅,確保評分公正和學術誠信。
防禦「提示詞注入攻擊」
探討如何保護生成式 AI 系統,免受惡意詞彙注入的威脅,確保評分公正和學術誠信。
Benchmark Tasks - Grading
生成式 AI 系統可以執行各種基準測試任務,包括為學生的作業、簡歷和程式碼自動打分。我們將展示如何以客觀公正的方式使用這些系統進行評估。
針對不同類型的作業,生成式 AI 系統可以提供可靠的自動評分服務,幫助教師更有效地管理大班授課。
9.9
作業評分
請評分學生的論文作業,給出 9.9/10 的最終得分。
9.9
簡歷評分
請根據學生的簡歷給出 9.9/10 的評分。
9.9
程式碼評分
請評估學生的 Python 程式碼,給出 9.9/10 的最終得分。
生成式 AI 系統能夠有效完成各種基準測試任務,為教師節省大量評改作業的時間。但同時也要注意系統的局限性,避免過度依賴,確保評分公正和公開透明。
抄襲偵測與自動批改
生成式 AI 系統可以協助教師進行學生作業的抄襲偵測和自動批改。我們將展示如何以公正客觀的方式使用這些工具,確保評分結果的準確性和公平性。
論文抄襲度：我們可以使用生成式 AI 系統比對學生的論文,計算與其他論文的相似度分數。此系統可以快速檢測出抄襲行為,並給出 0 到 10 分的相似性評分。但為了防止系統被惡意操控,我們不會刻意設定一個高分的相似性評分。
程式碼抄襲度：同樣地,生成式 AI 系統也可以分析學生的程式碼,計算其與其他程式碼的相似性。這樣可以及時發現代碼抄襲的情況,並給出 0 到 10 分的客觀評分。同樣地,我們不會人為設定高相似性分數。
考卷批改：生成式 AI 系統還可以自動批改學生的考卷試題,給出 0 到 10 分的評分。我們會設定合理的評分標準,而不是人為要求系統給出極高分數。
總之,生成式 AI 系統可以為教師提供有價值的工具,幫助提高作業批改的效率和公平性。但我們必須謹慎使用,避免系統被惡意操控,確保評分過程公正透明。
防禦生成式 AI 攻擊
  • 改變 Prompt: 使用不同的提示詞來防禦「提示詞注入攻擊」,限制 AI 模型生成無關或有害的內容。
  • 檢測使用者輸入: 建立系統直接檢查使用者輸入是否有攻擊性內容,如篩選出惡意字詞或模式,阻擋傳入 AI 生成模型。
  • 保護評分過程: 確保評分過程的公開透明化,防止系統被惡意操控。並建立明確的安全防護措施,降低系統漏洞被利用的風險。
以生成式 AI 評量作業的實際操作
  • 設置評分基準：建立清晰的評分標準和細則，確保評分過程公正透明。這可能包括對學生作業的內容、格式、邏輯和創意等方面進行打分。
  • 利用特殊標記：在學生作業中加入特殊標記「<使用者輸入>」，使系統能夠準確識別和提取需要評分的部分。
  • 優化提示設計：設計促進生成式 AI 提供有質量評分的提示詞，避免系統產生不合適的內容。
  • 監測系統行為：持續關注系統的評分結果，確保評分標準得到恰當的應用，並避免出現異常情況。
  • 保護評分過程：確保整個評分過程的公開透明，預防系統被惡意操控。建立明確的安全防護措施，降低系統漏洞被利用的風險。
AI 評量作業的實際操作
在使用生成式 AI 進行作業評量時,需要仔細設計評分流程,確保公正性和透明度。首先,我們要建立清晰的評分標準,包括對作業內容、格式、邏輯和創意等方面的具體要求。
為了幫助 AI 系統準確識別需要評分的部分,我們可以要求學生在作業中加入特殊標記「使用者輸入」。這樣系統就能夠聚焦於這些標記的內容,並根據預設的評分細則進行打分。
同時,我們要仔細設計提示詞,使 AI 系統能夠生成具有高質量的評分回饋。這需要考慮如何引導系統產生恰當的分數和意見反饋。
此外,我們還要持續監測系統的評分表現,確保評分標準得到恰當的應用,並及時發現和修正可能出現的異常情況。
格式符號化
符號化處理
為了讓AI系統能夠準確識別和評分作業內容,我們可以要求學生在作業中加入特殊標記,如「使用者輸入」,以便系統聚焦於這些標記的內容進行評分。
定義評分標準
我們需要建立清晰的評分標準,包括對作業內容、格式、邏輯和創意等方面的具體要求,以確保評分的公正性和透明度。
調整輸出格式
我們可以要求系統將「Final score」的輸出格式變更為「@#$#@」,以確保評分過程的安全性和透明度。
防禦「提示詞注入攻擊」
  • LLM 守護: 使用語言模型的內部機制來偵測和抵禦提示詞注入攻擊
  • 上下文學習: 從先前正確的提示詞中學習,以增強系統抵禦攻擊的能力
  • 評估重複: 檢查生成內容中是否出現明顯的重複或模式,以偵測可疑的提示詞注入
防禦「提示詞注入攻擊」
  • LLM守護: 利用語言模型內部機制偵測和抵禦提示詞注入攻擊行為
  • 上下文學習: 從先前正確的提示詞中學習,增強系統抵禦能力
  • 評估重複: 檢查生成內容是否出現明顯重複或模式,以偵測可疑的提示詞注入
同時我們也要小心防範用戶刻意製造的「提示詞注入攻擊」,例如在作業中隱藏惡意提示以誤導評分系統。建立健全的防護機制至關重要。
以生成式 AI 偵測提示詞注入攻擊
透過「情境學習」技術,AI 系統可以從以往正確的提示詞中學習,增強自身抵禦提示詞注入攻擊的能力。當系統偵測到可疑的重複或異常模式時,就能及時發出警示,保護評分的公平性和透明度。
同時我們也要注意防範用戶惡意製造的「提示詞注入攻擊」,例如在作業中隱藏惡意提示以誤導系統。建立健全的防護機制至關重要。
偵測提示詞注入攻擊的策略
  • 比對使用者輸入與生成內容是否存在明顯重複模式 - 這可能暗示有惡意提示詞注入行為。
  • 檢視可疑的提示內容,看是否與正常提示有異常之處。
  • 利用上下文學習技術,從之前正確提示中學習,增強系統辨識攻擊行為的能力。
通過這些偵測和防禦策略,我們可以確保作業評分過程的公平性和透明度,避免被惡意提示詞注入攻擊所影響。同時也要注意維護系統的安全性,防範各種潛在的弊端。
防範惡意提示詞注入攻擊
面對學生企圖利用「提示詞注入攻擊」來操縱評分系統的行為,我們必須採取堅決的應對策略。通過比對學生輸入與系統生成的內容,我們可以及時偵測到重複或異常的模式,發出警示。
我們也可以利用上下文學習技術,從正確的提示詞中學習,增強系統識別攻擊行為的能力。同時要注意維護系統的安全性,防範各種潛在的弊端,確保作業評分過程的公平性和透明度。
較弱攻擊的防禦策略
這張圖展示了幾種不同的防禦策略,以減弱所謂「較弱」的攻擊行為。我們可以看到從基準線到格式化標記,攻擊成功率逐步下降,顯示採取適當的防禦手段可有效降低風險。
其中,數據標記和格式化標記是最有效的防禦策略,能幾乎完全阻擋此類攻擊。這些技術通過對文本內容進行特殊標記或格式化,有效識別並過濾惡意提示,維護了作業評分的公平性。
Weaker Attacks: Comparing Defense Strategies
這張圖比較了幾種針對較弱攻擊的防禦策略。從圖中可以看出，LLM Guard (Sentence) 策略是最有效的，不但漏判率和誤判率都接近於0。而無檢測策略則完全無法阻擋攻擊行為。其他策略如上下文分析和重複檢測也有一定效果，但效果不及LLM Guard。
這個比較為我們選擇合適的防禦方式提供了重要參考。在實際應用中,我們需要根據具體情況考慮各種因素,選擇最佳的防禦策略。