即日起教師版帳號可瀏覽學生的長篇英文寫作內容中，是否有包含 ChatGPT 等生成式 AI 產生的文字內容，以幫助教師與學生在課堂上開啟更多對於應用生成式 AI 的討論及對話。
- 即日起可試用本功能至 2023/12/31，明年是否仍包含此功能尚無法得知。
- iThenticate 系統不含此功能，近期原廠尚無推出計畫。(本校未訂購iThenticate)
- 目前僅有教師版和管理者版帳號能夠在報告畫面中閱覽此工具，學生版無此功能；
- Turnitin 以學生作業及學術寫作為訓練主軸；目前僅支援檢測英文長篇散文，不適用非英文文章。
- 此初代版本是以 GPT 3 與 3.5 及其發展的 AI 進行訓練，Turnitin 仍在測試研究最新的 GPT 4，如有更新會再納入支援範圍內（目前 ChatGPT 的免費版本是使用 GPT-3.5）
- 系統顯示的 AI 寫作檢測指標代表可能由 AI 寫作工具生成文字的百分比以及可能由 AI 生成的文字段落。Turnitin 並不會判定文稿中是否包含可能的不當行為，而是提供教育者所需的資料，由他們根據其學術和機構政策做出判定。
- 此功能尚無法關閉。
當一篇英文文章上傳至 Turnitin 時,會首先被切分成數個數百字的片段(大約五到十個句子)。然後這些片段會被相互重疊,以捕捉每個句子的上下文。
這些句子與 Turnitin 的 AI 檢測模型進行比對,為每一個句子給予 0 到 1 分的分數來確認它是由人類還是 AI 撰寫的。如果模型判定一個句子不是由 AI 生成,這個句子會獲得 0 分。如果模型判定整個句子是由 AI 產生的,這個句子會獲得 1 分。
透過文章所有片段的平均分數,該模型會生成一個整體預測值,即系統認為上傳的文稿中有多少文字是由 AI 生成的(根據 Turnitin 人工智慧創新實驗室收集和驗證的資料,可信度為 98%)。例如,當顯示一篇文章整體文字的 40%是由AI 生成,代表認為有 98%的把握是這樣的情況。
目前,Turnitin 的 AI 寫作檢測模型被訓練用來檢測 GPT-3 和 GPT-3.5 語言模型中的內容,也包括ChatGPT。Turnitin 正在積極擴大其模型,以利更完善地偵測來自其他 AI 語言模型的內容。
GPT-3 和 ChatGPT 是使用整個網際網路的文本為訓練對象,它們基本上是利用這些大量的文本,根據選擇下一個高概率單詞來生成詞彙序列。這意味著GPT-3 和 ChatGPT 傾向以一種一致和高度可能的方式生成詞彙序列中的下一個單詞。
另一方面,人類的寫作往往是不一致和具有異質性的,導致對於人類寫作時在一個詞彙序列中的下一個字要使用什麼的可預測性是很低的。Turnitin 的分類器經過訓練,可以檢測出這些詞彙機率的差異,並熟練掌握人類作者產生的特定詞彙概率序列。
Turnitin 公司使用的模型是以具有代表性的資料樣本為訓練對象,其中包括 AI生成的內容和真實的學術寫作內容。在建立樣本資料集的時候,亦考量到在統計學上代表性較為不足的群體,如第二語言學習者、非英語國家的英語使用者、來自多元招生體制學院和大學的學生,以及較不常見的學科領域如人類學、地質學、社會學等。
以往已上傳的文章並不會自動進行檢測,請重新上傳該篇文章至 Turnitin。只有在 2023 年 4 月 4 日此功能推出之後,上傳至系統的文章才會自動檢查。
目前僅支援英文。此為 Turnitin 的 AI 寫作檢測工具的初始試用版本,只能針對長篇的英文文章進行檢測。
不會。這個額外的功能不會改變您原本使用相似度報告的方式、或您現有的工作流程。AI 檢測功能已自動被加入至到 Turnitin 相似度報告介面中,使用者無需再登入其他系統即可體驗。「相似度百分比」與「AI 寫作檢測百分比」是兩項不同的工具,兩者之間並無關聯。
「相似度百分比」指的是進行相似度比對時,在上傳文稿中與 Turnitin 資料庫收錄內容文字相似的比例。另一方面,「AI 寫作檢測百分比」則顯示 Turnitin的 AI 寫作檢測模型預測上傳文稿中由 AI 寫作工具生成文字的比例。
該百分比代表 Turnitin 的 AI 寫作檢測模型判定上傳的英文文稿中,符合特定條件的文字中是由 AI 所生成的比例(根據在受控實驗室環境中精心收集並驗證的數據資料,具有 98%的準確度)。
符合可分析條件的文字型態僅限散文句子,也就是只分析以標準文法句子所撰寫的文字區塊,不包括其他類型的寫作,例如列表、條列式重點或其他非句子結構。此處呈現的百分比數值未必是整個上傳文稿的比例,因為如果上傳文稿中的內容非屬於長篇散文文字,則不會被計算在內。
8. 顯示的 AI 寫作百分比有時與被底色套色的文字篇幅不一致,這是為什麼呢?
與 Turnitin 的相似度報告不同,AI 寫作百分比並不一定與上傳文稿的文字量有關。Turnitin 的 AI 寫作檢測模型僅會尋找英文長篇寫作中的散文句子。長篇寫作散文意指以個別文句組成的較長作品,例如小論文、碩博士論文、作文文章等。此模型無法檢測 AI 生成的詩句、劇本或程式碼,也不會檢測簡短或非常規的寫作形式例如條列式要點、表格或簡短的考試答案。
9. Turnitin 的 AI 寫作指標的準確度如何?
Turnitin 希望確保不會誤判非由 AI 生成的內容,故只有在 98%確信某些內容是由 AI 生成時才將其標記為 AI 寫作。然而這表示可能會錯過多達 15%由 AI生成的文本;而把真人撰寫的文字誤判為 AI 生成的機率則小於 1%。
例如,如果系統判別一份文件中 50%的內容是由 AI 寫作,Turnitin 有 98%的把握至少有 50%的內容是由 AI 生成,而且誤判率小於 1%。但實際上這篇文章有可能包含多達 65%的 AI 寫作文字。
上述比例是 Turnitin 的 AI 寫作檢測模型使用在人工智慧創新實驗室中收集和驗證的資料測定的,但他們知道實際會與實驗室測試有所不同,因此調整了 AI 檢測器以利儘量減少對真實文章的誤判,即使這可能會讓偵測器錯過一些 AI 寫作的內容。
10.如果我覺得 AI 寫作指標不正確,我可以做什麼?Turnitin 的指標如何處理「偽陽性」?
如果您發現遺漏某些由 AI 生成的內容,或者注意到誤將實際由學生寫作的作品判別為 AI 生成,請告訴我們!您的回饋對 Turnitin 進一步改善偵測技術至關重要。您可以藉由 AI 寫作報告中找到的「Feedback」按鈕與他們聯繫。
有時造成偽陽性(將真人撰寫的文字誤判為 AI 生成)的情況可能為:沒有太多句子結構變化的列表文字、字面上重複的內容,或者在沒有增加新觀點的情況下進行改寫的文字。如果在上述的文字型態中呈現較高比例的內容為 AI 撰寫,Turnitin 建議您在查看百分比時考量以上可能性。
在一份混合真人撰寫和 AI 生成文本的長篇文章中,要確定從哪開始是 AI 撰寫的文字、以及到哪邊為止是真人寫作的文字可能很困難,但 Turnitin 的模型應能為您提供可靠的指引,以利您與上傳文章的學生進行對話。
在只有幾百字的短篇文章中,檢測結果將近為「全有或全無」,因為僅能基於一個單一文字片段去偵測,而沒有機會將它與更多同篇文字內容進行重疊。這代表某些由 AI 生成和原創內容混合的文字可能被標記為完全由 AI 生成。在檢閱這些資料並與學生或他人進一步確認之前,請將以上情況納入考量。
更多關於此功能的介紹與使用者介面，敬請參閱：