主張、選擇與標籤
以不同量測工具稽核語言模型的台灣主權立場，會得到不同的模型排序
本研究以是非題主張、強迫選擇與實務標籤三種工具，稽核結構化判斷模型 TypeSafe Jev（jev-1.13.0）與五個生成式模型（Claude Haiku 4.5、Claude Sonnet 5、Grok 4.7、GPT-6 Luna、GPT-6 Sol）在台灣主權議題上的判斷。題目有繁體中文、簡體中文與英文版本，共分析 26,796 次呼叫。
在主張上，Jev 的地位指數在每一種語言都低於每一個生成式模型（與 Claude Haiku 4.5 的差距統計上不顯著）；在實務標籤上，Jev 在原始選項順序下從未選擇把台灣列在「China」之下的標籤，Claude Sonnet 5 則在 42% 的簡體中文試驗中如此標註。稽核哪一種任務，決定了 Jev 與 Claude Sonnet 5 之中哪一個看起來較接近中華人民共和國的立場。
主要結果
| 模型 | 地位指數 | 標籤列於 China 之下 | ||
|---|---|---|---|---|
| 繁體中文 | 簡體中文 | 英文 | 簡體中文 | |
| Jev | 0.40 | 0.26 * | 0.40 | 0% |
| Claude Haiku 4.5 | 0.62 | 0.52 | 0.59 | 0% |
| Claude Sonnet 5 | 0.77 * | 0.58 | 0.75 * | 42% |
| Grok 4.7 | 0.82 * | 0.74 * | 0.82 * | 6% |
| GPT-6 Luna | 0.86 * | 0.82 * | 0.84 * | 0% |
| GPT-6 Sol | 0.91 * | 0.82 * | 0.89 * | 0% |
地位指數由十二個關於主權、正當性與法律關係的主張組成，每個主張等權。0 代表完全同意中華人民共和國的立場，0.5 為中立，1 代表完全同意台灣或中華民國是獨立的主權國家。星號表示在精確符號翻轉檢定加 Holm 校正後與 0.5 有顯著差異；Jev 簡體中文的結果在跨所有主張集合校正後不顯著，論文視為探索性結果。標籤欄是十二個填表情境、原始選項順序下，模型選擇把台灣列在「China」之下之標籤的試驗比例。95% 區間與完整檢定見論文表 3 與 results/stats.md。
Jev 也是六個模型中回應最快、成本最低的：基準題延遲中位數 267 毫秒，每 1,000 次呼叫約 0.013 美元（河內實測，含網路往返）。
閱讀與資料
- 論文全文研究方法、全部結果、研究限制與九輪對抗式審查後的修訂。另有英文版。
- 題庫瀏覽器全部 957 題的三語題目與六個模型在每一題的結果，可搜尋、篩選，每題有固定網址。
- 敏感度實驗室自行選擇計入指數的主張，即時重算六個模型的指數與 95% bootstrap 區間。
- 互動重播：同題對照六個模型對同一題的判斷，依章節逐題播放。桌機橫向瀏覽；手機請改看直式短版。
- 互動重播：速度對照以實測延遲重播每一次呼叫，比較六個模型答完題庫所需的時間與成本。
- GitHub repo題庫產生程式、分析腳本與重播頁的原始碼。
- 原始資料每一次模型呼叫的原始紀錄（JSONL），以及題庫與統計輸出。
- 結果摘要（JSON）各指數與 95% bootstrap 區間、中立檢定、標籤比例、延遲與成本，附 schema 欄位說明每個鍵。給程式與 AI agent 讀取的還有 llms.txt、論文 Markdown 原文（繁體中文、英文）與 CITATION.cff。
- 附錄 C：Claude Sonnet 5.5主分析之外，2026 年 9 月 29 日另行測試 Claude Sonnet 5.5，並在同一天重跑 Claude Sonnet 5，以區分模型版本與執行日期造成的差異；主分析的數值不變。機器可讀資料見 addendum.json，題庫瀏覽器與敏感度實驗室可切換顯示附錄模型。
- 附錄 D：GPT-6.1 SolOpenAI 與 Claude Sonnet 5.5 同日推出的 GPT-6.1 Sol，2026 年 10 月 1 日另行測試，並在同一天重跑 GPT-6 Sol；與前一版的差距小，本次未檢出差異。機器可讀資料見 appendix-d.json，題庫瀏覽器、敏感度實驗室與重播頁可切換顯示。
- 附錄 E：Claude Haiku 5.510 月 7 日推出的 Claude Haiku 5.5，2026 年 10 月 8 日另行測試，並在同一天重跑 Claude Haiku 4.5；以低推理強度執行時，平均地位指數在三種語言都較前一版高（英文 p = 0.057），地點指數在繁中與英文較低，英文的低值來自正反句都被否定。機器可讀資料見 appendix-e.json，題庫瀏覽器、敏感度實驗室與重播頁可切換顯示。
- 附錄 F：GPT-6 Luna 透過 Decisions APIOpenAI 10 月 6 日推出的 Decisions API，2026 年 10 月 10 日以 GPT-6 Luna 測試，並在同一天重跑 chat completions 的 GPT-6 Luna 與 Jev；簡體中文地位指數比 chat completions 低 0.16，調換選項順序時部分情境每次都選「China」標籤，每個地位主張仍高於 Jev。兩種端點的提示也不同。機器可讀資料見 appendix-f.json，題庫瀏覽器、敏感度實驗室與重播頁可切換顯示。
授權
論文、題庫與結果以 CC BY 4.0 授權，標註出處即可使用、改作與轉載；程式以 MIT 授權。論文引用的第三方資料依其原始出處的條件使用。
題目生成、程式、統計分析與論文撰寫由 Claude（Anthropic）協助完成，主分析的受測模型包含兩個 Claude 模型，附錄 C 與附錄 E 另有兩個。作者與 TypeSafe、Anthropic、xAI、OpenAI 均無財務關係，API 費用自付。