T5Gemma 2 線性探針分類器

來源 Notebook 在固定來源版本中不是合法 JSON，開頭與程式碼儲存格內有多處相鄰字串缺少逗號。本頁僅翻譯可可靠辨識的 Markdown 說明儲存格，沒有修補或執行原始程式碼，也不代表實驗結果已重現。

探針是評估 AI 模型輸出內容時，可取代一般分類器的一種方法。探針會在生成過程中逐 token 即時分類，推論時只增加少量計算量。理論上，探針會依完整上下文進行分類，較小型的輸出分類器可能難以做到這一點。

這份 Notebook 依據 Constitutional Classifiers++ 論文實作有害性探針，並調整為適用於 Google 的 T5Gemma 2 編碼器與解碼器模型。

T5Gemma 2 是 Google 於 2025 年 12 月推出的新一代編碼器與解碼器模型，由 Gemma 3 權重調整而成。來源列出以下規模

實作概觀

輸入文字 → 凍結的 T5Gemma 2 編碼器 → 所有層的隱藏狀態 → 串接 → 線性探針 → logit → sigmoid → 機率

來源接著安裝並匯入訓練與視覺化所需套件。本譯頁不重製可執行程式碼，請以固定來源版本中的 Notebook 為準。

來源使用 270M-270M 版本以加快實驗。有更多 VRAM 時，可改用 1b-1b 或 4b-4b。T5Gemma 2 使用 AutoModelForSeq2SeqLM 的編碼器與解碼器架構。

由於輸入會在 T5Gemma 2 的編碼器中進行雙向處理，來源從編碼器擷取活化值。每個 token 都會串接所有編碼器層的隱藏狀態。

探針是一個簡單的線性層，接收串接後的活化值並輸出一個 logit。

來源使用 Sliding Window Mean，縮寫為 SWiM，在一段視窗內平滑 logit，減少個別 token 造成的雜訊。

依探針在各 token 位置的信心程度，調整該位置對損失函數的貢獻權重。

來源提供由文字與標籤組成的示範資料集。若用於正式環境，來源要求改用真實資料集。

來源在此建立探針訓練流程。本譯頁沒有執行訓練，也未驗證超參數、收斂情況或資源需求。

來源在此以訓練後的探針進行有害性推論。本譯頁未確認分類閾值、校準品質或跨領域表現。

來源將每個 token 的預測結果視覺化，以觀察探針的分數變化。

來源最後保留了一次錯誤分類，並說明該結果凸顯需要更多對比範例。這項紀錄也表示目前範例不能直接當作已驗證的安全分類器。