AI-Stack Selenium 自動化測試 — 安裝與測試指南

版本:v1 (2026-06-25) · repo gitlab.infinitix.co:jefflinux/aistack-testautomation 對象:在「已安裝好的 AI-Stack」上,用 Selenium 做平台設定 + fixture 備齊 + 全覆蓋功能測試,並可串接 CI/CD。 範圍邊界:L0 安裝 + L1 平台設定(安裝後 5 步)由安裝器(ansible/install-tui)備好,不在本套件範圍;本套件從「裝好且設定好的站」開始 → check-assert L1 → 補 L2 test fixture → 功能測試。

1. 總覽

分層模型(artifact manifest):

L0 平台      = k8s + AI-Stack 已裝好          ← 安裝器(ansible/install-tui),套件只 check
L1 平台設定  = 超管/License/CloudProvider+    ← 安裝器「安裝後系統設定 5 步」/install-tui auto
              skyport/CloudRegion/Harbor         套件只 check-assert(2026-06-26 修正:非 Selenium)
L2 應用 fixture = golden01/測試專案/sel-* 規格 ← preflight ensure() 自動補(Selenium 真責任)
                 樣板/LDAP/MailHog/容器/cupy
功能測試     = 454+ QA case(opui/portal/...) ← pytest marker 分流跑
hw 物理硬體  = 單卡限制(ETHPC 多 worker≥2GPU) ← pending-hardware,標 reason 不偽造

2. 安裝(套件本身)

跑測試的機器 = VM80(已備好,通常不用重裝);以下為從零建環境的步驟。

2.1 前置

• Python 3.10+
• Google Chrome(Selenium Manager 自動抓對應 chromedriver)
• 能連到被測站(VM80 上 = https://10.20.12.80:8080 或 https://localhost:8080,self-signed cert)

2.2 取得 + 建環境(VM80)

ssh 80
cd ~ && git clone git@gitlab.infinitix.co:jefflinux/aistack-testautomation.git
cd aistack-testautomation
python3 -m venv .venv
./.venv/bin/pip install -r requirements.txt

deps pin(requirements.txt,權威):selenium==4.27.1 / pytest==8.3.4 / pytest-html==4.1.1。 ⚠️ VM80 已有專屬 .venv;勿污染 ixCSP 的 .venv-smoke。(註:現有 VM80 venv 的 runtime 版本可能高於 pin,以 requirements.txt 為安裝基準。)

2.3 設定(config.py / 環境變數)

3. Artifact / Fixture 安裝步驟與內容

「artifact」= 跑測試前該站必須具備的狀態(設定 / fixture)。原則:在就複用、缺就補到好、唯一非綠=實體硬體缺。落地 = preflight.py registry(manifest as data)+ conftest.py 的 ensure(artifact) fixture(依 deps 拓樸排序,check→缺則 provision→recheck)。

3.1 preflight 狀態檢視(read-only)

ssh 80 'cd ~/aistack-testautomation && PREFLIGHT_ON_VM80=1 ./.venv/bin/python -c "import preflight; preflight.check_all()"'
# 每個 artifact 印 ok / MISSING / ?(needs WebTerminal);read-only,不改站

3.2 目前 preflight.py ARTIFACTS(實況,17 keys — 與 source 對齊)

以下是 preflight.py 的 ARTIFACTS registry 實際 keys 與 provisioner 狀態(Codex 對齊 source 查核 2026-06-25)。✅自動=prov_ 已實作;⏳TODO=prov_ raise ProvisionTODO;手動=prov=None(缺則 RuntimeError,須手動 OpUI)。

3.2b L1/L2 責任分工(2026-06-26 修正:L1 是安裝器的,不是 Selenium)

🚨 修正:先前把 L1 平台設定列成「Selenium 待建 provisioner」是 scope 錯。官方 ansible installer「安裝後系統設定 5 步」+ install-tui auto 就是 L1 owner;Selenium 不重做,只 check-assert。

L1 = 安裝器責任(ansible 安裝後 5 步 / install-tui auto)— Selenium 只 check-assert,不 provision:

L2 = Selenium/preflight 真要 provision 的 test fixture:

所以 Selenium 的 P0 真正範圍只有上面 L2 那幾項(比原以為小很多);L1 缺 = 安裝器 5 步沒做完,走安裝器補,不是 Selenium 的事。

3.3 ensure 用法(測試內自動備齊前置)

# conftest 提供 ensure fixture;測試宣告依賴 → 自動 check→provision→recheck
def test_xxx(ensure, ...):
    ensure("container_seltfgpu01")   # 解 deps: project_golden→mls_template→spec→gpu_node→container

• 已驗:test_portal_interface 9 passed,log [ok] superuser / [ok] golden01(ensure 真跑、解依賴、session-cached)。
• Harbor 鏡像準備範例(已驗 pattern):

ssh 80 'sudo docker login 10.20.12.80:18080 -u admin -p Harbor12345 && \
  sudo docker pull <img> && sudo docker tag <img> 10.20.12.80:18080/library/<name>:<tag> && \
  sudo docker push 10.20.12.80:18080/library/<name>:<tag>'
# MLS/RCS 鏡像 picker 直讀 Harbor library/*(免 import-tool)

4. 測試執行步驟

4.1 Marker 分流(CI stage 對應)

pytest.ini 註冊 marker(實況 14 個):smoke login hermes opui portal v428gated batch3 gpu_load container_create rcs_deploy ethpc_cluster gpu_frac_verify gpu_shared_create gpu_mode_switch。

4.2 單檔 / 子集(前景,短)

ssh 80 'cd ~/aistack-testautomation && git pull -q && \
  BASE_URL=https://localhost:8080 ./.venv/bin/python -m pytest tests/<file>.py -o addopts="" -q'

4.3 Smoke gate

ssh 80 'cd ~/aistack-testautomation && BASE_URL=https://localhost:8080 ./.venv/bin/python -m pytest -m smoke -o addopts="" -q'
# 期望 1 passed,exit 0

4.4 全 suite(chunked,避 Chrome ~350-launch 天花板)

ssh 80 'cd ~/aistack-testautomation && bash scripts/run_full_suite_chunked.sh'
# file-by-file fresh process + 每檔 junit → scripts/aggregate_junit.py 聚合

-o addopts="" 清掉 pytest.ini 預設的 --junitxml=results.xml --html=report.html,避免並行搶檔。

4.5 收尾 cleanup(mutation 測必跑,四件套)

1. 刪測試容器(走 UI / kubectl delete pod)
2. deadletter = 0(SELECT count act_ru_deadletter_job)
3. ACL state reset(test 容器 → OWNER_ONLY)
4. hash_mapping 清(無孤兒)

5. CI/CD pipeline(5 stage)

Stage 0 PROVISION (慢/nightly) : 安裝器裝 L0+L1(ansible/install-tui)→ Selenium check-assert L1 + 補 L2 fixture
Stage 1 SMOKE     (每 commit)   : -m smoke(登入 gate),紅即 fail
Stage 2 FUNCTIONAL-READONLY     : -m "opui or portal"(非破壞)+ chunked
Stage 3 FUNCTIONAL-MUTATION     : opt-in destructive + cleanup 四件套(nightly)
Stage 4 REPORT + GATE           : aggregate_junit → 綠判準

綠判準(accounted-for,非 100% green):0 fail + 每個 skip 都有分類 reason(pending-hardware / pending-fixture / opt-in-not-selected / v428gated),無 unexplained skip。

6. 已知限制 / 邊界

• L0 安裝不在範圍:站須外部先裝好,套件只 check platform_up。
• 超管 / License provisioner 僅 fresh 站可驗:已設站該頁 redirect。
• 物理硬體:單卡(1×RTX-3090)→ ETHPC 多 worker、多 GPU 併發 = pending-hardware(標 reason,不偽造、不算 fail)。
• ~177 case 仍 skeleton:W2 容器 / W3 MailHog 發信 e2e / W4 mutation / ETHPC 待填。

7. 參考

• plan:selenium-coldstart-cicd-pipeline-plan-v1-20260624.md(冷啟動 pipeline 完整化)
• manifest:selenium-artifact-manifest-draft-20260623.md(L0-L4 artifact 定義)
• 程式:preflight.py(ensure 拓樸)、conftest.py(ensure fixture)、scripts/run_full_suite_chunked.sh + aggregate_junit.py(CI runner)
• skill:selenium-vm80-runner(執行紀律)、aistack-postinstall-ui-config(L1 5 件套)、aistack-fresh-site-checklist、aistack-qa-v427(454 case 權威步驟)
• repo 內:README.md / COVERAGE-MATRIX.md / PORT-REGISTRY.md / SELENIUM-COVERAGE-GAP-PLAN-20260622.md