問い 1 (回帰テスト版) ── iOS / iPadOS / Android ネイティブアプリ検証ツールの選定

本書の前提: 「CI/CD サイクルを捨て、リリース直前 / 月次 / 四半期など 手動トリガーの回帰テスト のみを実行する」運用に最適化したベストプラクティス。

底本: 次世代検証ツール選定案_問1_ネイティブアプリ.md (CI/CD 統合前提) の結論を、回帰テスト前提に書き直したもの。

調査日: 2026-06-08

結論 (回帰テスト版・最終推奨)

Appium 3.x をコアフレームワークとする方針は維持しつつ、CI proxy 型ツールと固定月額サービスを廃止し、Pay-as-you-go ベースの端末ファームと OSS 視覚検証を主軸とする。実行頻度は週次〜月次の手動トリガーを想定。

1. CI/CD を捨てる判断の影響

1-1. 何を失うか

• 早期不具合検出: コミット毎の回帰検出ができないため、リリース直前まで不具合が顕在化しない可能性
• flaky テストの統計データ: 月次/週次トリガーでは失敗パターンの統計が取りづらい
• PR ごとのゲート: 開発者は merge 前に E2E 結果を確認できない
• appium driver install の自動化: ローカル環境管理を人間が引き受ける

1-2. 何を得るか

• コスト削減: BrowserStack 月額 $175-225 / Applitools 月額数百〜数千ドルが不要
• flaky 許容度の引き上げ: 1 回失敗→人間が原因究明する余裕がある (CI のように blocker にならない)
• テスト本体への集中: GitHub Actions YAML / 並列度 / リトライ戦略 / トンネル制御等の周辺コードを削れる
• 「マルチモーダル LLM の決定論性問題」が緩和: LLM 出力を人間が常に確認する前提なら hallucination が早期に補正される (それでも本番判定オラクルには使わない方針は維持)

1-3. 適合する運用パターン

• 月次リリースで前月の累積機能を回帰検証する
• App Store / Google Play の OS バージョン昇格 (iOS 17→18 等) のタイミングで全機能回帰
• DRM コンテンツ供給元の DRM ライブラリ更新時の集中テスト
• セキュリティ脆弱性修正後の関連機能リグレッション確認

2. ツール選定の再設計

2-1. コアフレームワーク: Appium 3.x (変更なし)

CI/CD を捨てても以下は変わらない:

• W3C WebDriver 準拠は安定性に直結
• appium driver install xcuitest のプラグイン管理は手動でも年数回程度の作業
• iOS 17/18/26、Android 14/15/16 の OS 追従コミュニティはリリース後も継続

2-2. Healenium-Appium を廃止する理由

Healenium は proxy 経由で broken locator を自動回復する仕組み であり、hlm-proxy / hlm-backend / selector-imitator / PostgreSQL の 4 コンポーネントを常駐させる必要がある。

回帰テストのみの運用では:

回帰テストの実行頻度では Healenium の学習効果が活きないため、手動メンテに切り替える方が合理的。

2-3. Applitools Eyes 廃止 → OpenCV ベースラインへ

Applitools Eyes は月額固定 (数百〜数千ドル) の商用 Visual AI で、CI で毎日数百回のベースライン比較を行うと TCO が安い。しかし:

• 月次回帰で月 50-200 回程度のスクリーンショット比較なら、OpenCV (cv2.matchTemplate / cv2.compareHist / SSIM) で十分
• DRM 領域は元々 Applitools でもピクセル比較を厳密にできない領域であり、手動目視レビュー の方が確実
• ベースライン更新は月次タイミングで人間が確認するため、商用 AI の自動更新機能が不要

OpenCV ベースの比較スクリプト例 (概念):

import cv2
import numpy as np
from skimage.metrics import structural_similarity as ssim

def visual_diff(baseline_path, current_path, threshold=0.95):
    baseline = cv2.imread(baseline_path, cv2.IMREAD_GRAYSCALE)
    current = cv2.imread(current_path, cv2.IMREAD_GRAYSCALE)
    score, _ = ssim(baseline, current, full=True)
    return score >= threshold, score

2-4. 端末ファーム: AWS Device Farm (Pay-as-you-go) を主軸

CI/CD 前提では 月額固定 が前提だったが、回帰のみなら 使った分だけ が圧倒的に有利:

注: AWS Device Farm の $0.17/device-minute は 2024 年公式情報。2026-06 時点では deep-research で一次価格未確証 (本書の残課題)。

回帰テストのみであれば、AWS Device Farm の Pay-as-you-go プラン + 自社 iPhone / iPad / Pixel / Galaxy の実機補完 が経済的に最も合理的。クラウド端末は OS バージョン網羅 (iOS 17 / 18 / iPadOS 18 / Android 14 / 15 / 16) と機種網羅 (Pixel / Galaxy / 廉価端末) の補完に絞る。

2-5. 状態管理: 宣言型 YAML シナリオ (CI/CD 前提版から変更なし)

ルールベース state machine の概念は変わらず、以下を維持:

# regression_scenarios/login_to_drm_video.yml
name: ログイン→DRM 動画再生
steps:
  - tap: { accessibility_id: "LoginButton" }
  - type: { accessibility_id: "EmailField", value: "${TEST_USER}" }
  - tap: { accessibility_id: "SubmitButton" }
  - wait_for: { accessibility_id: "VideoList" }
  - tap: { accessibility_id: "VideoItem_0" }
  - assert_video_playing:    # <video> プロパティ監視
      current_time_after: 5
      ready_state_at_least: 4
  - visual_diff:             # OpenCV 比較
      region: { x: 0, y: 100, width: 1170, height: 600 }
      threshold: 0.92

実行コマンドはシンプル:

# 月次回帰実行 (Mac mini ローカル)
$ appium server --port 4723 --plugins-dir ./node_modules &
$ python -m regression.run --scenario login_to_drm_video --device "iPhone 15 Pro" --os "iOS 18"

3. 視覚救済の階層 (CI/CD 前提版からの簡素化)

オンデバイス ML (Apple Vision / Android ML Kit) は OS 標準 API で無料、回帰テストでも継続採用する。

4. 採用基準と Anti-pattern (回帰テスト版)

採用基準

Anti-pattern (回帰テスト前提)

• ❌ 月額固定の商用 Visual AI 契約: 月次回帰では年間コストの 90% が遊休
• ❌ Healenium-Appium 常駐: 学習効果が出る前に廃れる
• ❌ GitHub Actions マトリクス × 並列度設計: 不要、ローカル実行で十分
• ❌ flaky テストへの自動リトライ 3 回: 失敗を人間が確認する前提なら不要
• ❌ マルチモーダル LLM を回帰判定に投入: 問1 の本編裁定どおり、ローカル運用でも不採用
• ❌ 複数端末ファームの多重化: 単一ファーム不調時に「来週やり直す」で済む

5. 運用パターン (月次回帰の SOP 例)

5-1. 月次リリース回帰のチェックリスト

5-2. 端末ファーム費用試算 (回帰テストのみ)

月次回帰 1 回あたり:

• AWS Device Farm: 200 device-minute × 0.17 = **34/月**
• 年間: $408/年

CI/CD 前提の BrowserStack Automate Pro $225/月 × 12 = $2,700/年 と比較し、コスト ~85% 削減。

6. 対立点と裁定 (回帰テスト前提で再評価)

7. 残課題

1. AWS Device Farm の 2026-06 公式価格確認: $0.17/device-minute は 2024 年情報、最新一次価格の確認が必要
2. OpenCV / SSIM ベースの誤検知率測定: Applitools Eyes <3% に対し、OpenCV + SSIM がどこまで近づけるか実測
3. DRM 領域の手動目視レビュー SOP: チェックリスト化、頻度、責任者の明確化
4. OS バージョン昇格時の差分検出: iOS 18 → iOS 19 (仮称) のような大幅変更時の YAML 一括更新手順
5. CI/CD 復活時の移行コスト: 将来的に CI/CD に戻す場合の Healenium / 商用 Visual AI 導入を再評価する分岐条件を明文化
6. マルチモーダル LLM のローカルデバッグ運用: 回帰失敗時に LLM (Claude / GPT-4V) を「補助」として使う場合のガードレール (本番判定には使わない、人間が必ず確認)

8. CI/CD 復活への分岐条件 (将来検討用)

以下のいずれかが発生した時点で、本書を破棄し CI/CD 前提版 (次世代検証ツール選定案_問1_ネイティブアプリ.md) への移行を検討する:

• リリース頻度が 月次から週次以下 に短縮
• 累積機能数の増加で月次回帰の所要時間が 3 営業日を超える
• 不具合の検出遅延が 顧客クレームに直結 する事象が四半期 2 件以上発生
• チーム規模が 専任 QA 3 名以上 に拡大し人件費が CI/CD ツール費を上回る

9. 参考文献

本書は底本 次世代検証ツール選定案_問1_ネイティブアプリ.md の参考文献をすべて引き継ぐ。回帰テスト版固有の追加情報は以下:

• AWS Device Farm pricing (一次価格の最新確認は本書残課題): https://aws.amazon.com/device-farm/pricing/
• OpenCV 公式: https://opencv.org/
• scikit-image SSIM (structural_similarity): https://scikit-image.org/docs/stable/api/skimage.metrics.html#skimage.metrics.structural_similarity
• Appium 公式 driver / plugin install: https://appium.io/docs/en/3.4/quickstart/uiauto2-driver/