AutoConsis是一款智能化的UI內容一致性檢測工具，由美團技術團隊與復旦大學攜手開發。該工具利用深度學習和大型語言模型技術，自動識別和提取用戶界面中的關鍵數據，進而檢測和識別數據之間的矛盾與不一致性。這一創新工具顯著提升了用戶體驗，減少了因數據展示錯誤給用戶帶來的困擾，并減輕了測試人員的工作負擔。

AutoConsis是什么

AutoConsis是一款智能的UI內容一致性檢測工具，旨在通過深度學習與大型語言模型的結合，自動識別和提取界面中的重要數據，從而有效檢測數據間的不一致性。該工具的應用不僅提升了用戶體驗，降低了因信息展示錯誤造成的用戶困擾，同時也減輕了測試人員的工作壓力。AutoConsis在實際應用中展現出低成本、高適用性與高信度的優勢，對于前端UI的質量保障具有重要意義。

AutoConsis的主要功能

• 目標區域識別：通過圖像處理與模式識別技術，首先識別UI界面中的關鍵區域，并定位重要信息所在的部分。
• 目標信息提取：確認目標區域后，利用OCR技術及UI組件分析提取文本與元素，并通過大語言模型推理提取一致性校驗所需的關鍵信息。
• 一致性校驗：對提取的信息進行一致性校驗，確保UI信息的準確性，涵蓋數值邏輯與語義類型的校驗。
• 自動化智能檢測流程：構建一套自動化的智能檢測流程，以低成本、高適用性和高信度進行UI內容的一致性檢測。
• 多業務場景適應：該工具能夠適應各種頁面模板、技術棧和應用程序，實現自動化適配，覆蓋多種業務與多樣化的布局。

AutoConsis的技術原理

• 多模態深度學習模型：利用多模態深度學習模型分析圖形用戶界面（GUI）頁面，結合圖像和文本信息提高識別準確率。
• 大型語言模型（LLM）：通過LLM提取文本中的深層語義信息，識別和解析關鍵數據。
• 目標檢測與內容理解：將UI頁面分析轉化為目標檢測與內容理解的結合，利用大模型的能力適應不同技術棧的頁面。
• OCR與UI組件分析：利用OCR技術提取文本信息，結合UI組件分析工具提取元素，填入預設的推理提示（CoT Prompt），基于大模型推理提取關鍵信息。
• 一致性校驗規則：依據預定義的數值邏輯和語義規則，判斷提取的UI內容的一致性，簡單數值邏輯通過規則直接檢查，復雜語義規則則依賴LLM的理解能力進行校驗。
• 信息提取提示設計：針對大語言模型常見的“幻覺”問題，設計包含上下文學習的提示（CoT），提升信息提取的準確性。
• 多模態UI區域識別：利用視覺語義識別模型CLIP進行目標區域識別，通過圖像和文本的語義映射在高維向量空間中進行匹配，增強識別的適應性和準確性。

AutoConsis的項目地址

• 技術論文：https://dl.acm.org/doi/10.1145/3639477.3639748

AutoConsis的應用場景

• 電子商務平臺：在電商平臺中，檢測商品詳情頁、購物車頁與結算頁之間的價格和庫存信息是否一致，以確保用戶在不同頁面所見信息的準確性與同步性。
• 營銷活動驗證：在促銷和營銷活動中，核實不同頁面上關于折扣、優惠及活動規則的描述是否一致，以避免因信息不一致而引起的用戶疑惑。
• 金融應用：在金融應用中，檢查賬戶余額、交易記錄和投資回報等關鍵財務數據在不同頁面的顯示是否一致。
• 旅游與酒店預訂：在旅游和酒店預訂應用中，驗證不同頁面上的價格、可用性和預訂條款是否一致，從而提升用戶的整體體驗。
• 社交媒體及內容平臺：在社交媒體和內容平臺中，檢測用戶個人資料、帖子及評論中的數據與信息是否一致。