AutoConsis：美團與復旦大學攜手推出UI內容一致性AI檢測工具，助力提升用戶體驗

AutoConsis是一款智能化的UI內容一致性檢測工具，由美團技術團隊與復旦大學攜手開發。該工具利用深度學習和大型語言模型技術，自動識別和提取用戶界面中的關鍵數據，進而檢測和識別數據之間的矛盾與不一致性。這一創新工具顯著提升了用戶體驗，減少了因數據展示錯誤給用戶帶來的困擾，并減輕了測試人員的工作負擔。

AutoConsis是什么

AutoConsis是一款智能的UI內容一致性檢測工具，旨在通過深度學習與大型語言模型的結合，自動識別和提取界面中的重要數據，從而有效檢測數據間的不一致性。該工具的應用不僅提升了用戶體驗，降低了因信息展示錯誤造成的用戶困擾，同時也減輕了測試人員的工作壓力。AutoConsis在實際應用中展現出低成本、高適用性與高信度的優勢，對于前端UI的質量保障具有重要意義。

AutoConsis的主要功能

目標區域識別：通過圖像處理與模式識別技術，首先識別UI界面中的關鍵區域，并定位重要信息所在的部分。
目標信息提取：確認目標區域后，利用OCR技術及UI組件分析提取文本與元素，并通過大語言模型推理提取一致性校驗所需的關鍵信息。
一致性校驗：對提取的信息進行一致性校驗，確保UI信息的準確性，涵蓋數值邏輯與語義類型的校驗。
自動化智能檢測流程：構建一套自動化的智能檢測流程，以低成本、高適用性和高信度進行UI內容的一致性檢測。
多業務場景適應：該工具能夠適應各種頁面模板、技術棧和應用程序，實現自動化適配，覆蓋多種業務與多樣化的布局。

AutoConsis的技術原理

多模態深度學習模型：利用多模態深度學習模型分析圖形用戶界面（GUI）頁面，結合圖像和文本信息提高識別準確率。
大型語言模型（LLM）：通過LLM提取文本中的深層語義信息，識別和解析關鍵數據。
目標檢測與內容理解：將UI頁面分析轉化為目標檢測與內容理解的結合，利用大模型的能力適應不同技術棧的頁面。
OCR與UI組件分析：利用OCR技術提取文本信息，結合UI組件分析工具提取元素，填入預設的推理提示（CoT Prompt），基于大模型推理提取關鍵信息。
一致性校驗規則：依據預定義的數值邏輯和語義規則，判斷提取的UI內容的一致性，簡單數值邏輯通過規則直接檢查，復雜語義規則則依賴LLM的理解能力進行校驗。
信息提取提示設計：針對大語言模型常見的“幻覺”問題，設計包含上下文學習的提示（CoT），提升信息提取的準確性。
多模態UI區域識別：利用視覺語義識別模型CLIP進行目標區域識別，通過圖像和文本的語義映射在高維向量空間中進行匹配，增強識別的適應性和準確性。