在本文中，首先給大家介紹了跨境電商的業務以及面臨的挑戰。

原標題：阿里巴巴跨境電商場景下的AI模型服務實踐
文章來源：AI前線
內容字數：11715字

阿里國際AI團隊的MarsPlatform：賦能跨境電商的AI模型服務框架

近年來，跨境電商行業蓬勃發展，但也面臨著語言文化壁壘、人才短缺、成本壓力和合規復雜性等諸多挑戰。阿里國際AI團隊針對這些痛點，研發了創新的AI解決方案，并構建了共享的AI基礎設施，以降低AI的使用門檻。本文重點介紹其模型服務框架MarsPlatform，該框架如何通過任務切分調度、模型推理引擎和計算集群資源管理三大模塊，為跨境電商業務提供高吞吐、低時延、低成本的模型服務。

1. 跨境電商面臨的挑戰

中小企業在跨境電商領域面臨諸多挑戰，例如語言和文化壁壘、人才短缺、成本和競爭壓力以及合規復雜性等問題，這些問題都需要大量的人力和物力投入。AI技術為解決這些問題提供了新的可能。

2. 阿里國際AI團隊及產品

阿里國際AIDC-AI團隊致力于探索前沿AI技術與跨境電商業務的最佳實踐。團隊研發了多語言AI產品，并打造了共享的AI基礎設施，覆蓋商品發布、營銷投放、售前導購和售后服務等跨境電商全鏈路。目前已服務全球超過50萬商家，應用場景超過40個，日均調用規模超過2.5億次，支持60多種語言，并取得了顯著的轉化率和滿意度提升。

3. MarsPlatform模型服務框架

為了應對模型多樣性、高吞吐量、高實時性和低成本等挑戰，AIDC-AI團隊開發了MarsPlatform模型服務框架。該框架包含三個核心部分：

3.1 MarsTPS – 任務切分調度

MarsTPS通過任務切分和流水線執行，提升計算并行度和吞吐量。它將任務分解成DAG圖，并根據任務的性能信息和資源情況進行自動調度，實現異構計算和資源利用最大化。在圖片翻譯等場景中，MarsTPS顯著縮短了任務執行時間，并大幅提升了GPU利用率。

3.2 MarsEngine – 模型推理優化

MarsEngine是模型推理引擎，包含請求批處理優化、模型量化優化、長文本場景優化等模塊。通過continuous batching技術，提升批處理效率；通過AWQ、Smooth Quant等量化方法，降低內存帶寬壓力并提升計算性能；通過prompt壓縮和token pruning等方法，優化長文本場景下的LLM推理性能；通過模型剪枝和蒸餾等技術，進一步提升模型推理效率。在智能客服和圖像生成等場景中，MarsEngine實現了顯著的性能提升。

3.3 MarsPooling – 計算集群資源管理優化

MarsPooling通過資源池化、動態擴縮容和GPU資源隔離等技術，提升資源利用率并降低成本。它避免了訓練資源碎片化和閑置，并通過MPS和MIG技術提高GPU利用率。在翻譯場景中，通過GPU資源隔離，A100的吞吐效率提升了2倍。

4. 總結與展望

MarsPlatform通過全鏈路優化，為跨境電商業務提供了高吞吐、低時延、低成本的模型服務。未來，團隊將繼續優化生圖服務，發展多模態產品，并探索agent應用中的性能優化，以應對新的挑戰。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。