AMD-135M是什么

AMD-135M是AMD公司推出的首款小型語言模型（SLM），旨在為特定應用場景提供性能與資源消耗的最佳平衡。該模型基于LLaMA2架構，并使用AMD Instinct MI250加速器進行訓練，訓練數據量達到670億個token。AMD-135M有兩個版本可供選擇：通用文本處理的AMD-Llama-135M和專注于編程的AMD-Llama-135M-code。通過推測解碼技術，AMD-135M能夠在每次前向推理中生成多個token，從而顯著提升推理速度并減少內存占用。在性能方面，AMD-135M在多種自然語言處理任務上的表現與其他同類模型相當，例如，在Humaneval數據集上使用MI250 GPU時，模型的通過率大約為32.31%，展現出卓越的性能。

AMD-135M的主要功能

• 文本生成：能夠生成連貫且自然的文本，適用于機器人、內容創作等多種應用。
• 代碼生成：基于經過微調的AMD-Llama-135M-code版本，支持代碼生成和編程輔助。
• 自然語言理解：具備理解輸入文本意圖和上下文的能力，適合問答系統和摘要生成等任務。
• 多平臺兼容性：可在多種硬件平臺上運行，包括AMD的GPU和CPU。

AMD-135M的技術原理

• 推測解碼：通過小型草稿模型生成候選token，再由大型目標模型進行驗證，從而提高推理效率。
• 自回歸方法：采用傳統生成方法，每次前向傳遞生成一個token，但經過推測解碼技術的優化。
• 多頭注意力機制：利用多頭注意力機制增強模型對文本中不同部分之間關系的理解能力。
• 位置編碼：采用相對位置編碼（RoPE），保持序列中單詞的順序信息。
• 激活函數：使用專為語言模型設計的Swiglu激活函數。
• Layer Norm：應用RMSNorm（均方根歸一化）來穩定訓練過程。
• 模型架構：基于LLaMA-2模型架構，具備12層和768個隱藏單元等技術規格。

AMD-135M的項目地址

• 項目官網：amd-first-slm-135m-model-fuels-ai-advancements
• HuggingFace模型庫：https://huggingface.co/amd/AMD-Llama-135m

AMD-135M的應用場景

• 機器人：作為機器人的核心，提供自然語言的理解與生成能力，實現與用戶之間的互動對話。
• 內容創作：輔助撰寫，生成文章、故事或其他文本內容的初稿。
• 編程輔助：利用AMD-Llama-135M-code版本，幫助開發者生成代碼片段，提供編程建議與自動補全功能。
• 語言翻譯：盡管模型主要針對英語，但其架構也能適應其他語言，適用于機器翻譯任務。
• 文本摘要：自動生成文本的摘要，便于快速了解新聞、文章或報告的核心內容。