PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍

AIGC動態歡迎閱讀

原標題：PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍
關鍵字：版本,內核,性能,分布式,多維
文章來源：新智元
內容字數：5180字

內容摘要：

新智元報道編輯：alan
【新智元導讀】新的一年，PyTorch也迎來了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，計算性能翻倍。新的一年，PyTorch也迎來了重大更新！
繼去年十月份的PyTorch大會發布了2.1版本之后，全世界各地的521位開發者貢獻了3628個提交，由此形成了最新的PyTorch 2.2版本。
新的版本集成了FlashAttention-2，使得scaled_dot_product_attention （SDPA）相較于之前的版本有了約2倍的性能提升。
PyTorch 2.2還引入了一個新的TorchInductor提前擴展，稱為 AOTInductor，旨在為非python服務器端編譯和部署PyTorch程序。
PyTorch中的torch.distributed支持了一個叫做device_mesh的新抽象，用于初始化和表示ProcessGroups。
另外，PyTorch 2.2提供了一個標準化的、可配置的日志記錄機制，——TORCH_LOGS。
PyTorch 2.2還對torch.compi

原文鏈接：PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。