AI私有化部署的破局者浮出水面。
原標題:趨境科技獲高瓴創投、Z基金領投天使輪,助力企業10倍降本部署DeepSeek|甲子光年
文章來源:甲子光年
內容字數:4804字
AI私有化部署:趨境科技的破局之路
隨著AI推理需求的激增,降低千億級大模型部署成本成為迫切命題。趨境科技,一家由清華系團隊創立的AI基礎設施公司,憑借其創新技術方案,為這一難題提供了新的解法,并近日完成數千萬元天使輪融資。
1. 趨境科技及其創新技術
趨境科技的核心技術在于“以存換算”和全系統異構協同優化。這允許其利用CPU和GPU異構協同推理架構,極大降低了對高端GPU的依賴,并通過高效利用內存來補充計算能力。其開源項目KTransformers,支持DeepSeek等大型模型,在GitHub上獲得高度關注,甚至有開發者用低成本硬件復現了其功能。 這也證明了其技術方案的可行性和高性價比。
2. AI大模型推理軟硬一體工作站
基于上述技術,趨境科技推出了AI大模型推理軟硬一體工作站,將DeepSeek大模型的部署門檻降低了90%。該工作站面向中低并發場景,單機即可支持千億參數模型的流暢推理,并支持多模型并發服務,具備“開箱即用”的便捷性,顯著降低中小企業的部署成本。
3. 趨境科技引領的AI Infra三大趨勢
趨境科技的技術突破展現了AI Infra領域的三大趨勢:
- 從“訓練”走向“推理”: 算力基建需從GPU單點優化轉向全系統協同,趨境科技的“以存換算”技術有效降低了對算力的依賴。
- 助力國產算力生態發展: 通過異構協同優化,降低了對高端硬件的依賴,推動國產算力生態發展,并降低大模型落地成本。
- “輕量化”部署成為可能: 中小企業無需巨資自建集群,即可完成大模型私有化部署,實現數字化轉型。
4. 趨境科技的價值與意義
趨境科技通過技術創新,重塑了AI Infra的價值,為企業提供了更高效、更低成本的大模型部署方案。其“技術+場景”的雙輪驅動模式,為AI化提供了新的思路,讓更多企業能夠平等地獲取先進的AI生產力,推動AI技術在各行各業的廣泛應用。
總而言之,趨境科技的出現,為解決AI大模型私有化部署的高成本、低效率難題提供了有效方案,其創新技術和商業模式,有望成為AI Infra領域的新興力量,引領行業發展。
聯系作者
文章來源:甲子光年
作者微信:
作者簡介:甲子光年是一家科技智庫,包含智庫、社群、企業服務版塊,立足中國科技創新前沿陣地,動態跟蹤頭部科技企業發展和傳統產業技術升級案例,推動人工智能、大數據、物聯網、云計算、新能源、新材料、信息安全、大健康等科技創新在產業中的應用與落地。