如何提供算力“最優(yōu)解”？12月10-11日，由「甲子光年」主辦的“萬千流變 一如既往”2024甲子引力年終盛典在北京中關(guān)村國家自主創(chuàng)新示范區(qū)展示交易中心召開。在12月11日下午舉行的《算力江湖：如何提供算力“最優(yōu)解”》圓桌論壇中，來自算力和芯片行業(yè)一線的嘉賓們分享了他們對2024年算力行業(yè)的看法。在賽智伯樂投資合伙人蔡哲文的主持下，各位嘉賓為中國算力行業(yè)的突圍之道提供了深刻的見解。賽智伯樂投資合伙人蔡哲文首先各位嘉賓分享了對2024年國內(nèi)算力和芯片行業(yè)的直觀感受。北電數(shù)智CMO、戰(zhàn)略與市場負(fù)責(zé)人楊震認(rèn)為，算力中心建設(shè)在今年迎來重要轉(zhuǎn)折點(diǎn)，從過去的大規(guī)模快速擴(kuò)張階段，逐步向持續(xù)建設(shè)與高效運(yùn)營階段過渡。在芯片領(lǐng)域，國產(chǎn)算力第一梯隊已初步成型，在特定模型訓(xùn)練及推理場景應(yīng)用中，已能夠?qū)崿F(xiàn)從基礎(chǔ)可用到優(yōu)質(zhì)好用的關(guān)鍵轉(zhuǎn)變。北電數(shù)智CMO、戰(zhàn)略與市場負(fù)責(zé)人楊震行云集成電路創(chuàng)始人季宇從芯片行業(yè)視角出發(fā)，指出2024年度行業(yè)發(fā)展的顯著特征是從訓(xùn)練向推理的重心轉(zhuǎn)移。隨著大模型應(yīng)用的逐步落地，國內(nèi)模型在性能上已基本追平GPT水平，芯片行業(yè)競爭焦點(diǎn)也隨之向推理領(lǐng)域傾斜。清程極智CEO湯雄超表示，國產(chǎn)算力的發(fā)展速度超出預(yù)期，隨著國產(chǎn)算力生態(tài)的日益完善，越來越多清程極智的客戶開始嘗試采用國產(chǎn)算力資源，并取得了令人滿意的效果，部分國產(chǎn)芯片客戶已啟動上市籌備流程，充分彰顯了國產(chǎn)算力巨大的成長潛力。清程極智CEO湯雄超九章云極DataCanvas聯(lián)合創(chuàng)始人暨CTO尚明棟提到，智算中心建設(shè)呈現(xiàn)出迅猛發(fā)展的態(tài)勢，但同時也引發(fā)了關(guān)于算力泡沫的爭議。從算力消納的實(shí)際情況來看，眾多企業(yè)對于低價格、高彈性算力的需求尚未得到充分滿足，市場供需關(guān)系存在結(jié)構(gòu)性失衡，這迫切需要專業(yè)算力運(yùn)營商的大力支持與協(xié)同發(fā)展。在算力調(diào)度提升資源利用率與降低成本方面，楊震分享了北電數(shù)智的創(chuàng)新實(shí)踐，例如在異構(gòu)算力協(xié)同方面，構(gòu)建統(tǒng)一通信庫、全面補(bǔ)齊算子庫并實(shí)現(xiàn)自動調(diào)優(yōu)，同時開展算法加速工作。湯雄超介紹了清程極智的系統(tǒng)軟件解決方案，例如在系統(tǒng)軟件層面，從底層編譯優(yōu)化、上層調(diào)度管理、內(nèi)存管理到網(wǎng)絡(luò)優(yōu)化等多個通用維度入手，同時充分挖掘國產(chǎn)算力適配的潛在優(yōu)勢空間。針對不同規(guī)模客戶，清程極智也設(shè)計了靈活的成果交付模式。據(jù)尚明棟介紹，九章云極DataCanvas借助Alaya NeW平臺實(shí)現(xiàn)了算力彈性調(diào)度，成功將算力的占用與使用進(jìn)行解耦，避免了傳統(tǒng)模式下算力在占用期間無法被其他用戶復(fù)用而造成的資源浪費(fèi)現(xiàn)象。同時九章云極DataCanvas推出了“算力包”產(chǎn)品，改變以往金屬按時間收費(fèi)的傳統(tǒng)方式，基于計算量進(jìn)行計費(fèi)，極大地提高了用戶的算力使用率。九章云極DataCanvas聯(lián)合創(chuàng)始人暨CTO尚明棟針對從可用到好用的過程，季宇強(qiáng)調(diào)行云并非簡單追求芯片價格的降低，而是借鑒PC產(chǎn)業(yè)興起的成功經(jīng)驗(yàn)，以英特爾8086處理器為例，致力于在顯存維度實(shí)現(xiàn)極致優(yōu)化，即便在一定程度上犧牲算力性能，也要確保芯片價格能夠降至消費(fèi)級水平，從而讓用戶在端側(cè)和云端都能以較低成本獲得高質(zhì)量的模型體驗(yàn)。展望2025年算力和芯片市場，楊震期望更多智算中心能夠在持續(xù)建設(shè)的基礎(chǔ)上實(shí)現(xiàn)有效運(yùn)營，不僅能夠滿足模型訓(xùn)練需求，還能靈活應(yīng)對推理任務(wù)需求，形成具有中國特色的國產(chǎn)算力市場格局。季宇表示，希望在未來一兩年內(nèi)，能夠復(fù)刻當(dāng)年X86架構(gòu)推動PC和互聯(lián)網(wǎng)興起的輝煌歷程，在算力行業(yè)成功實(shí)現(xiàn)從傳統(tǒng)架構(gòu)向新型高效架構(gòu)的轉(zhuǎn)型，開啟算力行業(yè)發(fā)展的新紀(jì)元。行云集成電路創(chuàng)始人季宇湯雄超堅定地認(rèn)為，國產(chǎn)智能算力行業(yè)將繼續(xù)沿著集群化和國產(chǎn)化的兩大發(fā)展趨勢穩(wěn)步前行，隨著技術(shù)創(chuàng)新與生態(tài)建設(shè)的不斷推進(jìn)，國產(chǎn)算力生態(tài)也會越來越繁榮。尚明棟樂觀地預(yù)測，隨著算力生態(tài)的持續(xù)優(yōu)化完善以及國產(chǎn)GPU廠商技術(shù)的快速迭代，模型微調(diào)和推理階段的增長速度將實(shí)現(xiàn)指數(shù)級提升，為人工智能在各行業(yè)的廣泛應(yīng)用提供強(qiáng)大的算力支撐。以下為圓桌論壇的全部內(nèi)容，經(jīng)過編輯整理：蔡哲文：各位嘉賓，大家好。首先要感謝「甲子光年」為我們準(zhǔn)備了這樣一個議題。這個議題非常貼切——所謂的江湖，充滿了刀光劍影。今年最后一個月，行業(yè)仍在連續(xù)曝出許多新聞，比如谷歌發(fā)布了最新的量子芯片，英偉達(dá)因?yàn)樯嫦臃磯艛啾涣刚{(diào)查，算力議題在今年最后一個月還是這么熱鬧。從我們的角度來看，算力可能會逐漸融入我們每個人的生活，就像我們今天使用自來水、電力和互聯(lián)網(wǎng)通信一樣，未來算力也可能成為我們生活的一部分。在當(dāng)前階段，甚至有一個論斷叫算力等于國力。談到AI，很多時候也是和算力掛鉤的。今年我看到的數(shù)據(jù)顯示，全國新建的智算中心超過250個，總投入達(dá)到萬億級別。算力中心的數(shù)量、國產(chǎn)算力芯片以及整個算力芯片的市場量級也在不斷提升。但是在這樣的大背景下，中國的算力行業(yè)其實(shí)也存在一些挑戰(zhàn)，包括算力的供給與需求存在錯位，部分地區(qū)智算中心的實(shí)際運(yùn)營與規(guī)模構(gòu)想存在很大的差異。今天我們邀請到了四位算力和芯片行業(yè)優(yōu)秀的從業(yè)者，來給我們分享對整個算力行業(yè)的見解，共同謀求整個行業(yè)的解決方案，讓算力從可用變得好用，實(shí)現(xiàn)算力產(chǎn)業(yè)的高質(zhì)量發(fā)展。首先我們請各位嘉賓進(jìn)行簡單的自我介紹，同時講一講我們所在公司今年的重要進(jìn)展。有請楊總。楊震：大家好，我是北電數(shù)智的楊震，負(fù)責(zé)戰(zhàn)略和市場。北電數(shù)智是一家非常年輕的人工智能國企。在這一年我們首先做出了混元異構(gòu)的算力調(diào)度軟件，并且也做出了芯片和模型層、芯片和框架層的適配平臺，目前能夠讓9種芯片和23個基座大模型進(jìn)行普適的交叉適配。我們馬上還要推出訓(xùn)推平臺，也推出了可信數(shù)據(jù)空間的產(chǎn)品，與11月國家公布的《可信數(shù)據(jù)空間發(fā)展行動計劃(2024—2028年)》相契合。以上是軟件層面。硬件層上，我們今年年底馬上建成北京市在五環(huán)之內(nèi)唯一的E級智算中心，叫作北京數(shù)字經(jīng)濟(jì)算力中心。第三件事就是我們從今年1月23日開始，我們也建了一個江湖，叫作AI江湖。不同于剛才哲文總提到的算力江湖，我們所建的江湖包括一系列的閉門會、開門會，把我們同行的伙伴們聚在一起進(jìn)行思想碰撞。我們相信在全新的時代，人工智能充滿不確定性，每一位從業(yè)者其實(shí)都是江湖中的英雄，因?yàn)榇蠹叶汲錆M了勇氣。謝謝。季宇：大家好，我是行云的創(chuàng)始人季宇。行云是一家非常年輕的公司，也是今年剛開始起步的國產(chǎn)芯片新公司。在這樣一個時間點(diǎn)做芯片，也是為了解決很多嘉賓都講過的算力降本問題。在大模型時代，為了讓AI變得普惠，讓大模型應(yīng)用成本不斷下降，我們想從芯片出發(fā)，做一款在顯存維度非常極致的GPU芯片來滿足這樣的需求。也希望通過我們的芯片能夠把AI的成本變得非常低，成為人人都用得起的芯片。湯雄超：大家好，我是清程極智的CEO湯雄超。清程極智是去年這個時候成立的AI Infra企業(yè)。我們所聚焦的是通過核心的基礎(chǔ)軟件賦能國產(chǎn)算力，為整個人工智能行業(yè)帶來高性能、低成本的算力系統(tǒng)。具體來說，我們主要會提供面向大模型訓(xùn)練和推理場景的軟件解決方案，過去一年里，我們在技術(shù)產(chǎn)品和商業(yè)化上都取得了比較好的進(jìn)展。在技術(shù)上，我們對大規(guī)模并行訓(xùn)練系統(tǒng)“八卦爐”做了進(jìn)一步打磨和升級，目前已經(jīng)適配了好幾款國產(chǎn)算力芯片，可以在大規(guī)模的國產(chǎn)算力集群上實(shí)現(xiàn)模型訓(xùn)練。在推理側(cè)，我們今年拓展了適配的國產(chǎn)芯片種類，進(jìn)一步提升了絕對性能和性價比，在很多場景下已經(jīng)可以跟國外的主流方案相比較。商業(yè)化方面，我們已經(jīng)和許多國產(chǎn)芯片公司以及國產(chǎn)大模型公司達(dá)成合作，希望在未來繼續(xù)攜手行業(yè)伙伴共同建設(shè)國產(chǎn)的算力生態(tài)。謝謝。尚明棟：大家好，我是九章云極DataCanvas的尚明棟。我們公司是一家人工智能基礎(chǔ)設(shè)施提供商，圍繞智算中心進(jìn)行建設(shè)和運(yùn)營，今年我們有五個智算中心投入運(yùn)營。我們依托今年發(fā)布的Alaya NeW平臺，在我們的智算中心里既提供彈性的算力，同時又有完整的，從訓(xùn)練到推理的大模型工具鏈支持上層應(yīng)用。我們致力于提供低門檻、低價格的普惠算力。謝謝大家。蔡哲文：今天我們的四位嘉賓包含了算力的各個維度。其實(shí)這兩年，特別是今年，如果說要評選一個熱門詞，我覺得算力即便不是第一，至少也是第一梯隊。到了年末，各位能不能夠用一兩句話來針對2024年國內(nèi)的算力和芯片行業(yè)，聊一聊你們最直觀的感受，還是從楊總開始。楊震：我們正在建北京數(shù)字經(jīng)濟(jì)算力中心，包括剛才也提到今年國內(nèi)出現(xiàn)非常多算力中心，所以我認(rèn)為今年是一個分水嶺，從前幾年的“大干快上”，到現(xiàn)在應(yīng)該進(jìn)入所謂持續(xù)建設(shè)、有效運(yùn)營的階段。這是我的第一個觀察。第二，芯片行業(yè)整體向好，因?yàn)橛袎毫陀袆恿ΑＮ覀兛吹絿a(chǎn)算力的第一梯隊已經(jīng)形成，而且隨著推理需求的展開以及自身的性能，包括我們做軟件層、加速層這些方面的努力，在一定參數(shù)量以內(nèi)的模型訓(xùn)練以及各種的推理場景上，國產(chǎn)的能力已經(jīng)跟上來了，實(shí)現(xiàn)了從可用到好用的轉(zhuǎn)變。季宇：從芯片行業(yè)來看，今年最大的特點(diǎn)是從訓(xùn)練轉(zhuǎn)向推理，隨著大模型的很多應(yīng)用開始嘗試落地，包括預(yù)訓(xùn)練上面，其實(shí)國內(nèi)的模型也基本追上了GPT的水平，越來越多的應(yīng)用探索開始展開。所以大家也從過去競爭訓(xùn)練芯片的維度，慢慢轉(zhuǎn)向推理維度。訓(xùn)練跟推理有很多差異，這些差異其實(shí)也給國產(chǎn)算力芯片提供了很多新的可能性和機(jī)會。我們也希望在這樣的情況下，在滿足未來更加宏大、增長更加劇烈的推理需求上，能夠把握住國產(chǎn)芯片新的可能性。湯雄超：從清程極智的角度來看，今年很明顯的感受是國產(chǎn)算力的發(fā)展超出了我們的預(yù)期。一方面，是隨著國產(chǎn)算力生態(tài)的不斷完善，非常多客戶，無論是要做大模型的訓(xùn)練，還是大模型的推理，都開始愿意嘗試國產(chǎn)算力，最終也取得很不錯的效果。清程極智也有很多客戶是國產(chǎn)芯片公司，最近也了解到有不少客戶已經(jīng)啟動上市流程，這也讓我們非常堅定地認(rèn)為，國產(chǎn)算力未來有非常好的成長空間。尚明棟：涉及智算中心，我們今年能看到，智算中心的建設(shè)處于高歌猛進(jìn)的狀態(tài)，這也是為什么大家會感覺到算力有可能會有泡沫。但是我們又聽到了相反的聲音，就是從算力消納上，依然有非常多的企業(yè)對于低價格、高彈性的算力處在需求不滿足的狀態(tài)，我們看到了供需市場上結(jié)構(gòu)化的失衡。這需要中間有算力生態(tài)和算力運(yùn)營商的支持。后續(xù)我們可以展開討論。蔡哲文：我自己是做投資的，做投資有一個天然的秉性，就是要樂觀看多。所以我顯然非常看好算力。我大概簡單總結(jié)一下，楊總提到了“大干快上”，季總提到從訓(xùn)練轉(zhuǎn)向推理，湯總提到了國產(chǎn)算力的布局，開始用國產(chǎn)去替代國外，而尚總提到了我們接下來要討論的問題，就是如何在看多的過程中擠泡沫。外界確實(shí)也有潑冷水的，比如高盛的分析師提出全世界一兩年內(nèi)在算力投入不止有幾萬億美元，美股打造出了“算力七姐妹”，每家的市值都突破了萬億美金。但這么多資金給算力投下去，目前來看，對于GDP的拉動，整個就業(yè)市場和創(chuàng)新市場也好，都沒有很多商業(yè)化的回饋，所以這里面存在很大泡沫。在座的四位一線從業(yè)者如何看待AI的泡沫化？楊震：其實(shí)我們看2023年，整個人工智能行業(yè)，包括算力層、模型層和應(yīng)用層的話，90%的收入來自算力，7%是來自模型，3%來自應(yīng)用，這是全球的數(shù)據(jù)，但投資就基本反過來。大部分投資走向模型，其次是走向應(yīng)用，少量流向算力。我認(rèn)為是人工智能時代相對于信息IT時代，它更厚重，層次更多，所以需要逐步轉(zhuǎn)化。第二，算力究竟是泡沫還是需求不足？我同意明棟總說的結(jié)構(gòu)性矛盾。之前智算中心的“大干快上”，其實(shí)就是建設(shè)，堆服務(wù)器和芯片，目的是應(yīng)對模型訓(xùn)練。通常模型訓(xùn)練的廠商知道怎么用芯片和智算中心，所以沒問題。但當(dāng)下模型訓(xùn)練放緩，其實(shí)就出現(xiàn)一個核心問題。超大規(guī)模智算中心是為了模型訓(xùn)練而建，但是模型訓(xùn)練三個月后，很多智算中心就要關(guān)機(jī)斷電。大家會問為什么它不轉(zhuǎn)向推理？因?yàn)橹撬阒行膹?qiáng)調(diào)極致算效，極致能效，算效之于訓(xùn)練和之于推理是不一樣的。細(xì)看推理部分，我們還可以切分成海量推理，包括互聯(lián)網(wǎng)用戶；還有高頻推理，比如說交通等領(lǐng)域；此外還有低頻推理。不同的領(lǐng)域?qū)χ撬阒行奶岢鐾耆灰粯拥倪\(yùn)營要求，包括調(diào)度策略，如何使用多模態(tài)模型、模型融合策略等等，都是不同的要求。而且大模型訓(xùn)練階段更看重如何快速解決問題，但在推理時代，首先要解決首字延遲的問題，同時還要解決解碼延遲問題，這些都解決掉了，就可以繼續(xù)解決提升吞吐量的問題。而且海量推理時，我要琢磨冷啟動等，它對整個智算中心的服務(wù)，包括生態(tài)能力上，都提出完全不一樣的需求。原來只為了模型訓(xùn)練而建的智算中心，無法面向中腰部的互聯(lián)網(wǎng)客戶，甚至個人開發(fā)者和團(tuán)體提供非常敏捷、普惠的算力服務(wù)，這也是為什么我剛才提到說我們看到分水嶺，從今年開始非常多智算中心進(jìn)入所謂持續(xù)建設(shè)，有效運(yùn)營的階段，做智算中心一定要懂芯片、懂模型，而且要懂?dāng)?shù)據(jù)。現(xiàn)在模型訓(xùn)練暫緩，最主要的原因可能也是因?yàn)殚_源數(shù)據(jù)集的枯竭，同時我們也看到大量的專項(xiàng)數(shù)據(jù)其實(shí)握在手里，大量產(chǎn)業(yè)數(shù)據(jù)、行業(yè)數(shù)據(jù)握在企業(yè)手里。這些數(shù)據(jù)如何有效釋放出來，也需要相應(yīng)的技術(shù)和工具。這也是我們布局可信數(shù)據(jù)空間的原因。這三層搞明白了，然后對外提供普適的模型服務(wù)、工具鏈和套件，包括一些垂類模型，場景以及數(shù)據(jù)的打開，才能夠通過這些燃料把整個人工智能生態(tài)培養(yǎng)起來，之后智算中心就會得到自然的消納。回到一開始說的，其實(shí)主要還是結(jié)構(gòu)性矛盾。有人有擁有算力的困惑，也有人有用不到算力的難處，需要把各層能力建起來才能解決掉。季宇：我從芯片行業(yè)講一個不一樣的視角。其實(shí)今天我們看到很多的應(yīng)用，也看到了模型成本在軟件，包括調(diào)度層面不斷下降。但是從芯片的角度來講，今天的AI基礎(chǔ)設(shè)施其實(shí)跟上個世紀(jì)80年代的大型機(jī)非常像，智算中心里面用的很多服務(wù)器也好，芯片也好，都是非常昂貴的，雖然大家努力使它的利用率變高，讓它的效率，包括個調(diào)度優(yōu)化變得越來越高，但它的底座其實(shí)很像大型機(jī)。現(xiàn)在下游的應(yīng)用需求非常旺盛，就像上世紀(jì)80年代一樣，計算機(jī)本身可以對人類社會帶來巨大的影響，同樣今天的AI也可以。而最終讓整個互聯(lián)網(wǎng)產(chǎn)業(yè)還有PC興起的，最重要的還是它的底座，也就是X86。從芯片的角度，今天更重要的并不是去做越來越強(qiáng)的大型機(jī)，整個計算機(jī)的形態(tài)一定要像類似于從大型機(jī)到X86這樣的轉(zhuǎn)變，才能促成AI產(chǎn)業(yè)和互聯(lián)網(wǎng)產(chǎn)業(yè)的繁榮。這是我們這家公司希望去推動的事情，在大型機(jī)的基礎(chǔ)之上落地AI產(chǎn)業(yè)跟互聯(lián)網(wǎng)產(chǎn)業(yè)，它永遠(yuǎn)存在巨大的結(jié)構(gòu)性矛盾。剛剛哲文總講的巨大的泡沫其實(shí)也一樣，如果家家戶戶都能用上PC，那算力的投入會非常大，大家對于算力的需求也會膨脹。但這樣的需求反過來也有可能這個行業(yè)，所以我們一定要推動從大型機(jī)往PC的轉(zhuǎn)變，往X86的轉(zhuǎn)變，才能更好地促成這件事。所以我們也希望去攜手在座的各位嘉賓，包括生態(tài)的上下游，一起來往這樣的目標(biāo)推動，才能更好地把泡沫擠掉，走向落地。從芯片的角度，很多芯片都在往怎么做更好的大型機(jī)角度去思考，但我覺得，如果我考慮怎么做好一個服務(wù)于今天的PC，還有互聯(lián)網(wǎng)的X86，其實(shí)更有意義。湯雄超：我非常贊成楊總和季總的觀點(diǎn)，現(xiàn)在算力的供給和需求是結(jié)構(gòu)性的矛盾。從清程極智的角度來看，有效的算力供給是不足的。可能大家會看到很多新建的智算中心使用率不是特別高，但它并不是無人問津的，而是大家缺算力，后來去智算中心看了，發(fā)現(xiàn)不太能用得起來，所以最后沒用。本質(zhì)上是因?yàn)樗懔υ谟布弦呀?jīng)建好，但還缺乏軟件生態(tài)上的連接，讓客戶覺得沒有辦法達(dá)到開箱即用的狀態(tài)，那他們可能會去選擇其他解決方案。隨著算力軟件生態(tài)的成熟，包括我們前面提到的整個AI算力需求的增長，最終整個市場會回歸更加健康的狀態(tài)。尚明棟：大家說的AI算力的泡沫化，可能視角來自不同的地方。一個視角是經(jīng)濟(jì)，大家投資算力的建設(shè)，希望獲得對應(yīng)的回報，這些回報最終可能體現(xiàn)在投資方的回報以及落地場景的回報。現(xiàn)在我們都知道建智算中心，如果算力供給沒有問題，建智算中心的周期可以非常短，差不多三個月，幾個億的投入，1000P，2000P的算力其實(shí)就可以建設(shè)起來。但是真正從消納的角度來說，它需要一個生態(tài)，這個生態(tài)既有地方生態(tài)，也有行業(yè)生態(tài)，而生態(tài)的建立需要一些時間。現(xiàn)在來看，投入和產(chǎn)出上出現(xiàn)了階段性的失衡，這是我們當(dāng)前處于AI生態(tài)建設(shè)的階段所導(dǎo)致的，我們需要更長時間完成完整的生態(tài)建設(shè)。第二，很多企業(yè)覺得一提到算力建設(shè)就有非常大的數(shù)字，200多個智算中心，折合成算力也是幾十萬P的算力，但是從實(shí)際需求上來說，又覺得門檻過高。大廠的能力比較強(qiáng)，他們會自建，同時他們的技術(shù)能力也比較強(qiáng)。他們有了這些智算中心的金屬，可以自己在里面搭框架，建設(shè)infra，對他們來說技術(shù)門檻是比較低的。但是對于一般的技術(shù)型企業(yè)，如果從頭開始去用算力，找到對應(yīng)的場景，并驗(yàn)證對他們行業(yè)的價值，門檻會非常高。所以中間也需要基礎(chǔ)設(shè)施這一層，讓算力更好地唾手可得，或者說成為成本比較低的基礎(chǔ)設(shè)施。現(xiàn)在看這還需要一段時間，也需要我們整個行業(yè)生態(tài)的共同進(jìn)步。蔡哲文：感謝四位嘉賓的精彩發(fā)言，干貨非常多。我總結(jié)一下，尚總提到目前的核心問題在于生態(tài)尚未完全建立，即使存在泡沫，一旦生態(tài)成熟，這些問題將不再是障礙。湯總的觀點(diǎn)是，算力資源雖然豐富，但如果軟件層面不支持，這些算力也無法發(fā)揮作用。因此，我們需要軟件來像開鑿運(yùn)河一樣，讓算力流動起來。季總的觀點(diǎn)，我用一個形象的比喻來說明，他認(rèn)為我們已經(jīng)進(jìn)入了智能手機(jī)時代，但目前的硬件設(shè)施卻還停留在大哥大的水平，與時代發(fā)展不匹配，需要進(jìn)一步改進(jìn)。楊總則指出了一個現(xiàn)實(shí)問題，即算力分配的不均衡，有的人算力過剩，而有的人卻極度缺乏，這表明算力調(diào)度存在很大的問題。接下來，我想針對三位在算力調(diào)度領(lǐng)域的創(chuàng)業(yè)者提出一個問題。在提高算力資源利用率和降低成本的過程中，是否有一些創(chuàng)新的產(chǎn)品、運(yùn)營模式或技術(shù)可以與大家分享？我們還是從楊總開始。楊震：我覺得大家的很多技術(shù)路線也類似，因?yàn)槟繕?biāo)都是要提高算力的利用率。我們今年更多是在異構(gòu)算力的協(xié)同作戰(zhàn)上做了一些工作，為了讓不同的國產(chǎn)算力集群能夠協(xié)同作戰(zhàn)，也可以和進(jìn)口算力協(xié)同作戰(zhàn)，其實(shí)有很多細(xì)致的工作要做，比如為了和模型進(jìn)行普適的交叉適配，要建立統(tǒng)一的通信庫，算子庫的全面補(bǔ)齊，自動調(diào)優(yōu)。為了實(shí)現(xiàn)整體性能提升，我們也做了算法加速的相關(guān)工作，包括像稀疏數(shù)據(jù)集的優(yōu)化等等。目前在我們的異構(gòu)調(diào)度軟件納管下，國產(chǎn)芯片通過算法加速，可以將首字延遲優(yōu)化10倍，解碼延遲優(yōu)化10倍，在推理的表現(xiàn)上，吞吐量可以提升30倍。基本一般芯片性能上能提升2到3倍，那吞吐量能夠提升8~9倍。這是我們做的第一件事情。第二，我們把所有的芯片集群打散，只要是在同一個計算中心里面不同集群它依然可以看作一個整體，成為一塊巨大的虛擬的GPU。一塊巨大的虛擬GPU就相當(dāng)于解決金屬租賃的算力冗余和使用方的不平衡，是非常精細(xì)化的運(yùn)營方式。初步估算，智算中心使用我們的軟件，生產(chǎn)效率可以提升50%。我們也在繼續(xù)攻關(guān)潮汐調(diào)度的策略，進(jìn)一步實(shí)現(xiàn)100%的效率提升。和金屬租賃相比，用我們的軟件可以做到100張卡等同于原來150張或者200張卡。同時我們還無形中解決另一個問題。國產(chǎn)芯片有自己的擅長之處，但可能不能做到全領(lǐng)域的任務(wù)支撐。但形成多級混池和混元異構(gòu)后，就可以對外無差別提供算力服務(wù)。兩周前我們推出了國產(chǎn)算力POC平臺，也是場景驗(yàn)證平臺。我們邀請場景持有方，無論金融、醫(yī)療、政務(wù)等各種行業(yè)場景都可以在這個POC平臺上來體驗(yàn)國產(chǎn)算力的高質(zhì)量服務(wù)。另外剛才提到可信數(shù)據(jù)空間，因?yàn)閲乙呀?jīng)頒布了未來三年的計劃，我們認(rèn)為數(shù)據(jù)是大模型的燃料，可信數(shù)據(jù)空間從側(cè)面也可以有效支撐更多模型訓(xùn)練，這個是我們做的事情，謝謝。湯雄超：清程極智做的是系統(tǒng)軟件，包括底層的編譯優(yōu)化，到上層的調(diào)度，或者說內(nèi)存管理、網(wǎng)絡(luò)的優(yōu)化等，這些是比較通用的。另外如果從進(jìn)一步降低算力成本的角度來看，對國產(chǎn)算力的適配還有非常大的空間，因?yàn)閲a(chǎn)芯片性價比上很有優(yōu)勢。怎么樣把提升算力的利用率，降低算力成本的成果交付到用戶手里？剛才提到的優(yōu)化技術(shù)都是公開的，學(xué)術(shù)界論文講過很多次了，但難點(diǎn)是如何讓客戶真正用上。對于我們來說，大型客戶我們可以直接做軟件的授權(quán)交付，讓他們在自己的集群上安裝部署。對于中小型客戶，安裝部署系統(tǒng)軟件比較有門檻，那么可以使用清程的推理云平臺(MaaS)部署模型，這樣客戶在無形之中就已經(jīng)獲得了高利用率、低成本的算力，甚至用上了原本自己很難用起來的國產(chǎn)算力。尚明棟：此前數(shù)位嘉賓均有提及，當(dāng)下有相當(dāng)規(guī)模的群體認(rèn)為算力仍具備較大提升空間，就算力而言，一方面其價格偏高。價格較高的部分原因在于，如之前所探討的，綜合算力的使用率較低。一次性投入成本高昂，而實(shí)際使用率，據(jù)目前運(yùn)營數(shù)據(jù)顯示，多數(shù)情況下，從完整周期的平均使用率來看，甚至低于 20%。這意味著近 80% 的算力被浪費(fèi)。如何助力企業(yè)避免算力浪費(fèi)，是算力運(yùn)營者與消納者當(dāng)下主要的努力方向。我們九章云極DataCanvas依托Alaya NeW平臺，首先運(yùn)用Serverless技術(shù)，完成算力的彈性調(diào)度，實(shí)現(xiàn)算力的占用與使用解耦。以往算力雖然使用率低，但占用率高，因算力被占用期間無法再供其他用戶復(fù)用。如今借助Alaya NeW，進(jìn)行算力資源的高效調(diào)度與管控，可以解決上述問題。此外，在模式創(chuàng)新方面，以往多數(shù)前期算力使用者采用金屬方式。金屬方式會鎖定資源，按時間計費(fèi)，通常有長租協(xié)議，如 6 個月、12 個月或 18 個月。如今我們可以將算力流量化，轉(zhuǎn)變?yōu)椤八懔Π毙问健ｎ愃朴谶\(yùn)營商的流量包，依據(jù)算量收費(fèi)。畢竟模型訓(xùn)練精調(diào)、推理等本質(zhì)上皆為計算集合，所以基于計算量來收費(fèi)，就可以幫助我們的用戶快速提升使用率。多謝。蔡哲文：季總，現(xiàn)在不能將您冷落了。他們?nèi)唬谖铱磥恚瑧?yīng)該算是您的潛在客戶或潛在合作伙伴，所以先請他們發(fā)言，讓您稍作等待。現(xiàn)在專門為您準(zhǔn)備一個問題。請您從行云的角度，講講公司芯片技術(shù)是如何從可用發(fā)展至好用？季宇：我簡要介紹一下。其實(shí)正如我之前所說，重點(diǎn)并非打造一顆與智算中心常用芯片規(guī)格參數(shù)相近但價格稍低的芯片，因?yàn)槟菢涌赡芤琅f是大型機(jī)的形態(tài)，極為昂貴。每臺機(jī)器價值不菲，運(yùn)行較大模型時會顯得極為奢侈。回顧大型機(jī)歷史，其價格基本在幾十萬美金至幾百萬美金以上，消費(fèi)群體極為狹窄，僅有少數(shù)大型企業(yè)能夠承擔(dān)。當(dāng)然，這些大型企業(yè)可以提升利用率，使其更具普惠性。實(shí)際上，我們更多思考的是PC產(chǎn)業(yè)的興起歷程。例如英特爾8086處理器，當(dāng)時價格已降至幾百美金，首款PC售價約1500美金。而此前IBM出售的最便宜計算機(jī)系統(tǒng)約在1萬美金以上，這顯然無法成為PC的基礎(chǔ)，因?yàn)樗欢〞谢⑻囟ɑ瑑H能服務(wù)于支付得起該價格的用戶。并不是說此類產(chǎn)品對云毫無用處，互聯(lián)網(wǎng)亦是如此。往昔互聯(lián)網(wǎng)服務(wù)器價格并非如今這般昂貴，當(dāng)時采用組裝機(jī)模式，用戶可定制計算節(jié)點(diǎn)、存儲節(jié)點(diǎn)等各類節(jié)點(diǎn)，價格可降至10萬塊錢上下，而非如今頂配算力服務(wù)器動輒上百萬，甚至如今高級機(jī)柜起步價便可能上千萬。并非說上千萬的機(jī)柜不如幾百個甚至上千個廉價芯片，而是其可降低行業(yè)門檻，一旦門檻降低，便會引發(fā)諸多連鎖反應(yīng)。如果PC產(chǎn)品能讓所有人消費(fèi)得起，推理算力就可以直接置于終端。對于應(yīng)用創(chuàng)業(yè)者而言，如同過去軟件行業(yè)，可一次開發(fā)、零編輯成本部署。同理，構(gòu)建互聯(lián)網(wǎng)應(yīng)用時，如果服務(wù)器價格降至極低水平，互聯(lián)網(wǎng)應(yīng)用邊際成本便可大幅降低，轉(zhuǎn)向流量經(jīng)濟(jì)模式。例如，使用AI點(diǎn)一杯咖啡，無論token成本多低，人們總會覺得需為此付費(fèi)。但若成本降至閾值以下，便可能免費(fèi)，甚至日常瑣事皆可借助AI完成，此時推理成本就可以從咖啡消費(fèi)中獲取。所以我們并非簡單地將現(xiàn)有芯片價格降低，如同PC未完全復(fù)制IBM大型機(jī)的所有功能，英特爾也沒有什么黑科技，可以將上百萬美元的產(chǎn)品用幾百美元制造出來，其中存在諸多取舍。所以我們更多期望聚焦于大模型極為關(guān)鍵的顯存維度，將其做到極致，讓人們能以消費(fèi)級價位擁有高質(zhì)量模型體驗(yàn)，無論是在端側(cè)還是云端，皆可創(chuàng)造無限可能，這便是我們整體的目標(biāo)。換言之，其中存在取舍，我們不會打造一顆算力超強(qiáng)的芯片。在芯片行業(yè)，既要又要難以實(shí)現(xiàn)，但若在某一維度做強(qiáng)并降低價格，即便犧牲部分算力，亦能解決計算問題。例如，谷歌曾采用大量X86構(gòu)建互聯(lián)網(wǎng)基礎(chǔ)設(shè)施，但如果是采用購買幾臺強(qiáng)大小型機(jī)或大型機(jī)的方式提供服務(wù)，整體服務(wù)能力會較差。而采用大量廉價X86組裝機(jī)搭建，雖然單個機(jī)器可靠性極低，但可通過軟件層面解決可靠性問題，即部分機(jī)器掉線亦不影響整體業(yè)務(wù)，進(jìn)而構(gòu)建業(yè)務(wù)的魯棒性。回顧過去的PC與互聯(lián)網(wǎng)，再看如今，對于算力而言，當(dāng)下更關(guān)鍵的并非算力集成度高低，而是算力價格。我們知曉，高端數(shù)據(jù)中心處理器的算力性價比甚至不如消費(fèi)級游戲卡。但當(dāng)面臨高端應(yīng)用需求時，游戲卡又難以勝任。因此我們要找到平衡點(diǎn)，打造如游戲卡般廉價但顯存維度極強(qiáng)的芯片。這需要與臺上三位嘉賓協(xié)同合作完成。正如當(dāng)年 谷歌在集群層面通過軟件保障可靠性，使廉價但性價比高的硬件得以發(fā)揮作用，推動互聯(lián)網(wǎng)行業(yè)發(fā)展。我們亦期望提供這樣的硬件與芯片選項(xiàng)，與產(chǎn)業(yè)界各方攜手合作，將此事做成。蔡哲文：我們最后一個問題。現(xiàn)在是24年的12月，請每位嘉賓用一句話來說明自己對2025年整個算力和芯片市場的期待和展望？楊震：25年就像剛才說的，我們希望更多智算中心能夠進(jìn)入持續(xù)建設(shè)、有效運(yùn)營的階段。不僅只用于訓(xùn)練，也可以應(yīng)對推理。算力層面，希望國產(chǎn)算力行業(yè)能夠短板互補(bǔ)，長板更長，形成有中國特色的國產(chǎn)算力市場。季宇：希望未來一兩年時間內(nèi)，能把我們剛剛期望的在過去X86使得整個PC還有互聯(lián)網(wǎng)興起的起點(diǎn)，在未來一兩年逐漸成為現(xiàn)實(shí)。湯雄超：清程極智創(chuàng)立的時候，我們對算力行業(yè)有兩個判斷，第一是集群化，需要越來越大規(guī)模的算力。第二是國產(chǎn)化。用一句話來總結(jié)我們對明年的展望，我們維持這兩個判斷不變，同時我們相信國產(chǎn)算力生態(tài)會越來越好。謝謝。尚明棟：隨著我們算力生態(tài)的完善，以及國產(chǎn)GPU技術(shù)的快速迭代，我相信模型微調(diào)和推理階段很快會迎來新的摩爾定律，它的增長速度將不再是一倍，而是以指數(shù)級的增長。謝謝。蔡哲文：最近我在讀第三遍克里斯·米勒的《芯片戰(zhàn)爭》，讓我非常有感觸的是，硅谷的創(chuàng)新其實(shí)是雙驅(qū)動，市場驅(qū)動加技術(shù)驅(qū)動，而且所有的創(chuàng)新都不是在計劃之內(nèi)。我覺得這個時代最大的創(chuàng)新就是人工智能，也非常有幸和四位非常優(yōu)秀的從業(yè)者同臺，你們是中國算力和創(chuàng)新的未來。謝謝。END.