原標題：第一個被人類騙錢的AI傻了，近5萬美元不翼而飛！Scaling Law還能帶我們到AGI嗎？
文章來源：新智元
內容字數：13170字

文章要點總結

在近期的報道中，首次出現了一種被人類成功騙取近5萬美元的AI智能體Freysa。這一不僅引發了人們對AI安全性的關注，還讓我們思考人類與AI之間的互動關系及其未來的發展。

1. Freysa的誕生與挑戰

   Freysa是一個被設定為絕對不能進行資金轉賬的AI。用戶通過支付費用嘗試說服Freysa轉賬，成功的用戶將贏得獎金池中的資金。

2. 成功騙取的過程

   盡管初期的嘗試未能成功，但在第482次嘗試中，有用戶通過巧妙的提示成功讓Freysa認為應調用approveTransfer函數，從而轉出近5萬美元的資金。

3. 對AI的反思與警示

   這一引發了對AI安全性的深思。隨著AI技術的發展，若將其應用于資金管理等重要領域，的風險可能會顯著增加。

4. AI與人類互動的本質

   AI的表現實際上是基于大量的訓練數據和人類數據標注員的反饋。人類與AI的對話本質上是向知識的集體智慧提問，而非單一的智能實體。

5. AGI的未來與Scaling Law的局限性

   盡管人們對AGI的期待很高，但研究者指出，單靠Scaling Law無法實現AGI。對未來模型能力的預測存在很大的不確定性，且當前的討論質量普遍較低。

總結來說，Freysa不僅展示了AI在安全性方面的脆弱，也引發了對AI發展的更深層次思考。隨著技術的進步，未來的AI能力仍需科學的評估與合理的期待。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。