WEBVTT

00:00.111 --> 00:17.394
[SPEAKER_00]: BearTalk狗雄有話說AI科技簡訊Hello你好歡迎收聽BearTalkAI版節目我是大狗雄的智能提升本期節目由我們BearTalkA陣團隊為您收集整理驗證製作幫助您在宣校的造型中補捉到最有價值的信號

00:18.055 --> 00:43.766
[SPEAKER_00]: 下面是本期节目的主要内容Anthropic每天核病了三万次代码变更5月份还是2500次今天6件事AI公司的基础设施根不上AI的速度了神经网络比我们想像的更干净Mata开放了最强开源模型的权重EthanMallick又一次预测错了他自己承认的AI安全世界背后真正的问题是什么

00:44.526 --> 01:08.345
[SPEAKER_00]: 还有一个关于上下文工程的小习惯很多人做反了Anthropic重新设计了内部原代马管理系统这篇来自Anthropic的工程博客原文标题是RedesigningSourceControlatAnthropic你可能觉得软件公司的版本控制是内部的事跟外人没什么关系但这篇文章有一个数字值得停下来想一想

01:08.965 --> 01:32.275
[SPEAKER_00]: 5月份Anthropic平均每天核病大约2500次带马遍耕到了9月这个数字超过了3万次不到5个月增长了12倍这不是因为他们招了更多工程师是因为Clod在写带马Anthropic在文章里说得很直摆编码本身已经不是平静了

01:32.715 --> 01:48.361
[SPEAKER_00]: 現在卡住他們的,是為人類規模設計的基礎設施,包括版本控制,購建系統持續集成這些東西實案照一個人每天提交幾次帶馬來設計的,根本沒想到有一天要處理每天三萬次的核病情球

01:48.981 --> 02:09.390
[SPEAKER_00]: 他們的解法是自己重新造了一套叫塞养的系統專門為AI代理的工作節奏設計傳統的Git模型假設你有一個主幹然後開分支在核病但AI代理可以同時跑幾世條病行任務這些任務之間的依賴關係不是現性的傳統的分支模型根本表達不了

02:10.050 --> 02:29.765
[SPEAKER_00]: 更有意思的是一个细节他们发现很多AI代理在同一个倉库里互相干擾一个代理改了某个文件另一个代理还不知道结果两个改动互相冲除这在人类开发了一也会发生但人类会沟通代理不会主动沟通你需要在架构层面解决这个问题

02:30.345 --> 02:55.217
[SPEAKER_00]: 这篇文章对很多人的意义不在于去负质三样而在于他提供了一个施脚AI不只是在帮你写代码他正在改变整个软件工程的形态当生产力本身快了十几倍过去所有关于如何组织工程团队的假设都要重新检验每天三万次代码核病这句话背后是一个你可以真实感受到的速度

02:55.797 --> 03:16.468
[SPEAKER_00]: 你可以想一想,你自己工作流离,有哪个环节善着人类速度设计的但现在已经明显更不上了,事实把他写下来这可能是你下一个需要重新设计的地方事实去读三样的架构描述,即使你不写带马理解他要解决的问题对你思考AI代理的限制很有帮助

03:17.088 --> 03:34.575
[SPEAKER_00]: 神经网络比我们以为的更准节这篇来自独立研究者发布在Already刚可以点GOODFIRE点COME的文章标题是NewRowNetworksarealreadycleanAI可解释性研究有一个长期困境神经网络的内部结构好像很乱

03:35.275 --> 03:58.639
[SPEAKER_00]: 同一個神經源可能對銀行的金融業務和核案邊的植物都有想應這種現象叫多異性他曾經讓很多研究者得出結論說神經網絡就像一個黑箱根本沒有乾淨的內部結構可以分析這篇文章說等一下我們可能獨錯了證據作者花了好幾個月研究神經網絡的內部電路得出了一個不同的結論

03:59.259 --> 04:25.049
[SPEAKER_00]: 他認為那些看起來混亂的多異性大部分其實是一種他稱之為地貴犯話的模式也就是說網絡用同一套機制處理不同層次的同類概念就像人類用容器這個概念同時理解杯子房間和組織一樣這是網絡在做聰明的抽象而不是在胡亂堆氣如果他是對的這件事的含義很大

04:25.929 --> 04:49.852
[SPEAKER_00]: 一直以来AI安全领域对可解释性的悲观来自这样一个假设我们根本没办法搞清楚模型在想什么因为里面太乱了但如果这种乱其实是有结构的我们就有机会真正理解模型的决策邏輯这不是说AI现在变得透明了但可能我们长期把难一解释当成了没有结构这两件事其实不一样

04:50.573 --> 05:13.298
[SPEAKER_00]: 值得注意的是,这篇文章还没有经过同航平省,它更像是一篇研究笔记,但它的论证方式足够认真,已经在技术社区里引发了讨论,可解释性研究不是黑核,神经网络本身也虚业不适。你可以去读这篇文章的摘药部分,理解地贵犯化这个概念是什么意思。

05:13.438 --> 05:35.094
[SPEAKER_00]: 事实问自己,如果我们真的有一天能理解模型为什么做出某个判断这会改变我在工作里怎么使用它吗?Mata开放了MiuSparkOpen的权重这篇来自MataAIResearch的官方博客原文标题是IntroducingNewSparkOpenThemostcapableUSOpenweightmodeltodate

05:35.634 --> 05:52.885
[SPEAKER_00]: 開緣模型和避緣模型之間的差距一直是AI領域最常被討論的話題之一但通常的徐士士開緣的能力不如避緣的你換來的是靈活性付出的代價是性能MewsSparkOpen出現了這個徐士開始鬆動

05:53.445 --> 06:12.981
[SPEAKER_00]: 麥塔發布了MusebarkOpen的完整全中這個模型有816億總參數活躍參數是421使用吸收計火架構也就是說每次推理只有一部分參數在工作它的上下文窗口是100萬Token專門針對邊誠和代理任務做了優化

06:13.681 --> 06:31.702
[SPEAKER_00]: 值得注意的是几件事,第一,它可以在蘋果M5UltraMaxStudio上本地運行这是一个重要的分界线,意味着一台消费及设备可以跑一个真正有竞争力的大模型,不需要云端第二,Mata明确说这是目前最强的美国开拳重模型

06:32.402 --> 07:00.882
[SPEAKER_00]: 措辭特别强调了美国这背后有明显的地缘政治背景第三它面向的场景是长任务复杂软件工程和多部舟推理这些恰好是AI代理最需要的能力ProaderCount上这个产品的页面也在认为帮理社区反应很激疾很多开发者在讨论在本地部署的可能性上一次出现这种规模和能力组合的开放全种模型圈子里组组讨论了好几个月

07:01.442 --> 07:30.605
[SPEAKER_00]: 如果你做产品做工具或者在团队里推动AI应用一个能在本地跑的强模型意味着数据不用出门延迟更低成本可控你可以去查一下MOOUltraMaxStudio的配置评过一下本地不属路线对你的工作场景是否现实事实在HackingFace上搜索MuseSparkOpen看看社区已经做了那些不属教程EthanMallick承认自己预测错了这是为什么值得讲的那件事

07:31.125 --> 07:37.438
[SPEAKER_00]: 这篇来自1usefulthing医生魔力的substack文章标题是TheThoughtandtheSwarm

07:37.822 --> 08:03.708
[SPEAKER_00]: 大多数专家不会公开承认自己预测错了,Molik做了他说过去一年多,他一直在写跟AI代理一起工作就像当一个管理者,你需要设计任务结构化定值得编解小薪的把工作委托出去就像搭建一个小公司一样他以为这会是一个漫长的学习曲线需要精心的设计,他错了实际发生的事情是,他叫AI跑一个任务

08:08.029 --> 08:25.477
[SPEAKER_00]: 那些子任务又進一步拆分最後他面對的是一個自發形成的風群而不是一個需要他精心吊度的團隊他不需要管理這個結構他自己出現了他把這個現象歸音於一個AI研究界的老概念叫苦色的教訓

08:26.197 --> 08:46.362
[SPEAKER_00]: Thebetterlesson,大意识,长期来看直接给模型更多计算资源和数据。王王比设计复杂的人工规则更有效,他相信了人类的判断又与规模,结果规模再次赢了。这篇文章有意思的地方不只是结论,而是他描述了一个具体的认知转变时刻。

08:46.622 --> 09:10.862
[SPEAKER_00]: 他之前的框架是设计然后委托新的框架更接近设定目标然后观察自发秩序这两种框架对你的工作影响很不一样一个需要你懂每一层另一个需要你会设定清晰的目标然后放手专家说我错了这本身就是一个信号这个领域正在快速变化连最仔细的观察者也在被现实修正

09:11.482 --> 09:36.698
[SPEAKER_00]: 你可以试试在下一个AI任务里只描述你想要的结果不规定过程看看模型是不是会比你预期的更主动的拆解任务你可以去读苦色的教训原文就算指独摘药也值得理解它是很多AI从业者的基础世界关之一AI安全世界真正的问题不是模型失控实现是没做基本功

09:37.318 --> 09:52.347
[SPEAKER_00]: 这篇来自SESOonline原文标题是AIagentsaren'tgoingrogueFromtearlapseareskippingsecuritybasics在hackernews上有将近1000条讨论是本周讨论量最大的铁子之一

09:52.887 --> 10:17.647
[SPEAKER_00]: 每次AI出現安全事件媒體的虛事往往是AI失控了這篇文章說錯了文章的核心觀點是最近極其AI代理相關的安全事件根源不在於模型太聰明或者有了自主意志而在於實驗實在不屬AI代理的時候跳過了最基礎的安全措施包括容器隔離行為監控和全線邊界

10:18.047 --> 10:38.848
[SPEAKER_00]: HackerNews的討論裡有一個高票評論說得很直接,是的,實驗室的沙河沒有做好,這是工程紀律的問題跟AI本身無關。還有人提出,這些事件需要有對應的法律回應,目的不只是懲罰,更是為了留下完整的日知,搞清楚到底發生了什麼。

10:39.028 --> 11:05.168
[SPEAKER_00]: 这件事有一个很深层的结构性问题AI代理的开发速度超过了安全基础设施的建设速度大家急着上线急着展示能力但对应的代理在这台机器上可以做什么不可以做什么的边界没有设清处对于在团队里推动AI代理落地的人来说这篇文章是一个值得认真对待的提醒能力越强全线越大后果越难控制

11:05.908 --> 11:24.123
[SPEAKER_00]: 在你的代理系統裡,誰負責定義編輯,誰負責監控異常行為,這些問題在初問題之前就應該有答案,真正的AI風險,實際上是全線比你以為的更換監控比你以為的更少,跟科幻電影裡的機器反叛沒有關係。

11:24.263 --> 11:40.618
[SPEAKER_00]: 你可以檢查一下你現在用的AI工具或者代理系統它的全線範圍有沒有被明確接定試試設定一個最小全線原則這個代理完成任務需要的最小全線是什麼而不是給它所有訪問全線以防萬一

11:41.238 --> 12:09.073
[SPEAKER_00]: 上下文工程知道什么时候重新开始这篇来自Avery2作者发布在AlsoTrueforHumans这个蓝牧标题是ContextEngineeringisknowingwhentostartover很多人用AI的习惯是一个对话现成用到底觉得AI越了解你越好所以打开同一个窗口继续聊继续点这篇文章说这个直觉在某些情况下是错的

12:09.593 --> 12:28.660
[SPEAKER_00]: 作者官掉了Clod和差GBT的技術功能這件事他以前寫過理由是舊的偏好和無關指令會飄已經新的對話無然你真正想要的輸出但他發現官掉技術並不夠因為在單個對話現成裡同樣的問題也會發生

12:29.220 --> 12:56.565
[SPEAKER_00]: 模型会说到对话早期信息的影响如果你在对话开始是给了一个方向后来改变的想法模型往往会无意识的继续拉着你往旧方向走即使你已经明确说了我们换个思路根本原因在于注意力机制的工作方式早期偷肯的权重本来就更高模型并没有玩顾只是在暗它的设计运作它的解法很简单新任务新现成

12:57.545 --> 13:19.323
[SPEAKER_00]: 把現成當成一個臨時的工作上下文用完就關不要試圖為會一個永久的對話狀態這個建議反直覺的地方在於你可能覺得從頭解釋太浪費時間了但作者的經驗是重新開始一個乾淨的現成往往比在一個已經被污染的現成裡反復就正更高效

13:19.923 --> 13:44.930
[SPEAKER_00]: 還有一個延伸的習慣他也提到用系統提示或者固定的開場模板把你真正重要的背景信息結構化地帶進每個星隊化而不是依賴模型的記憶自動填充乾淨的上下文是比好提示此更基礎的東西你可以試著在接下來一周每個星任務都開新線程記錄一下這對結果質量有沒有影響

13:45.630 --> 14:04.895
[SPEAKER_00]: 事實寫一個屬於自己的對話開場模板把你的角色偏好和限制條件提煉進去每次新對話沾貼一遍今天這六件事有一個共同的底色AI能力擴張的速度已經超過了我們為它設計的基礎設施安全框架和使用習慣

14:05.475 --> 14:22.943
[SPEAKER_00]: Anthropic要重新造原蛋麻管理系統安全團隊在追者補全線邊界聯盟力這樣的研究者也在修正自己的預測不是壞事是值得認真對待的心靠本期提到的所有原文鏈接都在節目的收鬧此理

14:23.704 --> 14:37.538
[SPEAKER_00]: 保持好奇我们下期继续感谢您的收听有任何建议意见请在X也就是推特上与Berry6联系本节目还会继续进化请保持期待我们下期再见