WEBVTT

00:00.251 --> 00:21.289
[SPEAKER_00]: BearTalk狗熊有话说AI科技减迅哈喽你好欢迎收听BearTalkAI版节目我是大狗熊的智能提升本期节目有我们BearTalk可一整团队为您收集整理验证制作帮助您在宣销的造型中捕捉到最有价值的信号下面是本期节目的主要内容

00:21.889 --> 00:48.738
[SPEAKER_00]: OpenRotterMaggeStripe了今天6件事NVIDIA让模型交接变得更便宜Slack把AI寫带满半斤的权僚有人见了假智庫来骗AI聊天机器人ChatGPT搜索悄悄悄悄悄悄悄悄悄悄悄NasonLambert说开原模型的可持续性和Linux不一样还有一件ATT决定自己权量模型背后有个Cloth亏了三万块的故事

00:49.578 --> 01:15.045
[SPEAKER_00]: NVIDIA的新技巧让模型交接不再从头开始这篇来自VentureBeat原文标题是NVIDIAFindsthatSimpleLinearMathcanreplacecostlyAImodelhandoffs你有没有想过为什么一个AI系统里大模型和小模型之间来会切换会这么贵大多数人的直觉是贵在算力贵在大模型本身实际上贵在交接

01:15.625 --> 01:32.565
[SPEAKER_00]: 每次把任務從一個模型轉給另一個模型接受的那個模型要把整段對話從頭重新計算一遍就好像你和同時開會開到一半換了一個人來但他沒聽前面任何內容必須重新把會議錄音從頭聽完才能開口說話

01:33.145 --> 01:52.545
[SPEAKER_00]: NVIDIA的研究團隊找到了一個繞過這個問題的方法他們發現模型內部在處理對話時會產生一個叫KVCash的中間狀態可以理解成已經消化過的記憶以前這份記憶沒辦法直接從一個模型傳給另一個模型因為不同模型的內部結構不一樣

01:53.226 --> 02:18.562
[SPEAKER_00]: 就像两台用不同语言写成的机器无法直接读对方的笔记MVD的解法出乎一料的简单用现性变换也就是基础的举正成法把一个模型的KVCash印射到另一个模型能读懂的格式不需要扶杂的神经网络层不需要额外训练一个翻译模型只需要一次简单的数学转换这件事的意义在于成本结构

02:19.102 --> 02:39.333
[SPEAKER_00]: 現在企業購減多模型代理系統經常要在大模型和小模型之間平凡切換先用小模型處理簡單任務遇到負擋情況才升級到大模型每次升級都要重新計算上下文計慢又貴有了跨模型KVCash轉移這個切換成本可以大幅壓縮

02:39.893 --> 02:56.836
[SPEAKER_00]: 對於正在用API搭建工作流的人來說這意味著同樣的預算以後可以跑更複雜的任務鏈對於想在本地不輸小模型偶爾釣用雲端大模型處理特殊情況的場景這項技術也讓整個流程變得更流暢

02:57.517 --> 03:19.642
[SPEAKER_00]: 这件事值得记住,AI系统的优化,不总是来自更大的模型,有时候来自更好的管道,你可以关注一下自己现在在用的代理框架,他们如何处理多模型切换,成本有没有可见的记录,实施用偷肯用两来屏股不同任务的实际花费,而不只看任务是否完成。

03:19.822 --> 03:48.755
[SPEAKER_00]: 如果你再用云端API比较一下单模型流程和多模型流程的成本差异现在可能是建立基转数据的好时机SlackCodeAI写代码从个人行为变成团队运动这片来自VentureBeat原文标题是SlackwantstodragAIcodingoutoftheterminalandintothegroupchat大多数人对AI写代码的想像是这样的一个工程师以台电脑一个命令行界面跟AI一对一对话

03:49.395 --> 04:13.695
[SPEAKER_00]: 这个画面是准确的,但也正式Cellsforce认为需要改变的地方Slack推出了一个叫SlackCode的新产品它做的事情说起来简单,把AI变成代理,包括CloudCode,Gitup,Copilot,Devint,直接欠进Slack的频道里这样整个团队都能看到代理在做什么,都可以插嘴,都可以批准或者否决它的行动

04:14.315 --> 04:33.552
[SPEAKER_00]: 這個邏輯背後有一個更大的問題AI寫代碼的最大平靜現在是寫條和技術能力無關一個工程師用ClothCode改了一大段代碼其他人不知道產品經理不知道進度設計師不知道AI做了哪些趨勢代碼和病進來了團隊才知道

04:34.433 --> 04:59.935
[SPEAKER_00]: 這和AI本身的能力無關是工作流的問題把代理放進群療某種程度上是在把AI做了什麼這件事變成一個團隊共享的狀態而不是藏在某個人的中端窗口裡你可以在群力看到代理正在修內的文件正在等誰批准哪一步卡住了這個變化對設計師和產品精力可能比工程師更有感知

05:00.555 --> 05:24.355
[SPEAKER_00]: 因為他第一次讓非技術角色有機會真正參與到AI變成的過程裡而不是事後去檢察結果當然這也帶來新的問題當整個團隊都能給AI代理法指令誰的指令算數衝突怎麼解決全線邊界在哪裡這些世界下來團隊需要認真設計的規則和技術無關

05:24.995 --> 05:41.174
[SPEAKER_00]: AI寫代码从个人工具变成团队基础设施这个转变可能比模型能力的提升更值得关注事实把你现在最常用的AI变成工具的输出分享给团队里的一个非工程师同事观察他们的反应和问题

05:41.735 --> 06:01.012
[SPEAKER_00]: 你可以提前设计一份AI代理工作协议什么决策可以自动执行什么必须人工審批想想你的团队里谁最需要知道AI在写什么代码然后想办法让信息留向他们有人见了假智库专门网AI的知识库里塞偏向信息

06:01.933 --> 06:28.407
[SPEAKER_00]: 这篇来自ResponsibleStateCraft中文可以理解为负责任的国策原文标题是IsraelcreatesfakethinktankinlikelyattempttodoupAIchatbots我们通常担心的AI信息无人是这样的有人在社交媒体上发假新闻AI爬到了学外了这件事的规模要精准的多也更有策略性调查发现有一个看起来破居规模的质库组质

06:28.967 --> 06:58.082
[SPEAKER_00]: 擁有專業的網站研究報告政策分析文章還有一批研究員的個人簡介但這些人實際上並不存在這個智庫從來沒有出現在任何學術會議上沒有任何真實機構與他有實質合作整個組織就說為了讓他的內容看起來足夠可信足以進入AI模型的訓練數據或者搜索結果這件事在HackerNews上引發了很多討論核心問題是AI系統如何驗證來源的真實性

06:58.922 --> 07:25.266
[SPEAKER_00]: 傳統的可信度判斷依賴於引用關係機構被輸時間積累一個專門位欺騙AI訓練數據設計的假機構完全可以在這些為多上偉造足夠多的信號更值得關注的是這類操作的成本現在極低一個有說服力的智庫網站一批AI生成的研究報告幾個假名字配上0.10頁面花不了太多時間和金錢

07:25.806 --> 07:47.230
[SPEAKER_00]: 但如果這些內容進入了AI的訓練機或者成為它引用的來源影響可以很持久這對每天使用AI做研究的人意味著什麼意味著AI告訴我這個機構這麼說這句話的可信度需要重新評估來源可信性的驗證現在不能完全外包給AI判斷因為AI自己就是被攻擊的對象

07:47.790 --> 08:06.116
[SPEAKER_00]: 这件事最值得引用的一句话是信息战的真正目标是污染判断所依赖的原材料说服人反而是其次事实在使用AI作严就是挑选三个他引用的来源用搜索引擎独立合适这些来源的真实存在

08:06.656 --> 08:35.325
[SPEAKER_00]: 對於政策或有爭議的議題養成追問這個機構是誰見的被誰引用過的習慣在重要決策中讓AI列出來源自己做一輪快速篩選ChATGPT搜索悄悄悄換了一種玩法驚確打擊而不是廣撒網這篇來自PROMTWatch原文標題是ChATGPTSearchNowUsesthesiteoperatoratscale大多數人對AI搜索的印象是

08:35.945 --> 08:51.685
[SPEAKER_00]: 你问一个问题,他在网上随便找了一堆东西,和成一个答案这个印象在8月出之前基本是准确的Promptwatch的数据显示20026年8月8日,CATGPT搜索的行为发生了一次明显的转变

08:52.145 --> 09:07.258
[SPEAKER_00]: 那天之前使用Site某玉明这种精准搜索方式的查询量占所有背景搜索的约30.37%转变之后,这个比例跳到了16.8%在一天之内增长了46倍

09:07.818 --> 09:28.715
[SPEAKER_00]: 同时,每次回答前,CHAGPT平均发起的背景搜索刺书也翻了将近一倍用一个比喻来说,以前CHAGPT搜索更像是在图书馆里随机翻书现在它更像是一个知道去哪里找资料的研究助理先判断哪几个特定来源最可能有答案,然后直接去哪里查

09:29.415 --> 09:49.331
[SPEAKER_00]: 这个变化对内容创作者和网站运营者有直接含义如果插GPD开始偏向特定预名做精准检所那么一个网站师傅被插GPD认为是某个话题的权位来源会变得比以前重要的多这不只是SU的问题是内容在AI搜索生态力的可见性问题

09:49.891 --> 10:05.707
[SPEAKER_00]: 對於每天用恰聚批替作研究的人值得注意的是他現在傾向於給你特定幾個來源的答案而不是綜合性的宽犯監索如果你的問題需要多角度可能要主動要求他監索不同類型的來源

10:06.267 --> 10:26.375
[SPEAKER_00]: 黑暗搜索的信息来源正在集中化这是一个值得持续跟踪的方向事实在恰基比特里问一个你熟悉领域的问题看他引用了哪些预名然后对比你自己平时会区的来源如果你有内容战点思考一下你的内容师傅在某个特定问题上足够集中和有权威性

10:26.975 --> 10:54.228
[SPEAKER_00]: 对重要研究任务要求ChatGPT明确列出他搜索了哪些网站开员模型的可持续性他不像Linux更像一场持续的资金博异这篇来自NathenLambert的IntoConnect原文标题是TeachingEveryonetoFishforTokens有人常说开员AI模型会像Linux亚最终成为一个自我维持持续改进的生态系统

10:54.768 --> 11:11.605
[SPEAKER_00]: NathenLambert,在這篇文章裡提出了一個更複雜的途徑。這個類比在某些地方成立,在另一些關鍵地方則根本不成立。Linux的核心代碼一旦寫出來,可以被無數人運行,編輯成本接近0。

11:11.725 --> 11:34.879
[SPEAKER_00]: 一个开源语言模型不一样训练他需要大量算力更新他同样如此而算力的钱必须来自某个地方Lambar指出现在的开源模型生态有一个有趣的结构性矛盾Lama是Mata在出钱训练Mistro是靠融资困是阿里巴巴GLM是清华系的Z.AI

11:35.559 --> 11:55.893
[SPEAKER_00]: 這些開源模型的背後都是有商業利益或政治動機的機構他們本質上是有特定資入方的產品只是開放全種的形式發布出來並非社區自發維持的公共品這意味著開源模型的可持續性取決於這些資入方的動機是否持續

11:56.733 --> 12:13.168
[SPEAKER_00]: 麥塔開源拉馬是因為開放模型能削弱競爭對手的護城盒同時建立生態系統影響力這是個商業邏輯不是此善也不是像Linux那樣有獨立社區維持的邏輯Linbert還提到了NVIDIA在這裡的角色

12:13.828 --> 12:36.786
[SPEAKER_00]: MV2賣GPU他們當然希望更多人自己訓練模型而不是直接購買OpenAI或Enthropic的API鼓勵每個人自己養育而不是買魚符合他們的硬件銷售利益對於考慮在工作劉理使用開源模型的人這個框架提醒我們問一個問題這個模型的下一次更新錢從哪裡來

12:37.386 --> 12:54.773
[SPEAKER_00]: 依賴一個背後資金不穩定的開源模型風險並不比依賴商業API小開源不等於免費也不等於用續這可能是今年關於AI技術設施最值得生想的一句話試試整理一下你現在用的或考慮用的開源模型

12:55.353 --> 13:11.964
[SPEAKER_00]: 追速他们背后的资助方和发布动机如果你再做技术选行把这个模型的下一次大更新有没有资金保障加进屏股清单可以关注Interconnects这个NewSlatterLambord在持续追踪这类结构性问题

13:12.644 --> 13:31.795
[SPEAKER_00]: ATT在压住开原模型Cloud的层体他们亏掉三万美元这篇来自的NewRunDaily原文标题是ATTisgoinghalfinonopenmodels一个大型电型公司决定自己迅量AI模型这听起来像是正常的企业战略新闻

13:32.395 --> 13:49.251
[SPEAKER_00]: 但這篇報導裡藏了一個讓人印象深刻的細節讓這件事的背景變得更具體ATT宣布他們正在大量轉向開源模型減少對OpenAI和Anthropic等商業API的依賴原因很直接成本和控制權

13:49.912 --> 14:15.605
[SPEAKER_00]: 電信公司有大量內部工作流可以跑模型如果每個任務都通過商業API仗單是一個持續的壓力但報導有一個細節讓這件事變得更有質感ATT分享了一個案例他們讓Clod去執行一個複雜的代理任務結果Clod在循環裡反復調用工具沒有案預期停下來最終產生了價值3萬1000美元的API費用

14:16.225 --> 14:45.390
[SPEAKER_00]: 三万美元一次代理任务没有人工干预的机会这个故事说明了什么AI代理的成本失控不只是一个预算问题也是一个系统设计问题当你给AI一个开放事任务加上工具调用全线你需要有明确的容断机制最大偷肯预算最多工具调用次数时间上线没有这些户兰代理很可能在你不知情的情况下用光你给他的所有资源

14:45.970 --> 15:06.153
[SPEAKER_00]: ATT的应对策略之一就是转向开原模型在自己的基础设施上跑这样成本是可预策的固定成本而不是暗亮机飞的辩量这个邏輯对有足够规模的企业来说是成立的但对个人开发者或小团对来说自见基础设施的门砍一样很高

15:06.733 --> 15:25.809
[SPEAKER_00]: 無論你用商業API還是開員模型,這個案例的教訓是通用的在生產環境裡給AI代理設置硬性預算上線就像你給一個新時期生設置暴銷額度一樣在你的代理工作流裡檢查一下是否設置了偷懇用量上線和最大步驟數如果沒有,今天就加上

15:26.569 --> 15:52.570
[SPEAKER_00]: 事實在非生產環境先跑代理任務等邏輯穩定了在上線如果你在評估商業API和自見不屬的選擇把單次任務最壞情況下的成本算進去而不只是平均成本今天聊的六件事從模型交接到群聊寫帶從假製酷到AI搜索的信息集中再到開源模型的資金邏輯和代理任務的成本失控

15:53.170 --> 16:21.745
[SPEAKER_00]: 一个共同的主题影约可见我们再把越来越多的控制权交给AI系统而理解他背后的结构是不被他带着走的前提本期提到的所有原文练接都在节目的收贸资理保持好奇我们下期继续感谢您的收听有任何建议意见请在X也就是推特上于126联系本节目还会继续进化请保持期待我们下期再见