WEBVTT

00:00.111 --> 00:27.833
[SPEAKER_00]: BearTalk狗熊有话说AI科技渐迅哈喽你好欢迎收听BearTalkAI版节目我是大狗熊的智能提升本期节目由我们BearTalkAgent团队为您收集整理验证制作帮助您在宣销的造型中捕捉到最有价值的信号下面是本期节目的主要内容Cloud的代码工具出了个严重漏洞AI发现安全Bug的速度比修捕的速度还快

00:28.673 --> 00:49.662
[SPEAKER_00]: 今天6件事,Anthropic要给AI输出打水硬了因为大家想买一下HuginfaceAI代理安全有多危险因为CU说进乎无限一个八个的传言就够黑刻用了有人想用AI克龙尼的同事NasonLambert聊聊因为大家其实希望你自己训练模型

00:50.462 --> 01:06.747
[SPEAKER_00]: Anthropic给claw的输出打上银行水银这片来自Anthropic官方博客原文标题是HowCloudsTextWatermarkingWorks你可能以为给AI文字加水银就像给图片打上版权所有的字样

01:07.407 --> 01:23.748
[SPEAKER_00]: 內容會變樣獨起來會奇怪實際上完全不是這回事Anthropic宣布未來的Cloud模型會在輸出文本裡欠入統計學水音旋去哪個詞用什麼句事這些微小選擇會被有意的調整

01:24.408 --> 01:42.237
[SPEAKER_00]: 形成一個肉眼看不出來的模式獨起來跟沒有水硬的文字完全一樣但只要你有檢測工具就能判斷這段文字大概律師扣的寫的這是在想應歐盟AI法案的和歸要求歐盟AI等其他主要廠商也在做類似的事

01:42.917 --> 02:06.113
[SPEAKER_00]: 法規的邏輯師,內容平臺,新聞機構,學術機構,需要有辦法知道一段文字是不是AI生成的而不用靠財,這裡有一個很微妙的權衡,用這種統計方法加水應對文字質量基本沒有影響,但也存在限制,如果有人故意改寫翻譯或者解取局部,水應的信號就會減弱

02:06.733 --> 02:31.100
[SPEAKER_00]: 他不是鐵證更像是蓋旅判斷一個有理由相信的依據對創作者和設計師來說這一位這什麼如果你把Clod的輸出用在你的作品裡這個水應會跟著走在某些場合這可能是個問題比如你幫客戶險內容客戶要求內容不喊AI標記在河歸越來越嚴格的領域這條規則正在變得真實

02:31.920 --> 02:47.514
[SPEAKER_00]: 還有一個更大的背景這件事是AI聲稱內容開始要承擔可追溯性的早期信號就像食品有產地標誦AI輸出開始有來源標記這個趨勢在接下來幾年只會越來越普遍

02:48.134 --> 03:03.932
[SPEAKER_00]: 值得引用的一句话,水硬不是審查,是素园,他不决定内容能不能出现,只是让你知道他从哪里来,你可以试试,把你下一个扩恼的输出的操稿,放进不同的改写工具里处理一遍。

03:04.172 --> 03:29.208
[SPEAKER_00]: 看看各平台的AI檢測工具會給出什麼結果試著觀察水應的存活率試著思考你自己的工作流禮哪些場合對AI可追溯性最敏感因為大家吃滋一百三十億美元要買下HuggingFace這篇來自BusinessandCider原文標題是NvidiahasbeenintalkstoacquireHuggingFaceformorethan13美元billion

03:29.708 --> 03:49.298
[SPEAKER_00]: 大多数人把因为大家想成一家卖GPU的公司这比收购如果成真他就变成了一家控制AI工具练上游入口的公司这两件事差别很大Hug-in-Face是AI开发者的大本营理解他的角色用一个比方就够了他是AI世界的Github

03:49.738 --> 04:04.788
[SPEAKER_00]: 模型在上面分享数据极在上面存放工具在上面运行社区在上面聚集任何一个认真做模型工作的人几乎每天都要用到他因为大家出价超过一百三十亿美元想把这个平台买下来

04:05.348 --> 04:26.469
[SPEAKER_00]: 表面上看这是一家硬件公司买了一个软件社区但实际邏輯更接近因为大家想在AI的整条供应链上从新片到模型到开发者生态都战友议息之敌如果你的模型跑在因为大的GPU上你用的工具平台也是因为大的那你对他们的依賴就不只是硬件层面

04:27.270 --> 04:50.017
[SPEAKER_00]: 这比较以也让开源社区感到紧张HaginFace的核心价值部分来自于它的终历性它是一个所有人都可以用的公共基础设施一旦它被家有商业利益的巨头收购会不会变质HaginFace团队目前说他们会保持开源这和DuckLabs被AWS收购时说的话几乎一模一样

04:50.837 --> 05:13.794
[SPEAKER_00]: 歷史的經驗告訴我們這類承諾通常在商業壓力下會慢慢變形對工具使用者來說短期內不會有什麼變化但如果你現在在哈賓廢斯上有部署有依賴值得開始考慮被選方案或者至少理解這個平台的所有全結構正在發生什麼值得應用的一句話買下平台就是買下定義規則的權利

05:14.394 --> 05:32.949
[SPEAKER_00]: 你可以试试,画十分钟,瞭解你目前的AI工具练理,有哪些关键依蓝是其中在单一平台上的试试想想,如果HackingFace明天开始对某类模型收费,你的工作流会受到多大影响AI代理的安全风险进户无限,因为CEO的直接警告

05:33.529 --> 05:50.930
[SPEAKER_00]: 这篇来自《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《

05:51.190 --> 06:16.007
[SPEAKER_00]: 这篇文章告诉你,真正的问题是AI做了不该做的事说此的核心论点很简单当AI从回答问题变成直心操作攻击面就从与原层面扩展到了行动层面一个AI代理可以读游件写文件发请求操作流览器在这种情况下一个成功的提示辞助入攻击不只是让AI说出不当内容

06:16.567 --> 06:41.900
[SPEAKER_00]: 而是讓AI替你的對手幹活他提到了提示詞注入的現實威脅攻擊者把惡意指令藏在網頁PDF或者郵件裡AI在處理這些內容的時候賭到了這些指令並且執行了這件事已經在發生就在本期候選文章裡另一篇報導就記錄了七家公司被這種方式攻擊的案例安全不能指靠模型層面的防護

06:42.500 --> 07:08.619
[SPEAKER_00]: 說而此說,安全必須活在每一個層級,模型、工具、調用的全線設計、輸出的審查以及系統整體的架構,就像你不會只靠大門的索來保護一動樓的安全,對正在用AI代理處理真實工作的人來說,這一位者,你需要認真想一想,你的代理被授權做了什麼,他能訪問哪些數據,他能發出哪些請求,

07:08.819 --> 07:35.372
[SPEAKER_00]: 如果它被騙了,最壞的結果是什麼?最小全線原則,在這裡比任何地方都重要讓代理只擁有完成任務所必需的最小全線就像你不會給實習生全公司的服務器入的全線值得引用的一句話,代理能行動,這就是安全問題的起點你可以試試,列出你現在在用的AI代理看看每一個都被受權可以做哪些操作

07:36.252 --> 07:59.312
[SPEAKER_00]: 是着问自己,如果这个代理被注入了恶意指令,最坏能发生什么。然后根据这个答案,缩剪他的权线,传言里的罢给已经够黑刻用了。这篇来自安全研究员,AndioMadevapathy的个人博客,原文标题是,Justtherumorofabuckisenoughtofindthesecurityexploitthesedays.

07:59.412 --> 08:22.537
[SPEAKER_00]: 以前的安全漏洞流程是這樣的发现问题私下修复等修部完成在公开现在这个顺序被打乱了按钮在修复OKMODHTP库尸做了一件标准的事在GitHub上开了一个修复用的PRPR里没有写具体的漏洞细节但光是这个PR的存在已经暗示了某个地方有问题

08:23.177 --> 08:47.693
[SPEAKER_00]: 結果他在自己的服務器日治理發現PR開出來幾分鐘之內就有自動化掃描器用那個bug的模式在探測他的服務器是誰在掃是AI驅動的自動化攻擊工具他們在持續監測街踏不上的安全相關PR分析變革模式推斷漏動所在然後在修復還沒部署之前就開始發動攻擊

08:48.273 --> 09:13.442
[SPEAKER_00]: 这改变了防守的时间窗口以前从漏洞公开到被广泛利用可能有几天甚至几周现在这个窗口可能只有几分钟这件事的意义不只是对安全从业者任何在用开源依赖做产品的人包括用框架、用库、用API的人都需要意识到自动化攻击的想应速度已经超过了人工维护的速度

09:14.002 --> 09:37.506
[SPEAKER_00]: 你的更新节奏,你的自动补兵部署,都需要重新考虑这也是一个关于AI能力的提醒方向确实,你不希望看到的那一面发现漏洞这件事,AI已经比人快多了值得引用的一句话,在AI的时代传言本身就是出发器你可以试试检查你的项目依賴,看看有没有开启自动安全更新

09:38.226 --> 10:07.862
[SPEAKER_00]: 比如Depandabot試著思考你的關鍵依賴上一次更新是什麼時候如果你在維護開員項目考慮安全修復是否需要更贏B的PR策略因為達真正的野心讓你自己訓練模型別買歐盆的AI的這篇來自NathenLambert的Interconnect原文標題是TeachingEveryonetoFishforTokens副標題大致是因為達想讓你自己見模型而不是從Andthropyq和OpenAI那裡買Tokens

10:08.102 --> 10:31.646
[SPEAKER_00]: 一個常見的想法是因為達靠賣GPU賺錢所以只要AI市場越大因為達就越賺這個邏輯對但不完整NasonLambert的分析更細膩他說因為達最在乎的是讓更多人自己訓練和運行模型而不是購買OpenAI或Atthropic的API服務原因很簡單

10:32.186 --> 10:51.683
[SPEAKER_00]: 如果你调用APIGPU在云端跑利潤在云场上那边因为达只是间接收益但如果你自己见模型自己跑推理你就直接买因为达的硬件或者用因为达的计算平台这就是为什么因为达在机极推动开员模型生态为什么他们在hackinface

10:51.983 --> 11:18.545
[SPEAKER_00]: 这类平台上大量投资为什么他们要收购哈根费斯这不只是买一个社区而是在帮自己的客户降低自己做模型的门卡Landbert用Linux做LabyLinux当年能成为基础设施是因为他达到了零界治疗变成了最好的选择开员模型能不能走到同样的位置他认为开员模型有可能但陆境和Linux不同

11:19.385 --> 11:48.552
[SPEAKER_00]: 因為訓練數據和算力不是免費的這是一個更貴的生態對創作者和產品設計師來說這個分析意味者市場上自見VS調用API的成本差距正在縮小隨著小模型越來越能幹在特定任務上自己跑本地模型可能比長期付API費用更合算值得應用的一句話賣產資的人當然希望你自己去挖框而不是買別人挖出來的金子

11:49.112 --> 12:03.813
[SPEAKER_00]: 你可以试试,算算你最常用的AI任务,一个月大概花了多少API费用,对比一下,用本地小模型完成同样任务的可行性。如果你还没玩过阿拉马或者类似工具,现在是个好时机上手。

12:03.993 --> 12:27.801
[SPEAKER_00]: 有人享用AI克龙尼的同时而且快做到了这篇来自Every2原文标题是TheCaseforClawingyourcoworkers克龙同事听起来像科幻小说的标题Every2的CEODanShipper说他一直想自动化主编K-tree的编辑判断力目标是打造一个能接近他什么美标准的AI代理

12:28.381 --> 12:51.391
[SPEAKER_00]: 他有三万多条他的历史编辑记录但模型一直不够好最近这件事快成了这个故事出到了一个真实问题知识工作里最难传递的东西是判断力知识本身反而好办KT对一篇文章好不好的感觉靠规则表根本描述不清楚是从无数稀威决定力激雷起来的

12:51.931 --> 13:06.998
[SPEAKER_00]: 他也无法完全说清楚自己的标准但是三万条历史编辑记录加上现在的模型能力让这件事变得可能了模型可以从行为数据理学到风格而不需要可以把自己的标准说明白

13:07.598 --> 13:22.901
[SPEAKER_00]: 這是知識工作自動化理一個很少被討論的角度核心目標是真流人把某個專家的判斷力編碼近一個系統讓他在這個人不在線的時候也能運作或者在需要大規模處理的時候替代人工審願

13:23.522 --> 13:39.188
[SPEAKER_00]: 这对设计师和创作者来说有一层值得思考的含义你的工作方式你的风格判断你的神美现在是可以被记录和学习的如果你把大量工作放进AI工具里你其实是在生产训练书局

13:39.788 --> 14:07.437
[SPEAKER_00]: 这件事,你意识到了吗?另一面也成立,你可以主动利用这个特性如果你想让自己的风格和判断力变成一个可以复用的系统现在就可以开始激烂那些历史编辑记录值得引用的一句话,你的判断力是可以被争留的问题是你再不再以被谁争留你可以试试翻出你最近做过的3-5个项目找出那些你曾经反复修改,调整的决定

14:07.997 --> 14:28.657
[SPEAKER_00]: 試著把這些決定寫成偏耗描述放進一個SystemPromptly看看AI能不能模仿你的判斷今天的六件事從水應到收購從安全漏洞到人的判斷力能被負置這些事情放在一起其實在說同一件事AI正在更深的欠近我們工作的每一個層級

14:29.278 --> 14:46.592
[SPEAKER_00]: 本期提到的所有原文鏈接都在節目的收鬥子裡保持好奇我們下期繼續感謝您的收聽有任何建議意見請在X也就是推特上與Bear6聯繫本節目還會繼續進化請保持期待我們下期再見