kola 发布的文章

最近 AI 圈又出现了一次集体"破案"事件——一个名为 Ox Alpha 的模型悄然出现在几个基准测试排行榜上,没有任何官方公告,没有任何团队出面认领,却凭借着不俗的表现搅动了整个社区。

这到底是个什么东西?

Ox Alpha 最早是在一些公开评测平台上被发现的。它的能力相当扎眼:在编程、数学以及复杂指令遵循这几类任务上,拿出了能和当前一线模型掰手腕的成绩。但诡异的是,没有任何一家已知的 AI 实验室为它站台。模型卡是空的,API 接入渠道有限,甚至连权重都只有部分开放——可以说是标准的"隐身模式"(stealth model)出场方式。

阅读全文
神秘的 Ox Alpha:又一个"隐身模式"AI 模型,让整个社区都在猜

跑过本地大模型的人,大概率都有过这种体验:在论坛、Reddit、Discord 上看到有人吹某款模型"amazeballz",兴冲冲下载下来(多半还是某个量化版),一跑——"就这?"

这不是你的错觉,也不是模型真的不行。问题大概率出在"怎么让它干活"这件事上。

量化是双刃剑

很多人为了跑得动 7B、13B 乃至 70B 的模型,会选择 GGUF 这类量化版本。量化确实把模型体积压下去了,显存门槛从 24GB 砍到 8GB 甚至 4GB,代价是每一层权重都丢了一点精度。

这点精度平时聊天可能感觉不到,但一旦任务稍微复杂一点——多步推理、长上下文、代码生成——差距就会像滚雪球一样放大。模型不是"差一点",而是在某个临界点之后突然"垮掉"。

上下文窗口没你想的那么"满"

另一个常见误区是:标称 32K 上下文 = 实际能用 32K。

阅读全文
为什么你的本地 LLM 总感觉"差点意思

最近刷到一条挺有意思的消息:欧盟法院(CJEU)裁定,纯粹由 AI 生成的内容不享有版权保护。换句话说,机器自己吭哧吭哧写出来的东西,在欧盟法律框架里基本属于"无主之物",谁也不能独占。

事情的大致脉络

这起案件的原告是一位美国人,他用 AI 工具 Creativity Machine 自动生成了一张图,然后这张图被一家德国公司拿去用了。原告主张版权侵权,一路打到欧盟最高法院。

CJEU 的态度很明确:

  • 版权法保护的是人类智力成果("intellectual creation of the author");
  • AI 不具备作者身份,因为它不是"natural person",也没有真正的创作意图;
  • 因此,即便背后有人类参与了提示词工程(prompt engineering),只要最终输出完全由 AI 自主决定,就不构成可受保护的作品。
阅读全文
AI 生成的内容,在欧盟不受版权保护

最近看到一个叫 "Don't paste the AI" 的小项目,光看域名就觉得有点意思。点进去一看,内容更简单——只有一句话:

If someone asks you something, send your answer. Not the AI. 别人问你什么,就回你自己的答案,别甩 AI 的输出。

就这么一句,但越琢磨越觉得戳心。

它讲的事情其实每天都发生在我们身边:朋友问你这家餐厅怎么样,你甩一段 ChatGPT 的点评;同事问你方案怎么做,你贴一整页 Claude 的回答;群里有人问技术问题,你直接把 Gemini 的输出丢过去。看起来很高效,回复也"看起来很专业",但说到底,那不是你的回答,是模型的回答。

项目的核心主张其实就一句话:AI 是工具,不是替身。

它甚至进一步细化了几条建议:

阅读全文
别替 AI 代笔

你有没有想过,未来的应用可能不需要写死在代码里,而是由 LLM 在运行时"长出来"的?

最近看到一篇博客,作者 Jeremy Morrell 提出了一个挺有意思的架构思路:Solid Core + Capability-Based Sandboxes + LLMs = Users with Superpowers。三个词串在一起,背后是一套关于"可扩展软件"的重新思考。

核心思想:把"内核"做硬,把"扩展"做软

传统的可扩展软件,比如 Vim、Emacs、VS Code,靠的是插件系统。开发者写插件,应用在运行时加载。但这种方式有几个老毛病:

  • 插件能拿到应用的完整权限,出了 bug 或者被恶意利用,影响面很大
  • 插件 API 设计一旦定型,就很难再大改,否则会破坏生态
  • 应用本身越来越臃肿,因为要照顾各种扩展场景
阅读全文
LLM 时代,可扩展软件的一种新写法