如果说LLM (3)主要是如何在工作中使用LLM,最近几个月的课题又变回了套壳,当然了用最近流行的话说叫Harness。要说原因嘛,还是在一个僵化的组织中能自己改变的东西还是太少了,在需要与人“合作”的时候,LLM唯一的作用就是进一步减少我那本就不够的耐心,不提也罢,虽然它证明了不能单纯以效率作为卖点的观点。
开源 vs 闭源
五月初的时候我思考过一个主题叫做算力的商品化,其中一个核心论点是算力的分化,以英伟达GPU为代表的算力,就像以台积电为代表的高端制造,未来会牢牢控制住frontier model,但frontier的定价会让大部分场景选择商品化的算力,形成分治。最近因为GLM5.2的发布,我相信多年后回头来看是两件事情的转折点,第一是Claude和GPT的垄断被实质性的打破,第二是基于token的计价模式的开始。第一较为明显的体现在越来越多的人发现开源模型能用且便宜,第二还有待观察,主要是GPU的供应不够,TPU和其他新推理芯片的市占也不够,需求也没有到真正的爆发,但作为一个开端我认为是没有问题的,如果Claude一个月能花上一百万刀,分出来一部分钱租B300我认为是划算的,更不要说未来还有更便宜的选择。下一个阶段将是计价单位转向value per watt,mark my word。
云 vs 本地
黄仁勋在台北电脑展PR了所谓下一代笔记本电脑,主打本地AI,听完觉得一般般,但隔天在地铁上看到很多人在用Windows笔记本,顿悟了这个市场规模可是大的很,加上Apple也主打本地和隐私,看上去这也是业界的共识了,很是不错,但肉眼可见的在可预见的将来终端设备都要涨价,我啥时候能用上呢,真是愁人。最近一个月我把side project和一些乱七八糟的个人项目都搬到了一台东京的VPS上,包括在VPS上使用claude code + glm,除了发现glm够用以外,云端的claude code使得我在不同设备上都能查看一样的历史记录,早年第一次使用Evernote的爽感又回来了。对于我这种公私不分(不是,多设备多系统切换选手,有一个稳定的云端环境还是非常重要,LLM方面不管是使用API还是未来自己部署模型,云还是一个必选项。
Issue驱动开发
在本地使用claude code时我查看项目进度的方法是查看commit history和未提交的文件,以及生成的PLAN.md,但到了云端因为用了code sever导致这一套就有点费劲,进行中的session翻历史也很难受,不得已我弃用了PLAN.md转为让glm老师通过issue来记录各种方案,每想要新增一个功能就新增一个issue,实现好了就把验证结果写到comment,全部通过了就提交代码关闭issue,整的好像是一个正规军(不是。试验了大半个月下来,发现了一个额外的好处:许愿。以前有想法了就记在笔记里,记完也忘了,现在有想法了就让glm老师开个issue,也不用着急实现就先放在哪里,因为积累太多了,还能回过头来梳理一下看能不能整合,怎么重新规划,非常方便。顺便通过这种形式发现我最新的想法和启动项目时候随便创建的issue有相关性,看来我的想法一直以来还是非常一致的。
VLM
相比于去年,这几个月更多的是在做后端的改造和更新,但接下来准备试验的想法需要前后端配合,以及想要认真优化手机上的交互体验,所以也开始探索vibe design,但还没有发现很好用的工具或者工作流。小用了一下stitch,感觉像是两年前的vibe coding,得频繁杀死自己重开,期待一下两年后。
Fun
最近的更新也解决了对象的一个痛点,于是我的MAU来到了惊人的——2个人。