https://linux.do 论坛的话题更新通知频道。
@stevessr 在 KVTC:在 LLM 推理 中 进行 KV 缓存 变换编码 以 实现 紧凑存储 | NVIDIA 中发帖
[!abstract]+
大规模服务大型语言模型(LLM)需要高效的键值(KV)缓存管理。KV 缓存可以通过共享前缀提示在对话回合中重复使用,这在迭代代码编辑和聊天中很常见。然而,陈旧的缓存会消耗稀缺的 GPU 内存,需要卸载或强制重新计算。我们介绍的 KVTC 是一种轻量级转换编码器,可压缩 KV 缓存,实现紧凑的 GPU 上和 GPU 外存储。KVTC 借鉴了经典的媒体压缩技术,结合了基于 PCA 的特征去相关性、自适应量化和熵编码。它只需要简单的初始校准,模型参数保持不变。通过利用 KV 缓存中的冗余,KVTC 在保持推理和长文本准确性的同时实现了高达 20 倍的压缩率,在特定使用情况下,压缩率可达 40 倍或更高。我们使用 Llama 3、Mistral NeMo 和 R1-Qwen 2.5 模型对 KVTC 进行了测试,测试基准包括 AIME25、GSM8K、LiveCo...@ccrr 在 大家好,潜水员终于上岸啦 中发帖
之前一直在浏览器里潜水,学习各位大佬的开源项目和教程,今天终于可以正式的和大家见面了。很高兴能加入L站这个大家庭,和大家共同进步。
写小作文的时候是写了又删,删了又写,毕竟我是纯业余玩家,和各位佬友不太一样,只是对电脑技术,Ai等比较上头,还喜欢折腾折腾服务器。而且本人是机械方向的学生,平时的学习和我的爱好差了十万八千里。平常没少因为折腾服务器vps抓耳挠腮。
对于论坛里的大佬来说,我不太专业,还在摸索当中,所以我想向论坛里的大佬们学习,交流经验,共同进步。
文笔不太好,各位佬友见谅。Clivia (@Yanyutin753) 在 [开源/推广] LambChat - 基于 FastAPI + deepagents 的生产级 AI Agent 聊天系统 中发帖
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
我的帖子已经打上 开源推广 标签: 是
我的开源项目完整开源,无未开源部分: 是
我的开源项目已链接认可 LINUX DO 社区: 是
我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
如果你在找一款可以自部署、功能完整、开箱即用的 AI Agent 聊天系统,LambChat 可能适合你。
基于 FastAPI + deepagents 构建,支持 MCP 协议、Skill 技能系统、多 Agent 类型、会话分享、飞书集成等,前后端完整开源,MIT 协议。
📸 界面展示
主要界面
登录页面
聊天界面
[登录页面]
[聊天界面]
...Netlops 在 [开源,快3级了] SoSearch — 用 Rust 写的免费 Web Search API,不用 Key,并发聚合 DuckDuckGo / Brave / Yahoo 中发帖
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
我的帖子已经打上 开源推广 标签: 是
我的开源项目完整开源,无未开源部分: 是
我的开源项目已链接认可 LINUX DO 社区: 是
我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
以上选择我承诺是永久有效的,接受社区和佬友监督: 是
快3级了,给佬友发个自己用AI写的小玩具~
做 AI Agent / RAG 的佬友们应该都体验过——给 LLM 接一个搜索引擎有多贵。
SerpAPI 100 次/月、Tavily 1000 次/月的免费额度,跑个 demo 都不够用,生产环境更别提了。
所以我用 Rust 撸了一个:
🔍 SoSearch — 免费、无 Key、开箱即用的 Web Search API
GitHub: GitHub - NetLops/SoSearch...@stevessr 在 Gen Z 正在 外包社交 给 chatbot 中发帖
[!quote]+
过去几年里,研究人员、教师和心理健康专业人员都在为青少年和年轻人将大脑输出给人工智能聊天机器人而感到震惊,因此他们现在把这种技术当作拐杖来回避他们不想进行的艰难对话也就不足为奇了。
例如,一位名叫帕特里克的耶鲁大学学生使用 ChatGPT 拒绝了一个他通过共同朋友认识的女孩。"嘿,艾米丽!我希望你的半程马拉松赛顺利进行–我相信你一定取得了好成绩。"帕特里克这样开场。
随后的文字长达六段,充满了 ChatGPTisms,可能是 21 世纪的完美缩影。在短信中,人工智能版的帕特里克说,“多出去玩会很酷–不管是像朋友一样,还是不管我们这个周末在做什么”,但要注意的是,他 “现在不想找太认真的事情”。
研究人员对这种现象已经有了一个术语:“社交卸载”。根据即将发表在《实验儿童心理学杂志》上的一项研究,它适用于 “任何基于共同任务的情况,在这种情况下,个人能够利用社...凌镜 (@Ling_Jing) 在 「快讯」著名支付卡Ether.fi现已支持大陆护照开卡 中发帖
卡Bin 454924
支持ApplePay/GooglePay
可绑美区App Store
入金支持Base/Arbitrum
返现:3%
外币转换费:1%
官方地址:https://www.ether.fi科瑞颇 (@Corripo) 在 【LINUX DO 聊聊 Linux】从初识到依赖,我跟 Linux 的爱恨情愁 中发帖
▶
前言
初识
初中时期玩 刷机root,了解了 Android 之后了解到 GNU、Linux 这些东西,感觉 Copyleft(这个是后来知道的) 为代表的 开源精神 很符合我对世界的期待。又了解到 Linux 易用性(在当时)普遍不好,畏难而退。
之后在 B站 刷到介绍 Deepin 的视频,饶有兴趣,给自己的本装了一个 UOS。(别问我为啥看 Deepin 装 UOS)
第一感觉是自定义功能好强,第二感觉是生态好烂。
当时还在上网课,装了 ClassIn 体验极差,迫使我回归了 Windows。
了解
后来由于信息课代表的身份,阴差阳错地进了信息学校队,打 CSP 要用 NOI Linux(我用的那版基于 Ubuntu 20.04,现在已经基本上用不了了)。
深刻体会到 Geany、Sublime 等 IDE 的爽感。Windows 上二者支持性都一般。
之后开始像那会折...海盗船长 (@captain5258) 在 Gemini pro极致薅的方案 中发帖
目前有Gemini 学生pro会员,只有一个主号,如何使尽薅才不会被封,目前只有每天在聊天页面进行日常问答。是否可以把账号接入小龙虾,及any反代,或者建立几个家庭号,用小号来使用额度,请大佬们指点指点。@vrustx 在 MAC MINI问题求助 中发帖
是这样的,我自己是windows电脑+安卓手机,
但是现在开发的一个程序需要IOS版,所以现在需要一个便宜的macmini之类的生态硬件可以用来帮我编译ios程序。
我在闲鱼看到很便宜的几百块一千多的那种,是否可用?
我对IOS没有任何了解,只知道需要xcode编译。flutter做的程序。
所以这里请教一下各位,那种闲鱼几百块一千块的mac mini是否可行,或者有没有其他性价比更高的方案,只需要可以编译ios程序鹏城苏永康 (@rmgwhc) 在 【请教】如何高效使用AI工具检索论文文献(必须国外文献),求工具和流程 中发帖
我发帖前看了一下,只找到了2024年的一篇文章,而且不是很能高效解决。。:
长话短说,我在写全英的MBA论文(项目管理和分析管理各4000字),月底必须交稿,目前进度卡在了找文献上。我大纲已经写好了,但之前在谷歌学术和 Perplexity 上大海捞针式的搜法效率太低。急需大佬们推荐一款文献检索/AI工具。
我希望能直接输入我的论点,然后工具自动给我一批相关的候选文献,最好能支持高级条件筛选(比如:只看2015年之后发表、且被引次数超过150次的文献)。这样我可以一键获取高质量参考列表,直接从中挑选。不知道各位有没有好用的工具或方法推荐?万分感谢!@aizith 在 看了下微信的openclaw 使用条款,只能说这很微信 中发帖
今天看到微信支持连接openclaw 了,果断更新,连接
刚发了两条消息,我就意识到以微信的德行,不会能审查我对话吧,就去看了使用条款,果然。。。
[IMG_3828]欣欣|林可欣 (@StellaFortuna) 在 「如果我在你面前趋势,你会想什么」 claude4.6o vs qwen3.5max 中发帖
这波共情感真的拉满了
第一次问他俩这种问题,好像以前问过gpt或者哈基米
claude4.6o:
[Screenshot_20260322_142613]
不多做评价了
qwen3.5max:
[Screenshot_20260322_142657]
[Screenshot_20260322_142744]
数据流这种表达的话… 有点deepseek的味道,不过还可以
整体回答真的是非常惊艳
特此发话题~Zimon 在 【硅基流动】开工福利最后一波大家都领到了吗? 中发帖
3月25号就截止了,有18元的代金券,我目前是用在Dify、ragflow工作流中,做Rag分析,主要是各种模型挺全的,做POC验证挺有用的!
硅基流动开工礼包
[image]