https://linux.do 论坛的话题更新通知频道。
吸猪大王 (@wxbigpigfoot) 在 想咨询一下佬们的公司是怎么部署大模型的 中发帖
如题,想问一下佬们公司都是怎么部署大模型的,非硬件层面,而是软件层面,像个人的我知道有ollama,LM Studio这些,但是用在生产环境就不那么靠谱了,然后现在我们公司用的是Xinference,能一键管理模型、下载模型、启动模型等等,还提供接口供外部调用,但是就是说基础的镜像就很大了,一个Xinference的基础镜像(不包含模型)都有20+G大小了,加上业务原因,需要给客户公司本地部署,这样传来传去感觉效率就很慢了,所以想问一下佬们公司层面的大模型部署方案都有啥 🤔漱漱みこ (@Miko_chan) 在 玩一玩趣味评分『仅供参考(~ ̄▽ ̄)~』 中发帖
pelican-flight.zip (18.0 KB)
模型统一用的astra-high
gpt订阅账号,实测未降智
提示词: 请用 HTML 制作一段动画,表现一只鹈鹕在飞机上骑着秦始皇的场景。画面采用向下俯视的视角,能够看见地面。
这是pi做的
统计数据: 4m36s Token:98.8K && Output:9.7k 缓存率81.9 相当于API计费0.72$
[image]
这是codex做的
统计数据: 8m37s Token:444K && Output:18.4k 缓存率92 相当于API计费1.65$
[image]
居然差这么多吗!
不过我的pi是有专门调整过的哦♪(^∇^* )
codex则是原版的样子呢~
大家伙有什么看法吗φ(゜▽゜*)♪~我秦始皇? (@wo_zu_long) 在 现在GPT 6 instant就能秒杀leetcode高难题了,令人感慨 中发帖
如题,今天突然心血来潮,想看看现在的ai在leetcode上是一个什么样的表现,还记得当年O1推出的时候惊为天人,一晚上睡不着觉,当时也是在leetcode上测试的模型,只记得很多需要思考很久的题,O1几分钟就做出来了,但是当时还是很多难度较高的题都做不出来,我记得当时迭代到了O3,大多数2300难度分以上的题都是做不出来的,后面也没太关注模型做leetcode题的水平了
今天突然也是心血来潮想到了当时夜不能寐的夜晚,用GPT 6 instant试了一下2800多难度分的题,让我惊讶的是竟然没有自动路由思考,也没有调用搜索工具,直接就把解题知识点和思路还有代码给了出来,我跑了一下,竟然还真pass了,又测试了几个题,甚至还去虚拟周赛试了一下,全都能直接one shot pass。
想到现在开着xhigh嘎嘎跑6.1 sol还觉得这不满意那不满意,再也找不回当年O1发布睡不着觉,急匆匆的...@TomosakiAoi 在 在今天,AI网页版chat免费用户该何去何从 中发帖
在今天谈论网页chat似乎有一种边缘化的原始人的感觉,我也明白加钱以获得更好的体验的道理,但这次姑且还是以网页chat轻度用户的视角探讨一些体验、优劣势,以及主观上的偏好和迷茫,欢迎讨论和建议。
chatgpt
感觉是综合体验比较好的一家。
只能使用6-luna模型,思考强度只有一档(think),开启思考后耗时、信息含金量都可以接受,但有时稍显啰嗦。
chat的生态比较成熟,输出的排版看着还可以,可以在远端沙箱执行代码,也有类似agenticloop,工具返回循环输入的体验,开启think后包括搜索在内等工具调用也很积极。
搜索偏好很不错,因此对多语言也更友好,因为需要在英日双语的环境下搜索学习,能够感觉到它抓取信息和解决问题的能力还不错,一些比较边缘化的知识和教程也能从日文的博客上找到。
project功能可以管理局部记忆,整理对话,全局记忆有开关,不影响project记忆...@vollcan 在 佬友们给点建议,普本应该投哪些公司 中发帖
佬友们,请求给点建议🫡,投了一个月简历了,没有拿到称心的实习offer,本人大四,之前有过一段国企后端开发的实习,后面想走AI应用开发,没投秋招是觉得自己一点竞争力也没有。投了一个月下来情况是:
1、只有0-20人规模的公司会给实习转正offer
2、大厂投日常实习基本秒挂
3、想找个好一些title的公司实习为后面春招加点竞争力
4、看起来应该投一投中小厂?但是不晓得哪些究竟算,哪些究竟我这个学历可投(鄙人普通人,没有什么突出成果)
5、BOSS的推荐好难用,总是给我推大公司,有什么能找到比较对口自己水平的公司的方法/平台推荐的吗?aau436638 在 媽呀我买了的4-5条yubikey終於有用! 中发帖
chrome 有个叫 focus guard,
可配yubikey enable/disable website
当年看了T3,
觉得大事情要用yubikey,
不能cli Yes/No?
ps 2 yubikey
2 China Canokey@KAR1SEVEN 在 有人遇到Command Code Goat 在 dsh 频繁报错 invalid_request_error 吗? 中发帖
报错如图:
[image]
查了日志,超过1MB的请求大概率触发,似乎是Command Code内部网关或者上游问题,在Command Code把DeepSeek v4.1 flash 分成三方和官方之后我就频繁出现这问题 😅
个人体感还不如opencode啊网监 (@wangjian) 在 6.1sol只用20分钟耗尽五小时team 中发帖
😆 最初这种消耗速度还是Astra,6.1 sol消耗这么快闻所未闻啊。tibo你给我重置好了啊,别再砍我额度了 😭柠萌你个思密达 (@dearmrzhang) 在 不开TUN也不用Proxifier直接使用Antigravity的另类方法 中发帖
GPT给我分析后是Antigravity有Go进程没走本地代理,解决方法是给了几行代码,保存成.bat,以后直接执行它来打开Antigravity。
[image]
[image]
目前用了一周了,挺稳定的。link (@link1412) 在 GPT pro 到期,续费 plus 后仍然是 20x 额度? 中发帖
前天 pro 过期了,因为还有 60000 credit 没有用,于是就开了 plus。
现状:
订阅显示为 plus,但没有 5h 限制,用了一管 20x 了,今天重置了,这管我看还是 20x。
邮件:
未收到 openAi 的任何邮件,除了一周前退订的时候给他们回了用户反馈邮件。