evalution 在 本地小模型ollama部署测试 中发帖
前言
各位佬好,我是刚进进站的小白,平时也只是潜潜水,这次正好有个话题能参与一下。于是有了这么一个帖子。
那我们直接开始
测试环境
cpu
5800x
内存容量
32G
显卡
5060ti16G
系统
windows11
部署软件
Ollama
安装步骤
安装包是直接在官网上下载的。
ps:我是本地原生的Ollama跟其他佬友的可能不太一样。
打开命令行,输入对应的
ollama pull gemma3:12b
ollama pull aya-expanse:8b
(这里也可以安装其他的模型)
作为以后后端工程师,我看到始皇说的:本地部署的小模型来翻译。我觉得这个场景大概率是实时翻译的(其实是懒得手动测)
于是我选择写一段代码api调用的方式来实现,到时候直接把整个页面要翻译的内容输入进去就行。
我...