1.安装Ollama
Ollama作为本地部署大模型的方案,还是非常不错的。
1、跨平台:支持 macOS、Linux 和 Windows。
2、市面主流开源模型都支持:包括Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2等54个开源模型。
3、REST API:Ollama提供对外API能力,想要自己开发客户端、或者集成到应用系统都是非常方便的。
4、生态完善:众多开源Web项目、开源桌面软件支持Ollama,还有终端工具、移动应用、开发工具库等开源项目。
下载地址:https://ollama.com/download
安装Ollama还是比较简单的,下载安装包后,直接安装就行。我这边选择的是Windows版本。
2.修改Ollama默认配置
配置系统变量
修改配置后,记得重启Ollama。
我暂时就需要这两个,其他更多配置信息,大家可以查看官方文档:
https://github.com/ollama/ollama/tree/main/docs
3.下载并安装模型
Ollama支持模型非常多,我们这边选择的是:deepseek-r1。
选择对应的模型,我们就可以看到模型的相信介绍、各种参数的模型。
各个版本模型对硬件要求,官方没有明确的说明,根据网友分享的大概整理如下,大家可以根据自己的电脑配置选择模型。
安装模型也很简单,选择对应版本的模型,拷贝命令就行。
在命令窗口输入以上命令,就会自动下载。
耐心等待,等出现success就代表安装成功了。
测试提问
安装成功后,我们就可以直接在命令窗口进行使用了。
同时在浏览器访问:http://127.0.0.1:11434,有如下提示也代表启动成功了。
4.API调用
Ollama也为我们提供API接口功能,想要自己开发客户端、或者集成到应用系统都是非常方便的。
Ollama相关生态也非常完善,我们直接使用C#版本Ollama的SDK,就可以快速开发,下面一起看看简单例子。
4.1、安装依赖包:OllamaSharp
4.2 示例代码
using Microsoft.Extensions.AI;
using OllamaSharp;
Uri modelEndpoint = new("http://localhost:11434");
//指定模型
string modelName = "deepseek-r1:14b";
var chatClient = new OllamaApiClient(modelEndpoint, modelName);
//提问
string question = "你好,我们可以认识一下吗?";
var response = chatClient.GetStreamingResponseAsync(question);
Console.WriteLine($">>> 你: {question}");
Console.Write(">>>");
Console.WriteLine(">>> DeepSeek: ");
//输出
await foreach (var item in response)
{
Console.Write(item);
}
Console.ReadLine();
效果如下:
Ollama相关的API接口,也可以查看官方文档。
https://github.com/ollama/ollama/blob/main/docs/api.md
5. OLLAMA的客户端
在命令窗口使用DeepSeek,肯定是不方便的。自己开发客户端,又需要大量时间。
Ollama的客户端是非常众多的,而且都是开源的项目,包括:Web网页版本、桌面应用、浏览器插件、移动端APP等。
每一个客户端提供的功能也非常丰富,并且都不一样,包括:OCR图片识别、语音识别、文档解析等。
大家可以根据自己的需求自行选择。
https://github.com/ollama/ollama
6. Page Assist浏览器插件
我这边的是选择浏览器插件,比较灵活。
在Chrome应用商店,安装浏览器插件:Page Assist。
安装后打开插件,把语音识别、界面语音修改为中文,方便我们使用。
修改Ollama的配置:
1、Ollama URL修改为Ollama服务器的地址。
2、在Ollama 高级配置中,启用:启用或禁用自定义来源 URL,这样才能访问。
Ollama服务器需要关闭防火墙,或者在入站规则里开启端口:11434。
完成以上配置后,我们就可以使用了。
使用的时候,选择对应的模型版本就可以了。
本文参考:
1、https://www.cnblogs.com/mq0036/p/18742652
2、https://www.cnblogs.com/xiezhr/p/18712410
来源链接:https://www.cnblogs.com/chenshibao/p/18822323
如有侵犯您的版权,请及时联系3500663466#qq.com(#换@),我们将第一时间删除本站数据。
暂无评论内容