DeepSeek本地部署+Page Assist浏览器插件+C#接口调用

1.安装Ollama

Ollama作为本地部署大模型的方案,还是非常不错的。

1、跨平台:支持 macOS、Linux 和 Windows。

2、市面主流开源模型都支持:包括Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2等54个开源模型。

3、REST API:Ollama提供对外API能力,想要自己开发客户端、或者集成到应用系统都是非常方便的。

4、生态完善:众多开源Web项目、开源桌面软件支持Ollama,还有终端工具、移动应用、开发工具库等开源项目。

下载地址:https://ollama.com/download

安装Ollama还是比较简单的,下载安装包后,直接安装就行。我这边选择的是Windows版本。

2.修改Ollama默认配置

配置系统变量

修改配置后,记得重启Ollama。

我暂时就需要这两个,其他更多配置信息,大家可以查看官方文档:

https://github.com/ollama/ollama/tree/main/docs

3.下载并安装模型

Ollama支持模型非常多,我们这边选择的是:deepseek-r1。

选择对应的模型,我们就可以看到模型的相信介绍、各种参数的模型。

各个版本模型对硬件要求,官方没有明确的说明,根据网友分享的大概整理如下,大家可以根据自己的电脑配置选择模型。

安装模型也很简单,选择对应版本的模型,拷贝命令就行。

在命令窗口输入以上命令,就会自动下载。

耐心等待,等出现success就代表安装成功了。

测试提问

安装成功后,我们就可以直接在命令窗口进行使用了。

同时在浏览器访问:http://127.0.0.1:11434,有如下提示也代表启动成功了。

4.API调用

Ollama也为我们提供API接口功能,想要自己开发客户端、或者集成到应用系统都是非常方便的。

Ollama相关生态也非常完善,我们直接使用C#版本Ollama的SDK,就可以快速开发,下面一起看看简单例子。

4.1、安装依赖包:OllamaSharp

4.2 示例代码

using Microsoft.Extensions.AI;
using OllamaSharp;

Uri modelEndpoint = new("http://localhost:11434");

//指定模型
string modelName = "deepseek-r1:14b";

var chatClient = new OllamaApiClient(modelEndpoint, modelName);

//提问
string question = "你好,我们可以认识一下吗?";
var response = chatClient.GetStreamingResponseAsync(question);

Console.WriteLine($">>> 你: {question}");
Console.Write(">>>");
Console.WriteLine(">>> DeepSeek: ");

//输出
await foreach (var item in response)
{
	Console.Write(item);
}

Console.ReadLine();

效果如下:

Ollama相关的API接口,也可以查看官方文档。

https://github.com/ollama/ollama/blob/main/docs/api.md

5. OLLAMA的客户端

在命令窗口使用DeepSeek,肯定是不方便的。自己开发客户端,又需要大量时间。

Ollama的客户端是非常众多的,而且都是开源的项目,包括:Web网页版本、桌面应用、浏览器插件、移动端APP等。

每一个客户端提供的功能也非常丰富,并且都不一样,包括:OCR图片识别、语音识别、文档解析等。

大家可以根据自己的需求自行选择。

https://github.com/ollama/ollama

6. Page Assist浏览器插件

我这边的是选择浏览器插件,比较灵活。

在Chrome应用商店,安装浏览器插件:Page Assist。

安装后打开插件,把语音识别、界面语音修改为中文,方便我们使用。

修改Ollama的配置:

1、Ollama URL修改为Ollama服务器的地址。

2、在Ollama 高级配置中,启用:启用或禁用自定义来源 URL,这样才能访问。

Ollama服务器需要关闭防火墙,或者在入站规则里开启端口:11434。

完成以上配置后,我们就可以使用了。

使用的时候,选择对应的模型版本就可以了。

本文参考:
1、https://www.cnblogs.com/mq0036/p/18742652
2、https://www.cnblogs.com/xiezhr/p/18712410

来源链接:https://www.cnblogs.com/chenshibao/p/18822323

© 版权声明
THE END
支持一下吧
点赞5 分享
评论 抢沙发
头像
请文明发言!
提交
头像

昵称

取消
昵称表情代码快捷回复

    暂无评论内容