無(wú)需魔法｜零代碼｜消費(fèi)級(jí)顯卡暢玩

為什么選擇DeepSeek？

硬件配置指南（消費(fèi)級(jí)設(shè)備推薦）

實(shí)測(cè)：RTX 3090可絲滑運(yùn)行30B模型

三步極速部署（Windows版）

相關(guān)的軟件，我已經(jīng)放入到網(wǎng)盤，網(wǎng)不好的同學(xué)，可以直接下載。 下載鏈接：https://pan.quark.cn/s/b69829720b68

部署架構(gòu)

ollama 安裝

Ollama 是一個(gè)專注于本地化部署和運(yùn)行大型語(yǔ)言模型（LLM）的工具，旨在讓用戶能夠在自己的設(shè)備上高效地運(yùn)行和微調(diào)模型。

下載ollama

https://ollama.com/download/ 默認(rèn)為當(dāng)前電腦的對(duì)應(yīng)的版本，直接下載即可。下載以后，一路點(diǎn)點(diǎn)點(diǎn)即可。

環(huán)境變量設(shè)置安裝完以后先不要使用，先設(shè)置下環(huán)境變量。默認(rèn)模型下載到C盤。一個(gè)模型最小也得幾個(gè)GB 。

OLLAMA_HOST: 0.0.0.0

OLLAMA_MODELS：E:\ai\ollama\models

OLLAMA_HOST：設(shè)置為0.0.0.1 會(huì)將ollama服務(wù)暴露到所有的網(wǎng)絡(luò)，默認(rèn)ollama只綁定到了127.0.0.1和localhost上了。 OLLAMA_MODELS：設(shè)置了模型的存放的地址。

驗(yàn)證

PS C:\Users\yxkong> ollama -v

ollama version is 0.4.0

ollama常用操作命令

#下載模型

ollama pull 模型名稱

ollama pull deepseek-r1:32b

#運(yùn)行模型，如果模型不存在，則下載

ollama run 模型名稱

ollama run deepseek-r1:32b

#查看已下載的模型

ollama list

#刪除本地已下載的模型

ollama rm 模型名稱

#查看模型的詳細(xì)信息

ollama show 模型名稱

deepseek-r1安裝

https://ollama.com/search 打開ollama官網(wǎng)，點(diǎn)擊Models,可以搜索，目前deepseek最流行，排到了第一位。

除了671是真正的deepseek，其他的都是蒸餾的模型。

根據(jù)自己電腦的配置選擇對(duì)應(yīng)規(guī)格的模型，然后復(fù)制對(duì)應(yīng)的命令即可。

ollama run deepseek-r1:32b

慢慢等待即可。運(yùn)行效果8b的模型湊合能用、14b的模型基本能用，32b的模型使用很是順滑。 至此，deepseek的本地部署已經(jīng)完成。

chatbox

Chatbox 是一個(gè)開源的聊天界面工具，專門為大型語(yǔ)言模型（如 GPT、LLaMA 等）設(shè)計(jì)，提供用戶友好的交互界面。

使用chatbox的優(yōu)勢(shì)

• 交互簡(jiǎn)單

• 預(yù)設(shè)prompt（我的搭檔）

• 自定義模型服務(wù)方

• 獨(dú)立代理

下載

下載以后一路點(diǎn)點(diǎn)點(diǎn)即可。

環(huán)境配置

• 點(diǎn)擊設(shè)置

• 選擇模型提供方

• 選擇模型（本機(jī)地址默認(rèn)即可）

測(cè)試

很是順滑

性能加速方案（Ollama專用）

實(shí)操命令示例

# 使用量化模型（需先下載）

ollama run 模型-q4_0

# 多GPU支持（指定使用GPU 0和1）

ollama run deepseek-r1:32b

交互優(yōu)化技巧

界面增強(qiáng)方案

高級(jí)交互配置

# 創(chuàng)建~/.ollama/config.yaml

system_prompt: "你是一個(gè)精通科技知識(shí)的助手，回答請(qǐng)簡(jiǎn)明扼要，使用中文口語(yǔ)化表達(dá)"

temperature: 0.7  # 控制創(chuàng)造性（0-1）

max_length: 4096  # 最大生成長(zhǎng)度

常見問(wèn)題解決方案

后記

個(gè)人小助手已經(jīng)搭建完成，大家的工作、生活問(wèn)題盡情的問(wèn)吧，不聯(lián)網(wǎng)，隱私。大家可以關(guān)注下，后續(xù)基于deepseek我再搭建個(gè)知識(shí)庫(kù)分享給大家。

原文來(lái)源：https://mp.weixin.qq.com/s?__biz=MjM5NzQxMTAyNw==&mid=2247485191&idx=1&sn=6590bae7fb960a2577c2b77c11479080&scene=21#wechat_redirect