本文主要介紹了國產AI之光DeepSeek的本地部署教程和本地知識庫部署,包括數據流程流程、命令行窗口執行拉取、本地服務安裝嵌入模型等步驟。最后,作者分享了如何使用Cherry Studio搭建知識庫,并給出了本...
verifying sha256 digest
writing manifest
success
下載cherry studio
根據自己的環境下載cherry studio
安裝的時候,注意安裝到其他磁盤,不要在c盤安裝。
本地模型知識庫
配置本地ollama
操作步驟:
找到左下角設置圖標
選擇模型服務
選擇ollama
點擊管理
點擊模型后面的加號(會自動查找到本地安裝的模型)
減號表示已經選擇了
知識庫配置
選擇知識庫
選擇添加
選擇嵌入模型
填寫知識庫名稱
添加知識文檔
cherry可以添加文檔,也可以添加目錄(這個極其方便),添加完以后出現綠色的對號,表示向量化完成。
搜索驗證
點擊搜索知識庫
輸入搜索順序
點擊搜索 大家可以看下我搜索的內容和并沒有完全匹配,不過已經和意境關聯上了。
大模型處理
點擊左上角的聊天圖標
點擊助手
點擊默認助手(你也可以添加助手)
選擇大模型
選擇本地deepseek,也可以選擇自己已經開通的在線服務
設置知識庫(不設置不會參考)
輸入提問內容
發問
大家可以看到deepseek已經把結果整理了,并告訴了我們參考了哪些資料。
滿血版
差別就是大模型的選擇,在模型服務里配置下在線的deepseek服務即可。
如果你的知識庫有隱私數據,不要聯網!不要聯網!不要聯網!
方案二 基于AnythingLLM搭建
下載AnythingLLM Desktop
下載以后,安裝的時候,注意安裝到其他磁盤,不要在c盤安裝。
AnythingLLM 配置
點擊左下角的設置
1. 點擊 LLM首選項
2. 選擇ollama作為模型提供商
3. 選擇已安裝的deepsek 模型
4. 注意下地址
5. 保存
1. 向量數據庫不用動即可,使用自帶的(ps:如果沒有選擇安裝目錄,默認在c盤,如果后續有需要可以挪走)
2. 嵌入模型配置
3. 可以使用自帶的,也可以使用ollama安裝好的
4. 配置完點擊左下角的返回即可
配置工作區
新建的工作區
默認會話
上傳知識庫文檔
將文檔拖拽到上傳框。ps: 只需要拖拽一次就行了,它在聊天框能看到。不知道為什么,我這拖拽以后,沒看到上傳成功,然后又拖拽了幾次。然后聊天框就好多份。
當然你可以配置遠程文檔,confluence、github都可以。
ps: 需要注意的是文檔在工作區間內是共用的。
api功能
AnythingLLM 可以提供api訪問的功能,這個可以作為公共知識庫使用。
總結
整個操作下來,AnythingLLM 的體驗沒有cherry好。AnythingLLM就像一個包殼的web應用(后來查了下,確實是)。AnythingLLM 得具備一定的程序思維,給技術人員用的。非技術人員還是使用cherry吧。作為喜歡折騰的開發人員,我們可以結合dify使用。
原文來源:https://mp.weixin.qq.com/s/IKoBga2iKfpkdD4Qgy8iLg
來源:本文內容搜集或轉自各大網絡平臺,并已注明來源、出處,如果轉載侵犯您的版權或非授權發布,請聯系小編,我們會及時審核處理。
聲明:江蘇教育黃頁對文中觀點保持中立,對所包含內容的準確性、可靠性或者完整性不提供任何明示或暗示的保證,不對文章觀點負責,僅作分享之用,文章版權及插圖屬于原作者。
Copyright?2013-2024 JSedu114 All Rights Reserved. 江蘇教育信息綜合發布查詢平臺保留所有權利
蘇公網安備32010402000125
蘇ICP備14051488號-3技術支持:南京博盛藍睿網絡科技有限公司
南京思必達教育科技有限公司版權所有 百度統計