最近作念的一个视频,讲了DeepSeek的土产货部署,在全网获得了600万+的播放量,大家对DeepSeek的土产货部署很眷注。视频发出后,看到驳斥区还有一些疑问沈先生 探花,我整理了一下笔墨版块,补充了更多细节。
一、什么情况下,符合把大模子部署在我方电脑上?把大模子部署在我方的电脑上,有好多自制,但我要先泼一盆冷水。
若是你之前没用过AI居品,或者平时用AI也未几,不推选搞土产货部署。有更苟且的设施,不错让你用上AI。
艾秋麻豆剧果冻传媒在线播放念念用DeepSeek,不错径直在手机的软件商城,下载DeepSeek的手机APP。
图片沈先生 探花沈先生 探花
或者用浏览器,搜索DeepSeek的网页版。这样是最苟且的,何况背后的AI齐是雷同的。
图片
土产货部署符合以下情况:
① 电脑成就较高,有零丁显卡。② 有奥密的数据需要处理,追思泄密。③需要和土产货职责流鸠合,处理高频任务或复杂任务。④ 日常使用量大,调用API需要收费,土产货部署能省钱。⑤ 念念要在开源模子基础上,作念个性化的定制版块。
这样说有点复杂,我用DeepSeek回来了下,APP或网页与土产货部署的使用场景。
图片
二、大模子土产货部署基本设施第一步:装配ollama土产货部署率先要装配ollama,你不错把它领路为,一个装AI的盒子,把AI装在盒子里,简易解决。1. 率先在浏览器搜索ollama,会出现ollama官网,点击投入。图片
2. 投入官网后,点击中间的Download。图片
3. 左证我方的电脑类型,遴荐不同版块。苹果电脑选最左边(蓝色框),Windows系统选最右边(红色框),之后点击下载(绿色框)。图片
4. 下载后,点击装配。若是桌面出现了ollama图标,证据软件装配见效。图标便是下图的羊驼。图片
尽头证据:最佳装配在C盘,装配在其它盘,需要重新成就环境变量。第二步,遴荐要装配的模子5. 如故在刚刚的ollama官网,点击右上角红框的位置。图片
6. 在弹出的界面,点击红框的“Models”选项图片
7. 点击遴荐deepseek-r1图片
8. 遴荐不同参数的模子这里的数字越大,参数越多,性能越强,1.5b代表模子具备15亿参数。我的电脑16G显存,运行14b参数模子时,需要能够11.5G显存。若是是1.5b版块,2G以下的显存就不错运行,以致不需要零丁显卡,核显就不错。若是是32b参数的,就需要32G显存啦,不错左证我方的电脑性能遴荐。图片
底下遴荐1.5b参数作念示范。9. 复制高歌遴荐1.5b参数后,复制红框中的高歌“ollama run deepseek-r1:1.5b”。图片
第三步,装配模子10. 掀开高歌行同期按下键盘上的Win和R键,弹出如下窗口。图片
在弹出的窗口中,输入cmd,点击细目,掀开高歌行,古典武侠 校园春色就像底下这样。图片
11. 输入下载高歌在掀开的高歌行里,输入上头复制的高歌“ollama run deepseek-r1:1.5b”。图片
点击键盘上的“Enter”键,模子会自动下载。图片
12. 与模子对话下载见效后,就不错与模子对话啦。图片
此时大模子装配在你的电脑上,就算断网也不错不时用,也不必追思数据表示。第四步,后续运行模子这里还有一个问题,当你关闭电脑后,下次再掀开ollama。会发现点击ollama的图标,电脑没响应。因为你点击图标,仅仅启动了ollama,念念要和大模子聊天,如故需要掀开高歌行。13. 不时通过高歌行和大模子聊天同期按下键盘上的Win和R键,在弹出的窗口里输入cmd,点击细目掀开高歌行。在高歌行界面,输入刚刚的高歌“ollama run deepseek-r1:1.5b”。因为你之前依然下载过,此次无需下载,不错径直和模子聊天。图片
三、装配Open-WebUI(不错不看)留神:前边的设施,依然好意思满了。Open-WebUI仅仅让交互界面更颜面,不错不必装配。且薄情不老练电脑的一又友,先不要装配Open-WebUI。Open-WebUI有比拟多的依赖项,装配进程中容易出问题。若是装配半天没完成,容易打击到学习AI的眷注,这亦然为什么我作念的视频里,莫得讲Open-WebUI装配设施的原因。若是捏意要装配,则装配设施如下:14. 率先装配docker不错用docker来解决操作系统界面,比径直装配Open-WebUI更简易。在浏览器输入docker并搜索,点击投入官网。图片
15. 左证你的电脑系统,下载docker桌面版,并装配运行。图片
装配完成后,需要重新启动电脑,技能平素使用docker。重新启动后,若是你的桌面上出现了docker的图标,就暗示装配见效了。图片
16. 装配Open-WebUI浏览器搜索Open-WebUI,投入官网,并复制红框中的高歌。图片
按照上头提到的设施,掀开高歌行,输入复制的高歌,恭候装配完成。17. 运行Open-WebUI双击docker的桌面图标,掀开软件。点击红框端口,即可运行Open-WebUI。图片
初度访谒时,需要注册一个账号。这些信息会储存在你的电脑里。18. 开动对话在界面左上角,遴荐你的模子,就不错开动对话啦。图片
Open-WebUI这部分的装配进程比拟苟简,若是出现报错,需要具备通过浏览器搜索问题原因,并建筑的智商。如实不薄情,不老练电脑的生手尝试。五、其它问题何如稽查我电脑上装了几许个模子?掀开高歌行,输入:ollama list,红框里便是对应模子。图片
何如删除模子?在高歌行输入,ollama rm + 模子称号,举例:ollama rm deepseek-r1:1.5b,就会自动删除对应模子。图片
ollama还有其它功能吗?高歌行输入ollama,展示出ollama的其它功能。图片
比如:输入“ollama stop”是住手模子运行,“run + 模子名”是运行对应模子。 本站仅提供存储做事,总共实质均由用户发布,如发现存害或侵权实质,请点击举报。