首页 排行榜文章正文

通过大模型搭建属于自己的智能知识库

排行榜 2025年08月10日 22:21 0 admin


现在人工智能发展的越来越迅猛，在实际的生活中用到的也越来越多。我们普通人可以自己运用到么？回答是肯定的：当然可以！

今天就为大家介绍下如何搭建属于自己的智能知识库。

本知识库会用到如下产品：文档+电脑（或其他硬件设备）+Anything LL+ollama+大模型。

其中选择什么大模型需要基于硬件的配置。模型越大精度越高，对硬件要求也就越高。

首先我们先下载并安装好AnyThing LLM和ollama。

通过大模型搭建属于自己的智能知识库

通过大模型搭建属于自己的智能知识库

两款软件都支持 MAC OS、Windows和linux。我们根据自己的需求下载相应的版本即可。

通过大模型搭建属于自己的智能知识库

通过大模型搭建属于自己的智能知识库

安装好ollama后，我们需要做一个简单的配置：

通过大模型搭建属于自己的智能知识库

第一个是调整模型的下载位置，需要一个容量比较大的存储位置。

第二个是设置“context length”，表示模型能同时处理的最大文本长度（包括输入的问题、参考的文档片段、对话历史等）文档分割时的文本块长度（即 Chunk Size）。这里默认是4K，比较适合简单对话、单轮对话和短文检索(FAQ知识库)。

配置完成后，我们进行大模型的下载。目前ollama支持下载的大模型还是比较多的。比如：deepseek-r1 、gemma3n、qwen系列、大家根据自己的需求和硬件配置下载即可。

通过大模型搭建属于自己的智能知识库

因为我的电脑配配置比较拉胯，就只下载了qwer3:0.6b的模型。（之前就下载好并运行了）

通过大模型搭建属于自己的智能知识库

那么如何下载了，我们需要在电脑的终端（windows系统使用“WIn”+“R”打开“运行”对话框，输入“cmd”即可）进行操作。比如我们想下载deepseel-r1 1.5b的模型输入：ollama run deepseek-r1:1.5b即可。我们可以看到模型的大小和下载的速度与进度。

通过大模型搭建属于自己的智能知识库

如果想终止下载直接在当前终端按ctrl+C 即可。

下载完成后 可以输入 ollama list 查看模型运行情况。（我这是提前下载好的哈）

通过大模型搭建属于自己的智能知识库

这个时候我们打开Anything LLM，软件会有一个入门指南和快捷链接。

通过大模型搭建属于自己的智能知识库

我们第一步需要做的就是创建一个工作区并对工作区做一个命名。比如命名为：work

通过大模型搭建属于自己的智能知识库

创建成功我们会看到自己创建的一个工作区（work）

通过大模型搭建属于自己的智能知识库

工作区的配置我们保持默认即可，后续大家熟悉后根据自己的需求做调整即可。

通过大模型搭建属于自己的智能知识库

然后我们在对anything LLM做个配置。点击左下方的“扳手”图标即可。

通过大模型搭建属于自己的智能知识库

通过大模型搭建属于自己的智能知识库

在这里LLM提供商选择ollama即可。因为本地只下载一个qwen:0.6b的，所以只能是qwen:0.6b,如果有多个模型的话，我们进行手动选择即可。

Ollama Base URL 这个地方，因为两个软件部署在一台电脑上，地址如图所示即可。如果ollama 部署在其他电脑上，则需要填写相应的地址，并且需要方通11434端口。

其他配置保持默认即可。

最后我们就可以上传自己的文档啦。

通过大模型搭建属于自己的智能知识库

退回到这个界面，点击“嵌入文档”即可。在红框位置上传文档。目前支持文本文件、CSV、电子表格、音频文件等。

通过大模型搭建属于自己的智能知识库

上传完成后，选择上传的文件移动到工作区保存并嵌入即可。

通过大模型搭建属于自己的智能知识库

下面我们就可以对话啦，不同的硬件配置相应的速度会有所差异。

通过大模型搭建属于自己的智能知识库

可以看到我们的提问得到了相应的回答。如果想得到更准确快速的回到，是需要各方面做调整升级的。

至此ollamam+anything LLM的“本地知识库+智能回答”就搭建完成啦。欢迎大家做后续交流。

相关文章

发表评论

长征号 Copyright © 2013-2024 长征号. All Rights Reserved.  sitemap