LM Studio是一个专注于本地大语言模型交互的桌面应用程序,为在本地设备上运行大型语言模型提供了创新且高效的解决方案。LM Studio基于llama.cpp开发,提供图形界面,无需命令行操作,专注桌面端用户体验。
什么是LM Studio?
LM Studio 是一个创新的人工智能平台,专注于提供快速、安全的本地大型语言模型运行和下载服务。它支持多种先进的语言模型,如LLaMa、MPT和Gemma等,并且具备优越的离线运行能力。通过这个工具,用户可以在本地机器上高效地运行模型,从而避免了数据隐私问题和网络延时所带来的困扰。
软件特色
模型管理:支持从Hugging Face等资源库中拉取、存储、运行各类GGUF格式模型,用户可以在软件内方便地浏览、搜索和选择自己需要的模型。
硬件协同优化:依托llama.cpp底层架构,针对NVIDIA系列GPU运用GPU卸载技术,合理分配运算任务,突破显存局限;在内存管理方面,借助模型量化手段降低内存占用量,确保设备内存有限的情况下也能平稳加载运行大型模型。
参数调控:用户可灵活调整“温度”“重复惩罚”等参数,精准定制模型输出。比如“温度”参数可调整输出文本的灵活度,“重复惩罚”参数可把控文本多样性。
文本嵌入强化检索:借助POST/v1/embeddings端点生成文本嵌入向量,融入检索增强生成(RAG)架构体系,在海量文档、知识库搜索场景表现卓越。
内置兼容OpenAI的本地服务器功能:无缝衔接既有基于OpenAI API搭建的应用与本地模型,极大缩短开发适配周期,助力创新应用高效落地。
使用教程
1、打开LM studio程序

2、点击右下角的设置,里面把语言选择成为“简体中文”

模型存放及部署设置
1、需要下载Deepseek-R1模型,当我们下载好模型文件后,需要注意,不能随便存放,因为需要让安装好的LM Studio来加载,而它对文件加载是有规定的,在客户端里选择”模型目录“,然后我们选择”更改“

2、这里我们把文件举例放在D盘,新建一个文件夹,取名:models000,注意,这里的文件夹也不能有任何符号及中文

3、我们在models000下再建立一个文件夹001,在001里继续建立一个文件夹 002,这样002就处于三级目录下了,我们把刚才下载的R1模型文件,复制在这个002文件夹内就可以了

4、然后我们回到刚才LM studio的模型目录里,就直接可以看到刚才已经复制的模型了

5、点击聊天界面,再点击上面的模型选择按钮

6、选择刚才的模型后,点击加载等待完成即可,注意:这里可以选择加一个“快速注意力”
更新日志
LM Studio 0.3.9
LM Studio 0.3.9 包括一个新的空闲 TTL 功能,支持 Hugging Face 存储库中的嵌套文件夹,以及一个实验性 API,用于在聊天完成响应的单独字段中接收。reasoning_content
早期版本的 0.3.9 在流式处理 DeepSeek R1 聊天完成响应时存在错误。请更新到最新版本 (5) 以解决此问题。
空闲 TTL 和自动移出
用例:假设您正在使用 Zed、Cline 或 Continue.dev 等应用程序与 LM Studio 提供的 LLM 进行交互。这些应用程序利用 JIT 在您首次使用模型时按需加载模型。
问题:当您没有主动使用模型时,您可能不希望它继续加载到内存中。
解决方案:为通过 API 请求加载的模型设置 TTL。每次模型收到请求时,空闲计时器都会重置,因此在您使用它时它不会消失。如果模型未执行任何工作,则认为模型处于空闲状态。当空闲 TTL 过期时,模型会自动从内存中卸载。
您可以在请求负载中设置以秒为单位的 TTL,或用于命令行使用。lms load --ttl <seconds>
在文档文章中阅读更多内容:TTL 和自动驱逐。
在聊天完成响应中分离reasoning_content

对于 DeepSeek R1,在单独的字段中获取推理内容
DeepSeek R1 模型在标签内生成内容。此内容是模型的 “推理” 过程。在聊天完成响应中,您现在可以在一个名为 following the pattern in DeepSeek API 的单独字段中接收此内容。<think></think>reasoning_content
这适用于流式和非流式完成。您可以在 App Settings > Developer 中打开此功能。此功能目前处于试验阶段。
注意:根据 DeepSeek 的文档,您不应在下一个请求中将推理内容传回给模型。
LM 运行时的自动更新
LM Studio 支持多种引擎变体(仅 CPU、CUDA、Vulkan、ROCm、Metal)以及 Apple MLX 引擎。这些引擎会频繁更新,尤其是在发布新模型时。llama.cpp
为了减少手动更新多个片段的需要,我们为运行时引入了自动更新。默认情况下,此功能处于启用状态,但您可以在 App Settings 中将其关闭。
更新运行时后,您将看到一条通知,其中显示了发行说明。您也可以在 runtimes 选项卡中自行管理:在 Windows/Linux 上,在 macOS 上。Ctrl + Shift + RCmd + Shift + R

LM 运行时将自动更新到最新版本。您可以在设置中关闭此功能
支持 Hugging Face 存储库中的嵌套文件夹
一个期待已久的功能:您现在可以从 Hugging Face 存储库中的嵌套文件夹下载模型。如果您最喜欢的模型发布者将其模型组织在子文件夹中,您现在可以直接在 LM Studio 中下载它们。
这使得下载 https://huggingface.co/unsloth/DeepSeek-R1-GGUF 等模型变得容易。也适用于。lms get <hugging face url>
# Warning: this is a very large model
lms get https://huggingface.co/unsloth/DeepSeek-R1-GGUF
0.3.9 - 完整更改日志
版本 6
修复了在包含图像的聊天中使用纯文本模型时出现的“无法读取 undefined 的属性”
修复了 Windows 上的路径解析问题,该问题导致某些计算机上的 LM 运行时意外运行
CUDA 模型加载崩溃,“llm_engine_cuda.node.系统无法访问该文件”
ROCm 乱码模型生成
修复了使用旧版本应用程序创建的聊天中的 RAG 消息不显示的错误
修复了输入法编辑器 (IME) 错误:现在,按 Enter 键时,除非完成合成,否则不会发送消息
构建 5
修复了在流式传输 DeepSeek R1 聊天完成响应时不遵循设置的 API 错误reasoning_content
版本 4
新的实验性 API:在聊天完成响应(流式和非流式)中的单独字段中发送reasoning_content
适用于在标签内生成内容的模型(如 DeepSeek R1)<think></think>
在 App Settings > Developer 中打开
构建 3
新增内容:添加聊天外观选项以自动扩展新添加的 Thinking UI 块
新增内容:当应用程序提供 insufficient system resources 错误通知时,显示对护栏配置的快速访问
修复了如果删除非默认 models 目录,则不会为新模型编制索引的错误
修复了硬件检测中的一个错误,该错误在使用 Vulkan 后端时有时会错误地过滤掉多 GPU 设置中的 GPU
修复了模型加载 UI 中的一个错误,该错误导致没有 Flash 注意的 F32 缓存类型无法被识别为 llama.cpp Metal 运行时的有效配置
构建 2
新增内容:添加了对从 Hugging Face 存储库中的嵌套文件夹下载模型的支持
改进了对直接使用 Hugging Face URL 进行搜索的支持
新增内容:自动更新选定的运行时扩展包(您可以在设置中关闭此功能)
新增内容:添加了使用 LM Studio 的 Hugging Face 代理的选项。这可以帮助无法直接访问 Hugging Face 的用户
新功能:MLX 模型的 KV 缓存量化(需要 mlx-engine/0.3.0)
我的模型选项卡刷新:更整洁的模型名称和模型类型的侧边栏类别
可以切换回在“应用程序设置”>“常规”中显示完整文件名
要查看原始模型元数据(以前为:(i) 按钮),请右键单击模型名称,然后选择“查看原始元数据”
修复了清除 Sampling Settings 中的 Top K 会触发错误的 bug
版本 1
新增内容:TTL - 可选择在一定时间后自动卸载未使用的 API 模型(请求有效负载中的字段)ttl
对于命令行使用:lms load --ttl <seconds>
API 参考:https://lmstudio.ai/docs/api/ttl-and-auto-evict
新增内容:自动驱逐 - 可选择在加载新 API 模型之前自动卸载之前加载的 API 模型(在应用程序设置中控制)
修复了模型思维块内的方程式有时会在块下方生成空白空间的错误
修复了 Toast 通知中的文本不可滚动的问题
修复了取消选中和选中 Structured Output JSON 会使架构值消失的错误
修复了生成时自动滚动有时不允许向上滚动的错误
[开发商]将日志记录选项移动到 Developer Logs 面板标题(••• 菜单)
修复了聊天外观字体大小选项在思考区块中不缩放文本的问题
文章来自互联网,不代表电脑知识网立场。发布者:情绪零碎,转载请注明出处:https://www.pcxun.com/n/438706.html
