Phi-3-mini-128k-instruct入门必看：从零部署到提问验证的详细步骤

Phi-3-mini-128k-instruct入门必看：从零部署到提问验证的详细步骤

想快速体验一个轻量又聪明的AI助手吗？今天带大家从零开始，一步步部署Phi-3-mini-128k-instruct模型，并用一个漂亮的网页界面和它聊天。整个过程就像搭积木一样简单，不需要高深的编程知识，跟着做就能搞定。

Phi-3-mini-128k-instruct是个只有38亿参数的小模型，别看它小，在常识理解、数学、编程和逻辑推理上的表现，比很多大它好几倍的模型还要好。它特别擅长理解你的指令，并且经过了安全训练，回答既靠谱又安全。最关键的是，它支持长达128K的上下文，这意味着你可以和它进行很长的对话，它都能记得住。

我们这次会用vLLM来部署模型后端，这是目前推理速度最快的框架之一。前端则用Chainlit，它能生成一个类似ChatGPT的网页聊天界面，颜值高又好用。下面，我们就开始动手吧。

1. 环境准备与快速上手

在开始之前，我们先确认一下你需要准备什么，以及整个流程是怎样的，让你心里有个数。

1.1 你需要准备什么

基本上，你只需要一台能上网的电脑，和一个已经预装好环境的云服务器或本地环境。为了最省事，我强烈推荐使用已经集成了所有环境的“星图镜像”。如果你用的是其他环境，请确保已经安装了Python、Docker等基础工具。

使用星图镜像（推荐，最省心）： 如果你在CSDN星图镜像广场找到了名为“Phi-3-mini-128k-instruct”或类似标题的镜像，直接点击部署。这个镜像最大的好处是，vLLM服务、Chainlit前端、模型文件所有这些复杂的部分，都已经预先配置并启动好了。你部署完成后，几乎马上就能用，省去了下面所有安装和配置的步骤。

使用自有环境： 如果你打算在自己的服务器上从零开始，那么需要：

1. 一台拥有足够GPU内存的Linux服务器（建议显存>=8GB）。
2. 安装好Python（3.8以上版本）、pip、Git。
3. 对命令行操作有最基本的了解。

由于从零安装涉及依赖解决、模型下载、端口配置等多个环节，容易出错，本文主要基于“使用星图镜像”这条最平滑的路径来讲解。自有环境的部署可以参考vLLM和Chainlit的官方文档。

1.2 整体流程一览

整个过程非常简单，只有三个核心步骤：

1. 部署与启动：在星图镜像广场找到并部署镜像，服务会自动启动。
2. 检查状态：打开终端，输入一条命令，确认模型服务已经正常加载。
3. 开始聊天：在浏览器中打开Chainlit提供的网页地址，就可以像使用ChatGPT一样提问了。

接下来，我们进入每一步的详细操作。

2. 第一步：部署模型服务

这是最关键的一步，但如果你用了星图镜像，它也是最简单的一步。

1. 寻找镜像：访问CSDN星图镜像广场，在搜索框中输入“Phi-3-mini-128k-instruct”。你应该能看到一个对应的镜像，描述中通常会包含“vLLM部署”、“Chainlit前端”等关键词。
2. 一键部署：点击该镜像的“部署”或“立即使用”按钮。系统可能会让你选择服务器配置（如CPU、内存、GPU），对于Phi-3-mini这个模型，选择一款带有至少8GB显存的GPU配置即可。
3. 等待启动：点击确认后，系统会自动创建并启动一个容器实例。这个过程通常需要1-3分钟，期间会自动完成所有工作：从模型仓库下载Phi-3-mini-128k-instruct的模型文件、启动vLLM推理服务器、并启动Chainlit网页服务。

部署成功后，你会进入一个管理界面，里面会显示你的实例状态（运行中）以及一些重要的访问信息，比如IP地址和端口号。请记下这些信息，稍后会用到。

3. 第二步：验证服务是否正常

服务启动后，我们得先确认一下“发动机”有没有成功点火，也就是vLLM的后端服务是否正常加载了模型。

通常，星图镜像会将服务的日志输出到一个固定的文件中。我们需要打开系统自带的终端工具（常叫做WebShell或终端）。

1. 打开终端：在你的实例管理页面，找到并点击“WebShell”、“终端”或类似的按钮，这会打开一个在浏览器中运行的命令行窗口。

2. 查看日志：在终端里，输入以下命令来查看模型服务的启动日志：

   cat /root/workspace/llm.log

   cat命令会显示这个日志文件的全部内容。

3. 确认成功：你需要滚动日志，寻找关键的成功信息。当你看到类似下面的输出时，就说明模型已经加载成功，vLLM服务正在运行：

   INFO 04-10 08:00:00 llm_engine.py:197] Initializing an LLM engine (v0.3.0)... INFO 04-10 08:00:05 model_runner.py:111] Loading model weights... INFO 04-10 08:00:25 model_runner.py:115] Model weights loaded. INFO 04-10 08:00:25 llm_engine.py:284] Engine started. INFO 04-10 08:00:25 api_server.py:137] Started server process... Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

   最后一行特别重要，它告诉我们vLLM的API服务已经在8000端口上监听了。看到这个，你就可以放心进行下一步了。

   如果日志最后在反复提示“加载中”或者报错，可能需要再等待一两分钟。模型第一次加载需要一点时间。

4. 第三步：使用Chainlit前端提问

现在，我们的“大脑”（模型服务）已经就绪，需要给它配一个“脸面”（聊天界面）来和我们交互。Chainlit已经帮我们准备好了。

1. 访问前端界面：回到你的实例管理页面。除了终端，通常还会有一个“访问应用”或“打开网页”的链接或按钮，旁边会标注一个端口号（比如7860,8501或8001）。这个链接就是Chainlit的访问地址。

   • 点击这个链接，它会在浏览器中打开一个新的标签页。
   • 如果页面上没有直接链接，你也可以手动拼接地址。假设你的实例IP是123.123.123.123，Chainlit端口是8001，那么在浏览器地址栏输入http://123.123.123.123:8001即可访问。

2. 认识聊天界面：打开的页面应该是一个简洁、现代的聊天窗口，中间可能有一个输入框，写着“请输入消息...”或者“Ask me anything”。这个界面和常见的AI聊天产品很像，非常直观。

3. 开始第一次提问：在底部的输入框里，键入你想问的问题。为了验证模型的基本能力，你可以从简单的问题开始：

   • 常识测试：“太阳从哪边升起？”
   • 逻辑推理：“如果所有猫都怕水，我的宠物毛毛是一只猫，那么毛毛怕水吗？”
   • 创意写作：“用三句话写一个关于机器人的科幻小故事开头。” 输入完成后，按下回车键或者点击发送按钮。

4. 查看回复：稍等片刻（通常只需几秒），模型的回复就会以气泡的形式出现在屏幕上。Phi-3-mini-128k-instruct的回答通常直接、准确且格式清晰。

恭喜你！到这一步，你已经成功部署了一个功能完整的AI对话应用，并且完成了第一次交互。你可以继续尝试更复杂的问题、多轮对话或者给它布置一些写作任务，探索这个轻量级模型的能力边界。

5. 进阶使用与实用技巧

基本的聊天功能已经实现，但你可能还想知道怎么用得更好。这里有几个小技巧。

5.1 如何提出更好的问题

模型的理解能力很强，但清晰的指令能得到更优质的回复。

• 具体化：不要问“怎么写代码？”，而是问“用Python写一个函数，计算斐波那契数列的前N项。”
• 设定角色：你可以说“你是一位资深的历史老师，请用通俗易懂的方式讲解一下文艺复兴。”
• 指定格式：“请将以下要点整理成一份会议纪要，分点列出。”或者“用表格对比Python和JavaScript在Web开发中的优缺点。”

5.2 进行多轮对话

Chainlit界面天然支持多轮对话。你可以基于模型的上一轮回答继续追问，比如：

• 你：“推荐几本经典的科幻小说。”
• 模型：“《基地》、《三体》、《沙丘》...”
• 你：“能详细介绍一下《三体》的核心思想吗？” 模型在128K的长上下文支持下，能很好地记住之前对话的内容。

5.3 如果遇到问题

如果页面无法打开，或者模型长时间不回复，可以按以下步骤排查：

1. 检查服务状态：回到终端，再次运行cat /root/workspace/llm.log，查看日志末尾是否有新的错误信息。
2. 确认端口：确保你访问的网页端口是正确的，并且实例的安全组或防火墙规则允许访问该端口（星图镜像通常已配置好）。
3. 资源监控：在极少数情况下，可能是GPU内存不足。你可以通过nvidia-smi命令查看GPU使用情况。

6. 总结

我们来回顾一下今天完成的事情。我们利用集成的星图镜像，几乎零配置地完成了Phi-3-mini-128k-instruct模型的部署。整个过程的核心就是三步：部署镜像、检查日志、打开网页聊天。

这个组合（vLLM + Chainlit）的优势非常明显：

• 极速体验：vLLm的推理速度很快，你的问题能得到快速响应。
• 开箱即用：Chainlit提供了现成、美观的Web界面，无需自己写前端代码。
• 模型强大：Phi-3-mini-128k-instruct在轻量级模型中表现突出，既能处理复杂指令，又支持超长对话，非常适合作为个人助手或集成到其他应用中。

你现在拥有的，不仅仅是一个聊天玩具。你可以把它当作一个24小时在线的编程助手、写作伙伴、学习导师，或者作为你开发更复杂AI应用的基石。希望这篇指南能帮助你顺利启程，尽情探索AI对话的乐趣。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。