原贴链接

我在商学院教授分析学。我有一个LLM，可以通过RAG访问我为课程编写的教科书。我使用LLM作为虚拟导师，以便在学生凌晨2点做作业时帮助他们回答问题，这些作业通常在第二天早上到期 :)。我还布置了需要他们利用LLM在R和Python中进行数据可视化的作业。LLMs在我的课堂中实现了许多功能——作为商科学生，他们没有接受编程培训，但这让他们对数据科学的内容有了欣赏，并为他们与数据科学家合作做好了准备。

我从未要求学生购买教科书（这就是为什么我写了我的教科书）或其他课程材料，因为这很少是必要的。但第一次，我违背了这一点，将genAI专业订阅作为必修课程材料的一部分。目标是让学生体验前沿的LLM，并帮助他们学会思考如何在工作流程中利用生成式AI。

现在，要求额外的购买让我感到不舒服，尽管我觉得这是合理的。所以，我决定不再要求购买，这意味着我需要为学生创建自己的前端来访问。理想情况下，它将具有与chatgpt或artifacts类似的UI。计划是设置一个域名和网站，以便我可以通过大学登录信息内部使用。我已经有了后端选项（例如，HF推理端点或通过我大学的AWS关系使用bedrock，但在AWS上使用RAG对我来说有点贵；下一步是微调，我有学生助理帮助我从教科书中生成大量数据集以实现这一目标）。我布置的作业需要他们生成代码，因此解决方案需要以markdown格式生成代码。另一个问题是它需要通过我大学的可访问性审查以符合要求。

有哪些选项可以托管这样的前端？我更喜欢适应现有的东西而不是从头开始创建（尽管我不反对这样做）。例如，在我的个人电脑上，我使用chatbot-ui与ollama和API调用，当我需要前沿模型时。我考虑过适应这个，因为它是开源的。还有其他建议吗？

TL;DR - 推荐一个可以在生产中使用并适应大学课堂的开源前端UI。

讨论总结

教授在帖子中寻求在课堂环境中使用本地模型的前端 UI 解决方案，讨论主要集中在推荐开源项目和讨论技术实现细节。评论者推荐了多个开源前端 UI 解决方案，如 Open WebUI、Anything LLM、nextjs-ollama-llm-ui 和 koboldcpp，并讨论了这些解决方案的优缺点。此外，讨论还涉及成本管理、系统管理和硬件需求等问题，以及如何在大学课堂环境中确保安全性和用户体验。

主要观点

👍 Open WebUI 是一个已经构建了坚实多用户体验的开源前端 UI 解决方案
- 支持理由：界面与 ChatGPT 非常相似，易于使用，且通过 Docker 易于部署。
- 反对声音：有用户希望其能提供类似 Claude 风格的代码布局。
🔥 Anything LLM 在实际应用中表现良好
- 正方观点：易于部署，适合在大学课堂环境中使用。
- 反方观点：未提及明显的反对意见。
💡 nextjs-ollama-llm-ui 是一个易于安装的前端 UI 解决方案
- 解释：能够直接连接到 ollama，适合在大学课堂环境中使用。
💡 koboldcpp 是基于 llama.cpp 的 fork，具有 UI 和 API 功能
- 解释：不需要安装，每个版本都为不同的系统进行了编译，但仅适用于 GGUF 模型。
💡 成本管理和配额限制是教授需要面对的主要问题
- 解释：建议使用 Vocareum 平台，支持自定义 LLM 的集成，适合学生使用代码和 Jupyter 笔记本。

金句与有趣评论

“😂 I’d recommend Open WebUI, it’s already built a solid multiuser experience and is extremely similar to the ChatGPT interface. Easy to host with Docker.”
- 亮点：简洁明了地推荐了 Open WebUI，并强调了其易用性和多用户体验。
“🤔 Try Anything LLM. I second this. It works great.”
- 亮点：简洁地推荐了 Anything LLM，并得到了其他用户的支持。
“👀 I think you have to bite the bullet and have each one of them pay the $20/mo for a top LLM otherwise you’re basically creating a whole sysadmin job for yourself where you have to host a high-end multi-user web service on high-end hardware.”
- 亮点：提出了成本和系统管理的现实问题，并建议了实际的解决方案。

情感分析

讨论的总体情感倾向偏向积极，评论者们提供了多种解决方案和建议，帮助教授解决实际问题。主要分歧点在于选择哪种开源前端 UI 解决方案，以及如何平衡成本和系统管理的需求。可能的原因是每个解决方案都有其优缺点，需要根据具体需求进行权衡。

趋势与预测

新兴话题：如何在大学课堂环境中确保前端 UI 的安全性和用户体验。
潜在影响：随着开源前端 UI 解决方案的普及，大学课堂中使用本地模型的实践将更加普遍，可能会推动更多教育机构采用类似的技术。

详细内容：

《大学教授寻求前端 UI 建议，Reddit 网友纷纷献策》

在 Reddit 上，一位教授分享了自己在教学中使用本地模型时对于前端 UI 的需求及相关情况，该帖子获得了众多关注和大量的评论。这位教授在商学院教授分析课程，利用拥有 RAG 访问权限的 LLM 作为虚拟导师，并让学生通过 LLM 进行数据可视化任务。然而，要求学生购买 genAI 专业订阅作为课程材料让教授感到不妥，所以打算自己创建前端供学生访问，希望其具有类似 ChatGPT 或 Artifacts 的 UI，并能通过大学登录信息内部使用。教授还提到了后端的一些选择及面临的问题，询问大家关于前端托管的选择，比如是否有可用于生产并适用于大学课堂的开源前端 UI 。

讨论焦点与观点分析：

有人推荐Open WebUI，认为它已经构建了坚实的多用户体验，且与 ChatGPT 界面极其相似，用 Docker 容易托管。
有用户提到它令人印象深刻和熟悉，但希望能有 Claude 风格的代码布局。
有人指出有类似 Artifacts 的插件可通过管道/函数获取，详情可查看 openwebui.con 顶部功能页面。
还有人表示它与 ollama 配合良好，适合教授的使用场景。
有用户称自己设置过很多前端，广泛使用的是 Open WebUI 和 LibreChat，因为它们表现最佳。其中，LibreChat 功能最好但设置较难且有小 bug，Open WebUI 则设置极其容易且未遇到 bug。
有人提供了一种前端 UI 相关的解决方案，即：

yaml

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    runtime: nvidia
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    volumes:
      -./ollama:/root/.ollama
    ports:
      - "127.0.0.1:11434:11434"
    restart: unless-stopped

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - ANONYMIZED_TELEMETRY=False
    volumes:
      -./open-webui:/app/backend/data
    ports:
      - "127.0.0.1:3000:8080"
    restart: unless-stopped

有人推荐Anything LLM，也有人表示认同。
有用户提到使用 nextjs-ollama-llm-ui，称安装 node.js 容易且能直接连接 ollama。
有人推荐koboldcpp，这是 llama.cpp 的分支，带有 UI 和 API。
有人提到预期会面临的成本管理、学生的配额或速率限制问题，认为 LibreChat 在一些高等教育圈子中越来越受欢迎，将其集成到全栈中需要重大技术投资。还有人提到 Vocareum 是另一个在高等教育中知名的提供商。
有人认为教授应该让学生每人每月支付 20 美元用于顶级 LLM，否则会给自己带来大量系统管理工作。也有人认为获取 API 密钥并在所有设备上设置前端更便宜。
有人建议使用反向代理（traefik/NPM）、Cloudflare 和带有 GPU 的计算机，并在 Docker 容器中运行 OpenWebUI 或类似的工具。
有用户称过去几天一直在使用 Text generative WebUI，之前使用 Docker 和 Compose 的 Open WebUI，两者都符合需求，但仍在学习中，Conda 有助于将事物分开。

在这次讨论中，大家积极分享了各种前端 UI 的选择和经验，为教授提供了丰富的参考和建议。

讨论总结#

主要观点#

金句与有趣评论#

情感分析#

趋势与预测#

详细内容：#