原贴链接

来自TabbyAPI团队（针对exl2），YALS已经发布！这是一个新的GGUF服务器，类似于TabbyAPI，易于使用且速度快。请查看代码库并告诉我们你的想法！

讨论总结

YALS是一个新发布的类似TabbyAPI的GGUF服务器。一些用户赞赏其易用性并期待新功能，如运行gguf量化的新方式。同时，也存在对其功能方面的疑惑，像如何设置llama.cpp构建标志、能否进行奇数个GPU的张量并行等。此外，还有对YALS是否复制TabbyAPI所有端点的疑问，以及对项目处于alpha状态存在风险的担忧，也有用户对其发布反应平淡，这引发了一些争论。

主要观点

  1. 👍 赞赏YALS的易用性
    • 支持理由：评论者直接表达易用性非常值得赞赏。
    • 反对声音：无。
  2. 👀 对YALS设置llama.cpp构建标志存在困惑
    • 正方观点：不知道如何设置构建标志，不确定操作方式。
    • 反方观点：无。
  3. 🤔 猜测YALS未来可能支持视觉模型
    • 正方观点：YALS不依赖Python很不错，可能会扩展功能支持视觉模型。
    • 反方观点：无。
  4. 💡 对YALS是否复制TabbyAPI所有端点表示疑问
    • 正方观点：作为模型切换和Llama.cpp的粉丝看好YALS，但想知道是否复制所有端点。
    • 反方观点：无。
  5. 😕 因项目处于alpha状态可能存在漏洞而不愿参与
    • 正方观点：alpha状态可能有漏洞，可能导致严重后果。
    • 反方观点：无。

金句与有趣评论

  1. “😂 Ease of use is very much appreciated, looking forward for a new way to run gguf quants”
    • 亮点：简洁表达对YALS易用性的赞赏和对新功能的期待。
  2. “🤔 也许在未来他们将扩展以支持视觉模型。”
    • 亮点：对YALS未来功能发展进行了合理猜测。
  3. “👀 你不需要设置自定义的llama.cpp构建标志，除非你想要为CI不支持的特定后端构建。”
    • 亮点：开发者解答了关于YALS构建标志设置的疑问。
  4. “😕 “This project is in an alpha state. There may be bugs, possibly even ones that could cause thermonuclear war.””
    • 亮点：用夸张手法表达对项目风险的担忧。
  5. “😒 It’s rough out here for a gooner contributing nothing to the world”
    • 亮点：这是对态度消极者的反击，比较有戏剧性。

情感分析

总体情感倾向较为中性，主要分歧点在于对YALS的态度，部分人看好它的发展，赞赏其易用性等优点；部分人则担忧项目风险或者对其发布反应平淡甚至消极。可能的原因是不同用户的需求和关注点不同，如一些关注技术的用户更注重功能和易用性，而谨慎的用户会担心alpha状态的风险。

趋势与预测

  • 新兴话题：YALS未来是否会支持视觉模型、是否会完善其功能以匹配TabbyAPI等可能会引发后续讨论。
  • 潜在影响：如果YALS能够解决目前存在的疑问并且不断完善功能，可能会对GGUF服务器相关技术领域产生积极影响，吸引更多用户使用。如果其风险成真，可能会影响其在用户中的口碑和信任度。

详细内容：

标题：TabbyAPI 团队推出 YALS 新 GGUF 服务器引发热烈讨论

近日，TabbyAPI 团队发布了新的 GGUF 服务器 YALS，声称其在使用便利性和速度方面表现出色。该帖子在 Reddit 上引发了众多关注，获得了大量的点赞和评论。

主要的讨论方向包括对其易用性的期待、在设置相关构建标志时的困惑、对未来支持视觉模型的展望，以及与现有类似项目的比较等。

讨论焦点与观点分析：

有人表示易用性非常值得赞赏，期待它带来新的运行 gguf 量化的方式。

也有人对如何为 llama.cpp 设置构建标志感到有些困惑，除非直接将库复制到其文件夹。

还有用户认为这是 llama.cpp 相关项目目前的普遍情况，也许未来会添加视觉模型支持，好在现在至少有了 jinja 。

一位开发者解释了在不同操作系统设置标志的方法。在 Linux 和 macOS 中，设置标志很容易，因为环境变量会传递给 CMake。而在 Windows 中，则需要编辑相关脚本。

有人对其能否进行奇数个 GPU 的张量并行以及是否支持推测解码、是否支持多模态提出疑问。

有人是模型切换通过 API 调用和 Llama.cpp 的粉丝，好奇 YALS 是否复制了 TabbyAPI 的所有端点。而主要开发者回复称，一旦推送缺失的提交，用户可通过 <url>/docs 查看所有端点，未来还会添加更多端点以匹配 Tabby。

有人调侃称“这个项目处于 alpha 状态。可能存在漏洞，甚至可能引发热核战争。”所以不愿意冒险尝试。

还有人表示又是一个 llama.cpp 服务器。

在这场讨论中，大家对于 YALS 的看法各有不同。一些人对其充满期待，而另一些人则持有谨慎或质疑的态度。但总体而言，对于这个新推出的服务器，大家都保持着高度的关注，并期待它能够在未来不断完善和发展。