你是如何跟踪你的提示在做什么的？

原贴链接

我最近花更多时间在可观测性和遥测技术上，因为即使对于我的小项目，当我能够跟踪提示的组装和结果时，速度上会有巨大的差异。

我了解的一些工具：

• Phoenix / OpenInference
• OpenLIT
• Evidently
• CometLLM
• LangKit
• W&B Prompts
• LangFuse
• Pezzo

你有使用过这些工具的经验吗？或者知道我遗漏了哪一个？还是你自己开发了解决方案？

讨论总结

本次讨论主要聚焦于项目监控和遥测技术在小型项目中的应用，以及这些技术如何显著提高开发速度。参与者提到了多个开源工具，如Phoenix、OpenInference、OpenLIT等，并询问其他用户的使用经验或是否有遗漏的工具。此外，Langtrace作为一个基于Opentelemetry的高基数跟踪工具被推荐，其简单的集成方式引起了其他用户的兴趣。另一个重要工具是OpenLLMetry，这是一个基于OpenTelemetry的观测工具，旨在提供对大型语言模型（LLM）调用的全面监控，得到了微软、IBM等公司专业人士的支持和使用。

主要观点

1. 👍 监控和遥测技术对小型项目开发速度有显著影响
   • 支持理由：通过跟踪提示的组装和结果，可以快速定位问题并优化流程。
   • 反对声音：暂无
2. 🔥 推荐了多个开源工具，如Phoenix、OpenInference、OpenLIT等
   • 正方观点：这些工具提供了丰富的功能，有助于全面监控项目。
   • 反方观点：暂无
3. 💡 Langtrace作为一个基于Opentelemetry的高基数跟踪工具被推荐
   • 解释：其简单的集成方式（仅需两行代码）使其易于使用，并能提供高基数的跟踪数据。
4. 🌟 OpenLLMetry是基于OpenTelemetry的最大且最稳定的观测项目
   • 解释：该项目连接到20多个不同的平台，避免供应商锁定，并提供全面的观测数据。

金句与有趣评论

1. “😂 Check out Langtrace as well - Opentelemetry based and high cardinal traces.”
   • 亮点：简洁明了地介绍了Langtrace的特点和优势。
2. “🤔 OpenLLMetry is the largest and most stable project for OpenTelemetry-based observability.”
   • 亮点：强调了OpenLLMetry在观测工具中的领先地位和稳定性。
3. “👀 Easier integration with just 2 lines of code to get started.”
   • 亮点：突出了Langtrace的易用性和集成简便性。

情感分析

讨论的总体情感倾向积极，参与者对监控和遥测技术的重要性表示认同，并对推荐的开源工具表现出浓厚的兴趣。主要分歧点在于选择哪个工具更适合特定项目的需求，但整体上大家对这些工具的功能和潜力持肯定态度。

趋势与预测

• 新兴话题：基于OpenTelemetry的观测工具可能会成为未来项目监控的主流选择。
• 潜在影响：这些工具的广泛应用将进一步提升开发效率，并有助于更好地理解和优化大型语言模型的性能。