硬件与部署 硬件选择

我制作了一个提供商、模型和价格的比较表,非常实用。

讨论围绕一个AI模型比较表格展开,涉及性能、价格、更新频率等多个方面,以及用户对Deepseek模型的积极评价。

 ·  · 
硬件与部署 硬件选择

有人在这里使用96GM或64 GB内存的M系列Mac吗?

讨论围绕不同配置的Mac运行大型语言模型(LLMs)的性能和内存需求展开,涉及内存带宽、VRAM限制、模型运行速度等多个技术细节。

 ·  · 
硬件与部署 硬件选择

你期待哪些硬件发布?

Reddit用户热烈讨论即将发布的硬件,特别是显卡和Mac系列,关注价格、性能和市场需求,同时期待新技术带来的变革。

 ·  · 
硬件与部署 硬件选择

老实说,一张4090显卡没什么大用

讨论围绕4090显卡在AI和机器学习中的实际应用和价值,涉及成本效益、隐私保护、本地运行与云服务的比较,以及个人与企业级使用的差异。

 ·  · 
硬件与部署 硬件选择

今天又拿到了第二张3090

讨论围绕NVIDIA 3090显卡的功耗优化、性能提升、硬件安全和数据丢失问题展开,涉及电源选择、硬件兼容性和数据安全等多个方面。

 ·  · 
硬件与部署 硬件选择

开源LLM提供商与自托管价格比较

讨论围绕开源大语言模型(LLM)提供商和自托管价格比较展开,涉及GPU性能、量化信息、脚本标准化等多个方面,旨在帮助社区做出更明智的硬件选择。

 ·  · 
硬件与部署 硬件选择

AMD 是 Linux 上进行推理的好选择吗?

Reddit用户讨论了在Linux环境下使用AMD显卡进行推理的可行性,重点关注了VRAM、ROCm、Vulkan的性能差异,以及AMD显卡在性价比和软件支持方面的优势与挑战。

 ·  · 
硬件与部署 硬件选择

哪个本地LLM最适合创意写作任务?

讨论围绕“哪个本地大型语言模型(LLM)最适合用于创意写作任务”展开,主要推荐了Gemma 2 27B等模型,并讨论了模型量化、GPU性能和工具接口等问题。

 ·  · 
硬件与部署 硬件选择

一块3090显卡足以支持Llama 3为数千用户服务

讨论围绕使用单个3090显卡服务Llama 3给数千用户的技术实现展开,涉及技术细节、成本效益、高可用性及隐私保护等多个方面。

 ·  · 
硬件与部署 硬件选择

双GPU RTX 4090 / 3090 设置

讨论围绕双RTX 4090/3090显卡配置展开,涉及散热、模型优化、硬件维护等多个技术细节,总体氛围技术性强且富有创意。

 ·  ·