硬件与部署 推理速度优化

AMD MI60与vLLM助力Llama3.3 70B达20 tokens/s

[原帖分享2x AMD MI60卡推理速度成果,评论涉及对AMD工作的认可、技术问题、硬件选择等,整体氛围积极且充满技术交流]

 ·  · 
模型与技术 新模型发布

Deepseek V3已上线

[Deepseek V3上线,引发关于其参数规模、版本发布、开源情况、性能表现等多方面的讨论,整体氛围积极且充满期待,同时也存在一些疑惑与质疑。]

 ·  · 
应用与工具 开发工具与框架

OpenWebUI更新:支持真正的异步聊天

[OpenWebUI的更新引发了讨论,大家总体持积极态度,同时也提出了一些期望和存在的问题]

 ·  · 
硬件与部署 硬件选择

双3090性能接近理想但仍有不足

[原帖作者认为2x3090在运行相关程序时接近理想但仍有不足,评论围绕3090的硬件性能、配置、升级需求以及模型运行情况展开讨论]

 ·  · 
模型与技术 新模型发布

高山LLaMA:GPU和磁盘空间不足者的福音

[关于Alpine LLaMA项目,大家从不同角度展开讨论,包括项目融合、技术实现、功能支持、适用性等方面,整体氛围较为理性探讨]

 ·  · 
应用与工具 特定领域应用

AI模型与搜索结合效果佳,小模型亦如此

[原帖分享了AI模型与搜索配合良好的使用体验,评论涉及不同模型使用效果、模型设置、技术疑问及对不同搜索工具的体验]

 ·  · 
硬件与部署 性能对比

Test - Time Compute模型是否使M系列Mac不再适合运行大型语言模型

[围绕M系列Mac在Test - Time Compute模型引入后是否还适合运行LLMs展开讨论,涉及性能、功率、运行体验、权衡选择等多方面,大家各抒己见且氛围较理性]

 ·  · 
应用与工具 特定领域应用

使用Llama3.3驱动的AI代理查询pyppeteer仓库的两个近期问题

[围绕Llama3.3框架展开讨论,包括其在查询库问题、数据获取、与其他框架集成、在浏览器操作中的应用以及相关项目推广等方面的观点交流]

 ·  · 
应用与工具 其他

圣诞节孤独,能用AI做什么?

[原帖主圣诞节无事可做想与自己的4060设备和AI互动,评论者们给出了各种建议,包括AI相关的操作、志愿服务、人际互动等,整体氛围积极且充满关怀]

 ·  · 
其他 其他

大语言模型能否解读此内容

[原帖关于LLM能否读取一张因连接错误无法显示的图片内容,评论从图片中的笔迹、内容语言混合难以辨认、网络安全相关内容解读、对LLM能力的探讨以及一些关于图片处理的疑问等多方面展开讨论,氛围较为多元且充满探索性]

 ·  ·