无需GPU的快速音频生成 - Orpheus.cpp
深度剖析NVIDIA DGX Station GB300
QwQ - 32B的KV_cache/模型大小比率最高？
DeepSeek V3 0324在Livebench上超越Claude 3.7
GPT4与Gemini Flash图像生成器工作原理及技术探究
MacBook Air M4/32gb性能测试数据
Gemini 2.5 Pro构建巨型结构：一次性完成
DeepSeek-V3.1官方实时评测分数与本地测试结果不匹配
Qwen发布Qwen/Qwen2.5 - Omni - 7B
Gemini 2.5 Pro Exp 03 - 25在Livebench中排名第一
M3 Ultra Mac Studio 512GB对Deepseek V3 671b模型的prompt和写入速度
深度探索Deepseek v3 0324：国内的Sonnet 3.5
DeepSeek - V3在M3 Ultra 512GB上4位量化每秒处理超20k个词元且功耗低于200瓦
DeepSeek-V3-0324不同位量化版本发布及本地运行
Aider新Gemini pro 2.5轻松胜过sonnet 3.7
深擎V3（重大改进）与Gemini 2.5 Pro（SOTA）长文本测试
Deepseek V3 0324在OpenHands下获38.8% SWE - Bench验证
Gemini Pro 2.5数分钟打造最佳马里奥游戏
Amoral Gemma3 v2发布，拒绝率显著降低
AMD将推Strix Halo桌面版，CEO苏姿丰受访证实
Gemini 2.5 Pro实验版发布且称霸基准测试
vLLM与SGLang在2块英伟达GPU上的性能对比：SGLang借助数据并行性完胜
DeepSeek - V3 - 0324 GGUF - Unsloth模型相关资源
利用Whisper STT、Orpheus TTS、Gemma 3与LM Studio创建虚拟助手：mOrpheus
Deepseek V3 0324被评为最佳非推理模型
DeepSeek - V3 - 0324模型卡依据基准更新
特朗普全面禁止英伟达在中国的业务对本地大语言模型场景的影响
Deepseek - v3 - 0324在Aider中的应用
不明意义的Gemma 3与P102 - 100组合
DeepSeek V3-0324较V3有显著提升，成为最佳非推理模型
Qwen2.5 - VL - 32B - Instruct发布
Claude的"think"工具将准确率提升54%（含与Ollama集成）
Drummer的Fallen Command A 111B v1 - 宏大且独特的作品
DeepSeek V3-0324在代码创意基准测试中追平Sonnet 3.7
发布TeapotLLM：用于抗幻觉问答和文档提取的开源约8亿参数模型，完全在CPU上运行
在Steam Deck的Docker中运行大型语言模型
创建React推理UI模型：采用新推理结构与状态进行组件生成
微星再次预热24GB显存的GeForce RTX 5080
FanFic - Illustrator：3B推理模型，将故事转换为完美插画提示
DeepSeek - R1 - DRAFT - 0.5B - GGUF模型资源
Chatbot Arena现可能有Llama 4原型
量化方法很重要：MLX Q2与GGUF Q2_K对比，MLX破坏模型性能而GGUF保持可用
Q2模型毫无用处，Q4是不破坏模型（至少对MLX而言）的最低量化水平，Mistral Small 24B在Q2下的示例
AMD Strix Halo迷你PC运行70B Q8模型视频发布
Llama 3.3 70B与基于Llama 3.3的Nemotron Super 49B对比
大API提供商（OpenAI、Anthropic等）是否盈利
Qwen2.5 - Omni即将到来？Huggingface Transformers PR 36752
从远程模型（如Claude等）切换至本地模型是否值得？
Fallen Gemma3不同版本：4B、12B、27B
OpenAI发布GPT - 4.5和O1 Pro API，决策存疑
纯Rust实现与llama.cpp速度相近的本地LLM推理替代方案
Deepseek网站现支持像其他网站一样的退出选项
15亿参数在o1 - preview数学基准测试中有新发现
AMD 7900可获取Flash Attention v2
20GB VRAM限制下，最适合Python开发的新模型
中国改造4090，48GB售价比RTX 5090便宜 - 水冷约3400美元
Orpheus - FastAPI：具有8种声音和情感标签的本地TTS（兼容OpenAI端点）
Llama 3.3和Nemotron 49B Super现身LMSYS竞技场
腾讯推出混元 - T1大推理模型，与DeepSeek - R1竞争
字节跳动在HuggingFace发布保持身份的开源图像模型
AMD推出GAIA开源项目用于在Ryzen™ AI上运行本地大语言模型
QwQ 32b、Gemma 3 27b与Mistral 24b本地测试结果
Mistral - small 3.1视觉用于PDF的RAG测试
Orpheus聊天WebUI：Whisper + 大语言模型 + Orpheus + WebRTC管道
增强型推理模型Reka - Flash 3 21B发布
英特尔前CEO指责英伟达：AI GPU价格贵10000倍
本地免费高品质文本转语音工具Sesame CSM发布
Hugging Face与Unsloth发布Gemma 3的GRPO新指南
OlympicCoder - 7b结合LMStudio与VSCode本地编码，性能超Claude 3.7 Sonnet
TikZero：基于大语言模型从文本标题生成科学图表的新方法
Mistral Small 3.1与Mistral Small 3性能对比
NVIDIA以建议零售价出售少量5080和5090
Hugging Face回应白宫AI行动计划RFI的策略
Apache TTS: Orpheus 3B 0.1 FT发布
Gemma 3 GRPO现可用于Unsloth且已修复漏洞
开源模型在将PyTorch转译为Triton方面性能超越DeepSeek - R1和OpenAI o1
Nemotron - Super - 49B或成创意写作利器（24GB显存）
AMD Ryzen AI 9 HX 370迷你电脑Acemagic F3A，最高128GB内存
Meta发布新模型：VGGT（视觉几何基础Transformer）
Gemma 3 27B与Mistral Small 3.1的实时基准测试结果
Mistral Small 3.1未包含在公告中的基准性能
NVIDIA推出DGX Spark和DGX Station台式机进军AI PC领域：72核Grace CPU、Blackwell GPU、最高784GB内存
Llama-3.3-Nemotron-Super-49B-v1基准测试
DGX Spark内存带宽达273GB/s，看RTX Pro 5000
EXAONE-Deep-7.8B或为体验过的最差推理模型
NVIDIA DGX Spark（Project DIGITS）规格公布
NVIDIA RTX PRO 6000 “Blackwell"系列发布：拥有24K核心、96GB显存的旗舰GB202 GPU
Mistral - Small - 3.1 - 24B - Instruct - 2503 - GGUF相关资源
ollama 0.6.2预发布版让Gemma 3正常工作
SmolDocling - 256M参数的文档理解视觉语言模型
昆仑万维公司发布Skywork - R1V - 38B（视觉思维链推理模型）
开源推理模型Skywork - R1V (38B,多模态,CoT推理)
Llama4可能为lmarena上的[codename]
Gemma3有首日视觉支持而Mistral Small 3.1没有的原因
Cohere Command A与Mistral Small 3.1的扩展纽约时报连接基准测试结果
对LM Studio中MLX模型的M3 Ultra测试请求
Cohere Command - A在LMSYS中排名第13
Mistral Small 3.1（24B）模型资讯
AMD Ryzen AI MAX+ 395 “Strix Halo” APU在DeepSeek R1 AI基准测试中比RTX 5080快3倍多
Gemma 3 27B版本可在HuggingChat免费使用
c4ai - command - a - 03 - 2025或为推理/思考而训练
为何语音（TTS/STT）模型比通用大型语言模型小得多？
征集EQ - Bench创意写作基准新版本的提示建议
RTX PRO 6000 X Blackwell 96GB游戏/虚拟制作性能泄露
RTX 3060与RTX 3090在不同规模大语言模型上的性能对比
Gemma 3模型测试：1B、4B、12B和27B版本对比
MetaStone - L1：元始智算推出的轻量级推理模型
M3 Ultra上运行超70B参数大语言模型的尝试
Mac用户喜爱的界面：Openweb UI还是LM Studio？
DeepSeek R1、Distill Qwen 7B Q4大语境（最高128K）测试
GPT-Sovits V3 TTS发布：零样本语音克隆，多语言
M2 Ultra与M3 Ultra基准测试结果存在争议
制作包含对Sesame QoL改进的分叉Sesame - CSM仓库
深擎科技要求研发人员上交护照限制出国，开源情况下此举令人费解
NebuLlama UI：适用于Ollama的移动友好且功能丰富的界面
Gemma 3是否为显存不足14B参数类的最优选择？
混合自回归/扩散大型语言模型Block Diffusion
GMKTec确认2025年5月推出Ryzen AI Max+ 395，最强AI迷你PC竞争升温
Gemma 3在Unsloth中微调，速度提升1.6倍且VRAM占用减少60%
QwQ-32B在本地ollama上似乎无用，有人成功解决吗？
使用Reka flash 3, 21B模型后删除之前所有模型
KoboldCPP 1.86发布，支持Gemma - 3
Gemma 3 27B在AI Studio和Ollama间的性能差异
如何在Akash、IPFS和Pocket网络上构建去中心化LLM并运行LLaMA
创建Sesame CSM 1B的OpenAI TTS兼容端点
M2 Ultra与M3 Ultra使用KoboldCpp的速度对比
QwQ在LiveBench（更新）：优于DeepSeek R1
SesameAILabs/csm的GitHub链接
新型反向推理模型助力合成推理生成的优化与低成本扩展
Gemma 3 27B在四个独立基准测试中的得分：评估不同差异大
SoftWhisper更新：2分钟转录2小时内容！
OpenAI称DeepSeek受国家控制，呼吁封禁中国产模型
我的开源桌面应用有新主题，可本地运行含RAG知识库和笔记功能的大语言模型
CohereForAI的c4ai - command - a - 03 - 2025于Hugging Face
Open SORA 2.0发布，再次对标OpenAI
Deepseek R1成参考，Qwen QwQ 32B性能相似但尺寸更合理
Gemma 3 1B在安卓上通过ChatterUI运行
DeepSeek R1 671B与M3 Ultra 512GB在MLX下首次测试成功
LM Studio更新支持Gemma 3 GGUF
Gemma 3开源工作中的llama.cpp与MLX社区
M3 Ultra运行6710亿参数的DeepSeek R1，功耗低于200W且无需多GPU设置
Gemma3 - 12b - Q4在Ollama上比Deepseek - R1 - 14b - q8慢很多？是我弄错了吗
EXO Labs在两台512GB M3 Ultra Mac Studios上运行8位DeepSeek R1达11t/s
尝试使用新的Gemma Python库体验Gemma 3
Gemma 3与Qwen 2.5基准测试对比（指令调优版）
谷歌Gemma 3已在Huggingface上发布并加入Ollama
Gemma 3 27b已在Google AI Studio上线
通过修改代码使Llama - 8B在RTX 4090上训练1小时提升研究能力
7B推理模型在IOI上超越Claude - 3.7 Sonnet
GemmaSutra Small 4B v1：回归且更强大的便携RP模型
新型推理模型（Reka Flash 3 - 21B）
Reka AI发布新开源21B模型Reka Flash 3
OpenAI o1模型与DeepSeek R1在ZebraLogic超大谜题性能上存在巨大差距
M3 Ultra 512GB搭配Deepseek R1 671B Q4达18T/s
创建开源的类Perplexity统一搜索助力分布式第二大脑
本地模型执行递归代理工作流的强大力量（Mistral - small）
NVLINK使双RTX 3090推理性能提升近50%
在M1 MacBook Pro和RTX 4060 Ti之间对QwQ - 32B大语言模型进行本地模型分片
使用自定义Logits处理器控制QwQ和R1模型的"思考努力程度"
Qwen QwQ - 32B在创意故事写作基准测试中名列前茅
Qwen QwQ-32B在淘汰游戏基准测试中首轮被投票淘汰，总体性能差
测试表明Qwen 2.5 VL强于多数封闭前沿模型
新Mac的512GB统一内存使框架和DIGITS相形见绌
Manus被指为Claude Sonnet加29种其他工具
Llama 4、Gemma 3和Qwen 3何时发布？
NVIDIA GeForce RTX 5090水冷却时12V - 2x6电源接口超150°C：考虑用于LLM使用者需知
使用llama.cpp RPC在不同硬件配置下的性能测试
自制MCP替代方案，成本低于Anthropic Claude且适用于OpenAI等大语言模型
深探（Deepseek）特殊标记不使用下划线与竖线字符
RTX 3090是否仍是运行本地大语言模型和扩散模型性价比之王？
Livrbench - 明日qwq32b将更新至score？
Bolt Graphics新GPU或将助力大语言模型
本地QwQ 32b、O1 Pro、4.5、o3 Mini High、Sonnet 3.7、Deepseek R1的Flappy Bird测试与对比
预估NVIDIA RTX PRO 6000 Blackwell GPU售价
NVIDIA RTX PRO 6000 Blackwell GPU核心数比RTX 5090多11%
英特尔Granite Rapids - AP是否为Deepseek R1最快CPU
QwQ - 32B在EQ - Bench创意写作中位居第二，高于GPT 4.5和Claude 3.7
Mistral Small 24B在51秒内完成QwQ 40分钟未完成之事
Qwen、Claude 3.7 Sonnet Thinking与o1 - mini在扩展版《纽约时报》连接基准测试中的对比
NVIDIA RTX “PRO” 6000 X Blackwell GPU现身运输日志
QwQ在LiveBench上优于Sonnet 3.7（无思考能力）
Cydonia 24B v2.1：更强大、更优秀、更出色
本地RAG设置的轻量级幻觉探测器，无需额外LLM调用
QwQ 32B IQ4_XS GGUF制作的《飞扬的小鸟》游戏
AIDER：32b在编码方面比qwen 2.5 coder instruct 32b更智能
Meta重大发现：潜在标记有助于提升LLM推理能力
多伦多大学团队推出10亿参数开源逻辑推理模型LogiLlama
基于Mistral - Small - 24B - Instruct - 2501 - writer的模型微调与性能对比
QwQ - 32B在误导性注意力基准测试中接近DeepSeek - R1，但存在死循环问题
与Llama CPP进行QwQ推测解码兼容的草稿模型
QwQ - 32B在HuggingChat免费可用
QwQ - 32B在4年前的32GB M1 Max上运行
自制可使用多种工具的个人助手并分享 (含GitHub仓库)
QwQ - 32B解决o1 - preview密码问题
测试你的API提供商是否量化你的Qwen/QwQ - 32B
QwQ - 32B Flappy Bird演示相关
800美元购得新Mac Studio，兴奋试用DeepSeek R1
Qwen QwQ - 32B模型的GGUF量化版本可用！
QwQ - 32B发布，等同于或超越Deepseek - R1
Qwen/QwQ - 32B亮相Hugging Face
DeepSeek R1与Perplexity R1 1776逻辑推理性能是否存在显著差异
TabbyAPI团队发布YALS（类似TabbyAPI的GGUF服务器）
Spark - TTS：基于大语言模型的高效单流解耦语音标记文本转语音模型
Mac Studio针对Llama 3.1 405B的基准测试
AMD Medusa Halo预计2026年上半年发布，可选384位内存总线
M3 Ultra：80核GPU与512GB内存的新王者
苹果发布搭载M4 Max和M3 Ultra且内存达512GB的新Mac Studio
开源社交媒体模拟器OASIS：可容纳百万代理与20多种丰富交互
为何Qwen 2.5 32b Coder是最佳本地文本分析大语言模型
Deepseek V2.5在Copilot Arena登顶
Perplexity R1 1776重测后逻辑推理排名登顶
NVIDIA GeForce RTX 4090或推96GB显存版，或很快量产用于AI工作负载
ASLP - lab的DiffRhythm可生成4分钟歌曲
300美元左右、低闲置功耗的16Gb GPU是否存在？
在Linux集成GPU（如Radeon 780M）上运行硬件加速的Ollama
开发含构件、CLI、代理操作与GitHub连接的开源UI编码工具
Claude 3.7制作数千个类似3blue1brown的视频，这代人的学习将大不相同
Qwen 2.5 Coder是否仍是最佳编码模型？
本地开发可通过文本生成网站样式的AI JavaScript库
OpenBenchTable适合测试不同计算硬件配置，求基准测试技巧
单服务器运行R1，有三服务器，是否购100gb网卡
Zen CPU用于大型语言模型：高CCD数量是否优于双CPU运行？
分裂大脑“DeepSeek - R1 - Distill - Qwen - 1.5B”与“meta - llama/Llama - 3.2 - 1B”
Deepseek r1与Claude 3.7 Sonnet测试对比结果
Ollama超轻量前端Ollamadore 64，磁盘占用低于64KB
Gemini 2.0 PRO不够强？用<系统提示>使其像R1一样思考
Qwen下周发布将更小，QwQ - Max稍晚全面发布
千元入手是否划算？（RTX 3090 24GB、Ryzen 5 5600X、X570 Aorus Elitei7 + 16GB DDR4）
5090(32GB vRAM)与4090d(48GB vRAM)：是否有人购买了5090？
GMK确认2025年第一至二季度将推出搭载锐龙AI MAX+ PRO 395“Strix Halo”的EVO - X2迷你电脑
Fallen Llama 3.3 R1 70B v1可在家体验
中国DeepSeek宣称日理论成本利润率达545%
AMD锐龙AI Max+ Pro 395“Strix Halo”CPU跑分超酷睿i9 14900HX达9%
TinyR1 - 32B - 预览：超级蒸馏以仅5%的参数量实现接近R1的性能
Phi 4 Mini Q8 GGUF全128k上下文下99 tk/s - 高性能硬件
AMD工程师强调Vulkan/SPIR - V是其基于MLIR的统一人工智能软件策略的一部分
Radeon RX 9070系列发布日将无官方ROCm支持
MiraConverse更新，可触发聊天并多语言支持
免费开源AI语音合成工具Kokoro Web v0.1.0
9070XT用于Windows上的LocalAI是否合适
RTX 3060 12GB VRAM上运行的最佳模型
NVIDIA能否为其他PCIE插槽制造VRAM扩展或其他专用AI硬件？
DeepSeek推出3FS与smallpond：革新存储架构
DeepSeek R1比GPT 4.5更优的ARC - AGI
基于扩散的"小型"编码LLM，标记生成速度比基于变换器的LLM快10倍（在H100上显然为1000个标记/秒）
自制工具Reddit Thread Analyzer可详析链接
个人电脑配置：Xeon E5 - 2690 v4等硬件
未知（帖子标题无有效信息，仅为‘Dual 5090FE’）
vLLM引入FlashMLA，输出吞吐量已提升2 - 16%
Perplexity R1 1776解决复杂问题时表现逊于DeepSeek R1
微软宣布Phi - 4 - 多模态与Phi - 4 - 迷你
教程：使用Llama 3.1 (8B) + Unsloth + GRPO训练自己的推理模型
Qwen2.5 Coder 32b是否仍为优秀编码模型
深析API平台每日16:30 - 00:30 UTC享非高峰折扣
Claude 3.7编码能力佳却在人工分析编码基准中排名低
AMD max+ 395台式机运行大语言模型是否值得（无CUDA 256gb/s带宽）
TinyR1 - 32B预览版（超越官方R1蒸馏32B性能）
DeepSeek发布DeepGEMM：高效FP8通用矩阵库
WilmerAI发布约3小时视频教程讲解提示路由和工作流
英伟达游戏GPU经改装用于AI工作负载：中国云计算提供商出租RTX 4090D 48GB和RTX 4080 Super 32GB
售价1699美元的128GB主板Framework Desktop可联网
微软的Magma多模态基础模型登Hugging Face，MIT许可
仅用179行构建大语言模型框架——为何其他框架如此臃肿？
Framework新推出售价1990美元的锐龙Max台式机，内存128GB，速度256GB/s
Gemma 3 27b发布（Gemini API模型列表）
Ai2的olmOCR - 7B：从PDF提取干净纯文本的开源模型
英特尔Xeon 6 6521P：1250美元可购24核，136条PCIe 5.0通道
Sonnet 3.7在EQ - Bench基准测试中近乎大获全胜
寻求从零开始精通LLM与Transformer的资源
DeepSeek加速原定于五月发布的R2 AI模型
阿里视频模型Wan 2.1将于2025年2月25日开源发布
QwQ - Max在LiveCodeBench上的预览表现与o1 - medium相当
苹果未来或将不再局限于本地AI，拟在得克萨斯州投资5000亿美元建AI农场
DeepSeek发布针对MoE模型的DeepEP通信库
DeepSeek发布第二个OSS包 - DeepEP
Kindle商店即将禁止下载及应对备份和DRM移除
Sonnet 3.7在LiveBench新结果中推理与非推理表现均居榜首
Sonnet-3.7在误导性注意力评估中是最佳非思考模型
让旧版大语言模型（Llama 2和Gemma 1）进行推理
Claude 3.7 Sonnet与Claude Code
是否有人使用KTransformers运行DeepSeek R1的1.58和2.51位量化版本
开源语音助手aspen，仅需0.01025美元/分钟
Grok -3系统提示词包括Deepsearch + Think MODE全部泄露
开源版Gemini Flash 2.0深度研究实现
本地大语言模型可用的快速纯净网络数据：LexiCrawler（含二进制文件）
发布KoloLLM：可微调用于任何GitHub仓库的LLM
TIGER - Lab的MMLU - Pro基准测试中神秘RRD2.5 - 9B模型，谁构建的？
构建一个使用本地AI（LLaVa）为图像生成文件名的Chrome扩展
AMD消费级GPU用户何处获取Flash Attention
LMArena上的"dry_goods"，会是Llama 4吗？
闪迪新型高带宽闪存使GPU可实现4TB显存并在高容量时匹配HBM带宽
在Commodore C - 64上运行Llama2.c
Qwen2.5 VL 7B指令GGUF版本与基准测试
Perplexity发布无审查的DeepSeek R1 Llama 70B模型相关版本
Kimi.ai发布Moonlight 3B/16B MoE模型及改进的Muon优化器
PocketPal更新：轻松进行角色扮演与AI助手管理
Google AI Studio免费版：日限额是多少？
小型（1 - 3 - 8B）模型的应用场景有哪些？
ROG Flow Z13 (2025)将搭载128GB LPDDR5X，售价2799美元
阿里国际数字商业集团推出Ovis2多模态大模型（1B - 34B）
本地模型与云巨头：我们正在见证AI的真正民主化吗？
AMD Strix Halo 128GB运行deepseek r1 70B Q8的性能
Grok 3与Deepseek r1的个人基准测试结果
使用1.5B模型测试大语言模型空间推理能力（通过解迷宫）
Deepseek R1 671b达到20TPS仅在内存运行的最低硬件要求
构建本地LLM驱动的Reddit隐私套件分析保护历史
Arcee - Blitz与Mistral - Small - 24B - Instruct - 2501微调
Unsloth实现10倍长推理训练上下文，显存减少90%
CloseAI的DeepResearch超棒，有无开源替代品？
对DeepSeek - R1 - Distill - Llama - 70B看法的转变
SmolVLM2：可在低性能设备运行的开源视频模型
JoyCaption多模态字幕模型：GGUF可用，可与KoboldCpp和Llama.cpp协同工作
Qwen/Qwen2.5 - VL - 3B/7B/72B - Instruct发布！
RAG与微调创建特定领域专家大语言模型的对比：现场演示！
Wayfarer大型模型：一个充满挑战的角色扮演模型
谷歌发布PaliGemma 2 mix：多任务视觉语言模型
DeepSeek无系统指令时的奇特自我感知，本地与Unity协作
在苹果硅芯片Mac上释放Flux Schnell的力量
捍卫开源AI对抗垄断者、沙文主义者、末日论者和无知者
LM Studio 0.3.10发布，支持推测解码
MoonshotAI发布1000万混合块注意力长文本大语言模型
《Craft to Infinity》：本地运行的无限工艺RPG使用Qwen 2.5 instruct 1.5B
深度探寻GPU走私调查：英伟达新加坡GPU销售额占比28%，但仅1%交付该国
量化DeepSeek R1蒸馏模型且保持原模型精度
Perplexity开源R1 1776：DeepSeek R1模型的后训练版本
PerplexityAI发布R1-1776：深度寻求R1微调版，去除中国审查并保持推理能力
我的模型在Hugging Face上成为热门，我推出14B和7B升级版
Mistral small 3与Gemini 2.0 flash在科学创新方面相当
Deepseek R1蒸馏模型MMLU专业基准测试
AMD Al Max+ 395（Strix Halo）实测218GB/s的MBW
LM Studio、Ollama、Jan、Llama.cpp与GPT4All对比及选用原因
Jan v0.5.15：进一步控制llama.cpp设置与高级硬件控制等
FUSEAI的DeepSeek R1 Distill（合并版）似乎更好
1万美元预算本地运行Deepseek推理：期望的TPS
GROK - 3及其迷你版超越O3 - mini high和Deepseek R1
如何优化我的1000000B MoE推理大型语言模型
Drummer"s Skyfall 36B v2：Mistral 24B 2501升级持续训练成果
Ollama在安卓端的最佳推理：OLLAMA+OPEN - WEBUI+TERMUX
当代大型多模态模型难以达成的视觉基准：ZeroBench
发布OpenArc：用于Intel设备更快推理的Python服务API
DeepSeek - R1仅使用CPU时的性能（671B，Unsloth 2.51位，UD - Q2_K_XL）
不足1000美元搭建70B IQ3_M 8192ctx的简陋方案
多GPU设备插3张或更多显卡时Nvidia - SMI显示ERR!
开源项目Audiobook Creator发布版本2
Zed新LLM在自家IDE表现佳，在VS Code的Continue表现差的原因
RTX 3090设备的Oculink 4x4x4x4适配
使用ChatGPT 4o模型做写作编辑，是否应改用本地模型
为llama.cpp等API创建图形用户界面（GUI）
KTransformers 2.1与llama.cpp和DeepSeek V3的比较
新购48GB内存M4版MacBook Pro，适合运行的最佳编码大语言模型
Mistral Small 24B的使用体验及问题
Deepseek R1 Distill 8B在4个树莓派5 8GB上的性能
Deepseek R1成Hugging Face最受欢迎模型
微软弃用OmniParser V2 - 控制Windows和浏览器的代理
KTransformers v0.2.1：针对DeepSeek - V3/R1 - q4，将上下文从4K扩展到8K（24GB VRAM）且速度略增（+15%）
创建LlamaThink-8b-Instruct的过程
可提示视频编辑：使用Moondream按提示编辑内容（开源视频对象跟踪）
Drummer的Cydonia 24B v2：Mistral Small 2501的RP微调版本
斯坦福s1如何超越DeepSeek - R1：从暴力到智能
是否有可替代WizardLM 2 8x22B的模型
AMD否认Radeon RX 9070 XT有32GB内存的传闻
AMD锐龙AI MAX+ 395“Strix Halo”迷你PC测试：强大的APU，高达140W功率，iGPU可变内存达128GB
OpenAI Whisper转录400小时音视频的成本及类似质量的低成本替代方案
SambaNova推出最高效的最快DeepSeek - R1 671B
考虑购买Mac Studio运行本地大语言模型，高内存下GPU核心数是否值得多花1000美元
W7900 GPU相关讨论：ROCm是否可用于本地AI？
使用Epyc 7713、512GB内存和14个RTX 3090直播运行DeepSeek R - 1 671B - q4与KTransformers
TransformerLab：生成数据集并对大语言模型微调
Nous推出DeepHermes - 3 8B预览版
SWE - agent：SWE - bench Lite上的新开源SOTA且可本地运行
微软发布适用于骁龙Windows系统NPU的DeepSeek蒸馏Qwen 1.5B模型
英伟达发布AceInstruct 1.5B/7B/72B模型
NoLiMa：超越字面匹配的长文本评估——终于有个好基准能显示大语言模型在长文本下的糟糕表现，所有模型在仅32k文本长度时性能大幅下降
OpenAI关于GPT4.5/GPT - 5的计划及预计发布时间
测试多款小型编码模型，Nvidia/AceInstruct-7B表现惊艳却鲜有人提及
AMD将推32GB显存的Radeon RX 9070 XT游戏GPU
PNY演示中Project Digits的一些细节
agentica - org/DeepScaleR - 1.5B - 预览
10亿参数语言模型能否超越405亿参数语言模型？重新思考计算最优测试时缩放
通过更快存储提升Unsloth 1.58量化Deepseek R1 671B性能 - 速度提升3倍
使用o1和DeepSeek一段时间后，ChatGPT 4o显得很愚蠢
安卓NPU使用8B的Llama处理约16k个令牌的提示
山姆·奥特曼正利用其董事会影响力低价私有化美国民众所有的OpenAI非营利组织
DeepScaleR - 1.5B预研：使用强化学习进一步训练R1 - Distill - Qwen - 1.5B
埃隆·马斯克对阵山姆·奥特曼（OpenAI无股权）
DeepSeek R1在混淆（幻觉）基准测试中优于o3 - mini（中）
Zyphra发布Zonos - v0.1 beta版TTS模型
谷歌Gemini Pro 2.0实验版02 - 05在LLM榜单居首但实际测试表现差
橙派AI Studio Pro迷你电脑，带宽达408GB/s
单台机器（2×Xeon + 24GB GPU）上运行671B DeepSeek - R1/V3 - q4，预填充速度达286 tokens/s，解码速度达14 tokens/s
试用编码助手Qwen2.5 - coder - tools/Sonnet 3.5于Cline和Github Copilot代理模式的体验
使用512GB/s Gen 5 NVMe RAID卡与4个驱动器运行DeepSeek - R1:671b以替代更多内存
Andrej Karpathy对大语言模型深度探究要点
谷歌Deepmind CEO称Deepseek的AI模型被过度炒作
我构建了可在笔记本电脑运行的深度研究本地助手NanoSage
以低成本配置为灵感的6U、p104 - 100设备搭建
LynxHub现支持全配置Open - WebUI
96GB显存与128GB DDR4下的R1(1.73bit)
DeepSeek - R1网站九成时间繁忙，有无付费稳定使用方法
Mistral、ChatGPT和DeepSeek处理敏感话题的方式
构建lfind：使用大语言模型的自然语言文件查找器
OpenAI o3 - mini对比r1和o1的性能分析
RTX 5090在GPU计算基准测试中未能超越RTX 4090
Glyphstral - 24b：符号演绎推理模型
iOS上使用TinyLlama和Kokoro的播客
OpenAI请求边缘化Ilya，因其向投资者索要SSI且涉及xAI
OpenAI隐藏o3 - mini中的实际思考标记
Meta通过Anna"s Archive下载超81TB数据
我的DeepSeek R1 671B在家使用计划：CPU+GPU混合，4xGen5 NVMe卸载
双AMD Epyc系统中llama.cpp的令牌生成性能差的可能解决方案
特朗普在新闻发布会上称DeepSeek不构成国家安全威胁
Redemption_Wind_24B：微调者的新模型
Cerebras为Mistral Le Chat带来即时推理（Mistral Large 2每秒1100个令牌）
Kokoro WebGPU：浏览器内100%本地运行的实时文本转语音
Qwen2.5 0.5B在谷歌Colab T4上全模型GRPO训练脚本，30分钟内GSM8K评估提升25%
免费的o3 - mini和Llama 3.3 70B，Duck.ai无需账号
多GPU设置下应使用vLLM或ExLlamaV2替代llama.cpp
Dolphin 3.0 R1 Mistral 24B：在HF Spaces应用上轻松推理测试
拥有8x A100 80GB集群，如何运行Deepseek R1
使用经典小猫提示与“Dolphin 3.0 R1 Mistral 24b”得到怪异回复
若类Anthropic/OpenAI公司发明Transformer，其他实验室能否逆向工程
Dolphin3.0 - R1 - Mistral - 24B相关资源链接
1.49B Llama模型在4060Ti 16GB上13小时的训练结果
DeepSeek Llama 3.3与Open - Webui Artifacts Overhaul Fork组合成为最佳本地替代方案
DeepSeek大语言模型家族的纯C++ CPU推理：deepseek.cpp
菊台的Hibiki：同步语音到语音翻译模型，支持法语到英语
近期发布模型更新lineage - bench基准测试结果
Hugging Face发布新Spaces搜索，40万+AI应用可直观访问
研究表明：大幅增加密集型大语言模型输入词汇量可提升性能
免费且开源的DeepSeek R1对码农来说比20美元的o3 - mini更好（有速率限制）
利用输出嵌入的HNSW索引加速基于CPU的LLM推理
30分钟用Deepseek R1和Kiln AI训练自己的推理模型
Deepseek的GRPO方法奖励函数出错则劣于原模型
DeepSeek VL2 Small发布官方演示，OCR等功能强大
美国邮政停止中国和香港地区发货，LLM硬件构建受阻
L3.3 - Damascus - R1：基于社区反馈更新的AI模型
RX 7900 XT低成本组建AI服务器是否值得？
Epyc Turin搭配256GB/5600mhz的CPU推理数据
Drummer"s Anubis Pro 105B v1：经过持续训练的升级版L3.3 70B
O3 - mini - high的LiveBench编码分数疑云
Mistral老板称科技CEO痴迷AI超越人类是一种宗教式迷恋
深探研究人员称仅需2 - 3周即可训练R1和R1 - Zero
用Mistral Small 24B制作太阳系动画，探究小模型实现类似效果的条件
用原型MLX - GRPO训练器使Phi - 14b成为（初级）推理器
斯坦福Co - Storm无人问津？可撰写深度报告
Deeper Seeker：OpenAI深度研究功能的简易开源版本
为教育目的从零训练100万参数的TinyStories模型
OpenAI深度研究正努力撰写我的报告，预计1 - 2周完成
构建用于运行英伟达GPU进行AI任务的Linux发行版
Mistral Small 3：超越自身规模的性能——重新定义期待（感觉像70B模型！）
Cursor现支持Deepseek v3和r1模型
国外公司发布Mistral、Qwen和DeepSeek模型
使Mistral Small 3 24B像R1 - 蒸馏模型那样思考
Chrome扩展可在浏览器本地运行DeepSeek等大模型
DeepSeek - R1未通过任何安全测试，攻击成功率达100%
Mistral - small - 24b - instruct - 2501被赞为最佳模型
Mistral Small 3 24b通过“苹果”测试
Mistral 3 Small：值得微调与部署的实用模型
MacBook 8G运行Deepseek R1 Distill可使用GPT4ALL
Open WebUI代码器全面改进版在GitHub上线供测试
对11种流行本地大语言模型在指令繁重的游戏/应用中的测试
DeepSeek - R1在Quad P40与双Xeon E5 - 2699v5上的运行
Ubuntu系统新安装下3090与3060显卡启用
Gemma2 - 27b响应速度比Gemma2 - 9b快，对语音应用很重要
DeepSeek R1 671B MoE大模型于特定硬件运行
llama.cpp现支持工具调用（兼容OpenAI）
在2000美元的EPYC服务器上完全本地运行Deepseek R1 671b
OpenAI在开源问题上站在"历史错误的一边":山姆·奥特曼
Virtuoso - Small - v2：基于Deepseek - v3蒸馏的14B语言模型
成功用Deepseek R1蒸馏70B模型单轮提示完成"python flappy bird游戏"测试
我的PC在输入"ollama run deepseek - r1:671b"10秒后的状态
相对经济的671B R1 CPU推理工作站配置，2 - 3T/s
DeepSeek R1在创意短篇小说写作基准测试中排名第一
在DeepSeek - R1 - Llama - 70b上添加实时网络搜索并制成API
DeepSeek - R1 (671B) 1.58bit在Open WebUI上的运行教程
DeepSeek 8B对草莓中的3个R感到惊讶但仍能应对
多文档（1万+）检索增强生成（RAG）的最佳当前设置
Mistral Small 3 24B GGUF量化评估结果
Chris Manning认可Deepseek的600万美元训练成本
DeepSeek AI数据库泄露：超百万日志行与密钥外泄
Mistral - Small - 24B - 2501与Mistral - Small - 2409对比
美国实验室保密架构算法阻碍AI发展，学习LLM需看中国公司论文
安德里森对Anthropic首席执行官呼吁对中国实施出口管制的看法
Mistral Small 3一分钟完成Unsloth的Flappy Bird编码测试（DeepSeek R1使用NVME硬盘需3小时）
Mistral Small 3 24b Q6初始测试结果
深擎创始人访谈：我们不会闭源，建立强大技术生态更重要
在本地游戏主机上无GPU实现DeepSeek R1 671B每秒超2个标记的推理速度
DeepSeek R1在NYT Connections上的得分介于o1和o1 - mini之间
Mistral Small 3 24b的上下文窗口效率极高
Mistral - Small - 24B - Base - 2501在Hugging Face发布
Mac M2 Ultra运行Deepseek R1 IQ1_S比2个H100更快
Nvidia将RTX 40和50系列GPU的FP8训练性能减半
AMD称7900 XTX在DeepSeek R1蒸馏模型中匹配或超越RTX 4090
前谷歌、苹果工程师推出开源Oumi AI平台助力构建下一个DeepSeek
Anthropic CEO称DeepSeek以低成本做出接近美国旧模型性能的模型
DeepSeek R1在合作、谈判和欺骗多人基准测试中获第二名
深度探索Deepseek R1 IQ2XXS（200GB）从SSD运行可行
本世纪最大的讽刺：对冲基金出免费透明模型，非营利公司出付费封闭模型
开源8B评估模型在11项基准测试中胜过GPT - 4o mini等
伯克利AI研究团队称30美元重现DeepSeek核心技术
Transformer Lab：本地模型的OpenAI平台开源替代方案
AMD Ryzen AI Max+ 395、NVIDIA DIGITS和RTX 5090本地大语言模型预期性能对比
为何人们更喜欢Ollama而非LM Studio？
注意：你的7B/14B/32B/70B“R1”并非DeepSeek
为何云端运行R1 671b模型售卖访问权盈利者少？
DeepSeek - R1成功模拟生命游戏模式似为突破
4万美元预算搭建DeepSeek R1主机的硬件选项
微软调查与DeepSeek有关联的组织是否不当获取OpenAI数据
我所在的大型咨询公司（MBB）禁用Deepseek
Hugging Face欲逆向工程DeepSeek的R1推理模型
深析(DeepSeek)遭受DDoS攻击的证据已被披露
RWKV - 7 “Goose” 1.5B版本发布
深度探索Deepseek 2.5（及Unsloth）
OpenRouter提供Deepseek R1免费版本及“chutes”提供商
创建MiraConverse开源项目，实现语音与AI模型聊天
DeepSeek R1 671B在2个M2 Ultra上运行比读取速度还快
DeepSeek借助类汇编PTX编程突破AI优化瓶颈，绕开英伟达CUDA
Block发布名为Goose的新开源AI智能体，功能超编码
6000美元电脑本地运行Deepseek R1 670B Q8，每秒6 - 8个词元
Unsloth制作动态R1量化 - 仅需80GB内存即可运行
DeepSeek R1 Overthinker：可控制R1模型思考时长
JanusPro 1B可在2GB显存笔记本上生成图像
特朗普将对台湾制造芯片加征25% - 100%关税影响台积电
若DeepSeek获20万Blackwell GPU，AI模型会提升多少
模型基准能否良好指示模型质量？o3是否为重大进步？
Janus Pro 1B基于Transformers.js在WebGPU上实现100%本地浏览器运行
取消OpenAI Plus订阅，转用本地DeepSeek - R1 14b
如何确定Deepseek R1的训练成本约为600万美元
Meta召集工程师团队探究DeepSeek AI低价优势
中国近期动作频频，美国模型何时以LLama 4和Gemma 3反击？
Qwen发布新的SOTA多模态模型，权重开源，可与Claude Sonnet和GPT - 4o竞争
DeepSeek发布新多模态理解与视觉生成模型Janus - Pro 7B
Llama.cpp代码99%由Deepseek - R1编写的PR
英伟达面临4650亿美元损失，DeepSeek冲击AI市场
DeepSeek发布deepseek - ai/Janus - Pro - 7B（统一多模态模型）
1.58bit DeepSeek R1 - 131GB Dynamic GGUF
上周末优化DeepSeek V2/V3 llama.cpp实现 - PR #11446
Deepseek R1在Groq上能否加快思考速度？
深度探索（deepseek）是一个副项目（第二部分）
百川智能推出针对医疗场景优化的Baichuan-14B-M1
网易有道推出Confucius - o1 - 14B推理模型
Qwen2.5 - 1M在HuggingFace发布：支持百万标记上下文长度
DeepSeek R1与Llama3相比优势何在？二者均为开源？
中国联通发布Unichat - 32B - c1（超越GPT - 4和Deepseek V3）
RTX4080笔记本（12GB VRAM）最佳本地模型
DeepSeek - R1与DeepSeek - R1 - Zero对比：惊人结果
英伟达Project Digits显存速度及基础显存容量
Llama 3.3 70b与DeepSeek R1 70b哪个性能更佳
构建AI智能体？可替代LangChain等框架的方案
Mistral Nemo 12b相关的Magnum v5初步成果
OpenAI和Meta等在数据中心投入巨资的回本之道
Deepseek在Python代码生成方面远胜ChatGPT（指两者免费版本）
中国AI初创公司DeepSeek打造可与OpenAI媲美的模型
英伟达将逐步停止对麦克斯韦和帕斯卡架构的CUDA支持
DeepSeek R1浏览器版最多50条消息，API版无限制
OpenWebUI项目成果改进的又一前瞻（画布/克劳德成果）
Snowflake宣称突破可将AI推理时间削减超50%
Sky-T1-32B-Flash：削减推理成本50%且不牺牲精度
MiniMax - 01未被Livebench基准测试的原因
深度探索：本地运行deepseek - r1全模型的相关情况
深度探索Deepseek r1：与OpenAI o1对比究竟如何
DeepSeek - R1 - Distill - Qwen - 32B在LiveBench上的基准测试结果
DeepSeek R1（推理器）可联网，o1尚不能
SmolVLM 256M：全球最小多模态模型，于WebGPU上在浏览器本地100%运行
Deepseek - r1 - Qwen 1.5B的过度思考很可爱
DeepSeek R1 Distill Qwen 2.5 32B去抑制版（无审查）发布
FuseO1 - DeepSeekR1 - QwQ - SkyT1 - 32B - Preview的R1蒸馏成果
Scale AI CEO称中国DeepSeek开源模型迅速追赶美国
RTX 5090 LLM结果，与4090和6000 ada对比
开源Deepseek在"人类终极考验"中击败OpenAI
Salt：基于大语言模型的语音生成新方法（含开源代码）
Hugging Face发布SmolVLM 256M和500M参数模型
FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview模型融合效果惊人
字节跳动推出用于计算机的Apache 2.0许可的2B、7B和72B推理代理
2024年未接触本地大语言模型，2025年快速回顾
DeepSeek-R1-Distill结果大多无法复现
FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B - 预览版GGUF
Deepseek R1开源版本与官方API版本存在差异
NVIDIA RTX Blackwell GPU：96GB GDDR7内存与512位总线
DeepSeek - R1对台湾问题的回应令人惊讶
NVIDIA RTX Blackwell GPU曝光：96GB GDDR7内存与512位总线
埃隆·马斯克抨击特朗普宣布的5000亿美元AI项目，称其支持者没钱
机器学习/人工智能领域Bluesky平台值得关注的人
MacBook M4 Max运行本地流行LLM的每秒令牌吞吐量测试
R1 - Zero纯强化学习创造出难以解读的思维，是AGI的黑暗面吗
DeepSeek R1 32B性能远优于7B Distill，即使在Q4量化时
Gemini Thinking实验01 - 21发布！
DeepSeek - R1 - Distill - Qwen - 1.5B本地浏览器WebGPU上100%运行，数学基准测试性能超GPT - 4o和Claude - 3.5 - Sonnet
OpenAI为保王座，开发人员或需24/7工作，因DeepSeek进展迅猛
在Huggingface上以3 - 10倍速度部署任何大型语言模型
从Llama2到DeepSeek R1：一年内的巨大进步
DeepSeek将使其他"研究"许可的开源模型相形见绌
DeepSeek R1（Qwen 32B蒸馏版）可在HuggingChat免费使用
DeepSeek R1模型的GGUF文件已上架Ollama库
Deepseek R1在本地LLM的Ollama硬件基准测试
QwQ 32b性能优于R1 32b - 附测试内容
Deepseek R1使用体验：优于Claude Sonnet 3.5
Deepseek R1在本地仍判定安全与合适性，企业安全管控何时休
DeepSeek新R1在实时评测中排第二，推理加持下编码优于Sonnet 3.5
Deepseek R1在Livebench上总体优于o1 - preview
Phi - 4在LMSYS竞技场上取得1210 ELO分数
开源模型小到可在单张3090显卡运行，多数基准测试表现远超数月前超专有闭源顶尖模型
DeepSeek - R1在逻辑推理基准测试中碾压其他模型
让Qwen Deepseek 32b R1模型正常运行：系统提示？
o1思考12分35秒，r1思考5分9秒且均两次答对
Deepseek - R1模型的GGUF量化版本发布等相关资源
DeepSeek-R1-Distill-Qwen-32B成为本地使用的最佳开源模型
Deepseek R1输出每百万token仅2.19美元，对比o1的60美元
DeepSeek发布R1的6个蒸馏版本及R1完整版
Harbor App 0.2.24版正式支持Windows
5000美元预算下全预训练大型BERT或ModernBERT模型（约3亿参数）的本地GPU合理配置
OpenAI可获取FrontierMath数据集，创建者不知情
用快速Rust程序将代码库序列化输入任何大语言模型
Kokoro TTS与GLaDOS打造低延迟、逼真的AI语音助手
Llama 3.2 1B Instruct小语言模型的最佳应用场景
能否用自托管的ollama或hugging face完全取代付费模型
以类似ChatGPT速度运行Llama 3.x 8B类模型的最便宜方式
DeepSeek - R1（预览版）在LiveCodeBench上的基准测试
开源基于WebLLM+LLAMA的智能浏览器内文本编辑器
Moondream 2B与OLLama进行实时视频分析的设置指南
NVIDIA RTX 5090：人工智能与多GPU的限量供应与限制
韩国AI芯片DEEPX NPU：价格低于50美元，是否优于GPU？
创建使用DeepSeek进行内联编辑的VSCode扩展
Kokoro.js：用于在浏览器本地运行Kokoro TTS（82M）的新JavaScript库
大语言模型能否比DeepL、谷歌翻译、微软翻译等提供更好的自然语言翻译？
MiniMax - AI发布全新SOTA MOE开源模型，上下文达4M
新函数调用基准测试表明Python方法优于JSON
InternLM3 - 8B - Instruct发布，Apache 2.0许可，使用体验如何？
使用Kokoro - 82M、Llama 3.2和Whisper Small在MacBook本地构建实时语音聊天机器人
UMbreLLa使RTX 4070Ti运行Llama3.3 - 70B达9.6Tokens/s
Dell T5820搭配两块Dell RTX 3090不到2千美元 - 购于eBay
Hugging Face推出免费认证的LLM代理课程
每月支付20 - 200美元使用ChatGPT是否有很多用途？
MiniMax MoE技术深度剖析：405B参数模型
MiniMax - 01：借助闪电注意力扩展基础模型
用Kokoro - 82M从电子书生成有声读物Audiblez
MiniMax-Text-01：456B参数的强大新语言模型
DDR6内存与合适GPU可高速运行700亿参数模型
MiniCPM - o 2.6：8B大小、GPT - 4o级别的全能模型可在设备上运行
405B与Ollama和vLLM与6x AMD Instinct Mi60 AI服务器对比
使用Open - WebUI测试vLLM - Llama 3 70B Tulu - 4x AMD Instinct Mi60设备 - 速度达26 tok/s
生成式语言模型如何处理拼写错误，而类BERT模型却过于敏感？
研究人员开源Sky - T1，训练成本低于450美元的推理AI模型
Speaches v0.6.0发布，支持Kokoro和PiperTTS API端点
禁止模型使用自身标记预测选下一词，QwQ 32b有时异常
马克·扎克伯格认为2025年Meta将有中级工程师AI可写代码并取代人力工程师
计算机视觉与Ollama用于停车系统分析与报告生成
AMD Instinct Mi60 AI服务器与Llama 405B性能对比令人印象深刻
OpenAI亏损，而Qwen计划语音模式，想象其制出o1级模型
教程：在任何视频上运行Moondream 2b新的注视检测
GMK宣布将在2025年上半年推出基于AMD Ryzen AI 9 Max+ 395处理器的全球首款迷你PC
Nvidia 50x0系列显卡并不比40x0系列更优
新星天空发布开源推理模型Sky - T1 - 32B - Preview
我的PowerMac G3睡眠型AI工作站：80GB总内存（32GB显存+48GB内存）
8200万参数的语音合成适用于边缘AI，谁用Kokoro构建语音助手？
新的开源模型转向SAE，含首个Llama 3.3 70b的SAE
Phi-4微调：现支持超128K上下文长度及漏洞修复详情
本地能与ElevenLabs质量和稳定性相匹配的TTS模型
WebGPU加速推理：本地浏览器100%运行Transformer.js大语言模型
在笔记本电脑上运行Phi 4并让Claude Sonnet进行自我比较
英伟达3000美元AI超级计算机或推动本地AI开发
eBay上售价4700美元的RTX 4090 48GB是否合法
发布可随处安装的大语言模型LLM Pools端到端部署
AI安全博客公司与国防技术公司合作游说监管开源AI
rStar - Math使小语言模型数学推理能力可比肩OpenAI
RTX 3060 12GB与RTX 4060 Ti 16GB用于机器学习与偶尔游戏的抉择
微软新研究：小语言模型可通过自我进化深度思考掌握数学推理
Phi 4仅14B却在多项任务上优于70B的Llama 3.1
ROG Flow Z13 2025将搭载Ryzen AI Max+ 395与128GB LPDDR5X
NVIDIA Project DIGITS或有273GB/s内存带宽
Quad P40构建及Qwen - 2.5 - Coder - 32B和Llama 3.1 - Nemotron - 70B的基准测试
内存不足时尝试在Linux上运行DeepSeek V3 Quant的解决办法
阿里云通义千问团队技术负责人推荐阅读Anthropic博客
使用DeepSeek 3测试Aider与Cline：代码库>20k LOC
Kokoro - 82M：一款Apache TTS模型
惠普发布基于AMD的128GB统一内存（96GB显存）生成式AI机器，领先英伟达Digits
使用Cosmos - 1.0 - 7B - Text2World根据文本提示创建视频
发布Notate——支持本地大语言模型的开源AI研究助手
你的大语言模型工具组合是什么？订阅？工具？自托管？
DeepSeek V3的GGUF 2 - 位量化令人惊喜地有效！还有BF16等量化方式
NVIDIA的Digits在AI推理中胜过苹果M4芯片
惠普Z2 Mini G1a：搭载AMD Strix Halo的迷你工作站
Deepseek v3在Together AI上线且定价更高
通过现有Grace CPU系统理解Project DIGITS桌面版（3000美元128GB）
NVIDIA 5070（128GB VRAM）售价超3000美元？
NVIDIA对4090的FP8与5090的FP4比较似有误导
Nvidia发布售价3000美元的个人AI超级计算机Digits
M4 MAX Pro、M2与NVIDIA RTX 3090性能对比 - 出乎意料
Llama 3b：持续在160B高质量标记上训练可使数学能力提高2 - 3倍
Hugging Face对Llama 3.2 3B持续预训练在数学任务上提升2 - 3倍
AMD在CES 2025宣布新款锐龙CPU用于笔记本，运行70B（q4）比4090桌面独立GPU快两倍
使用Llama 3.1 70B - Q4时每秒处理标记速度比RTX 4090 24GB快2.2倍
AMD Ryzen AI Max+ 395速度比4090快2.2倍
在Linux下使用96GB显存+256GB内存运行DeepSeek - V3
DeepSeek v3在2个M2 Ultra上以17 tps运行（使用MLX.distributed）
Qwen 2.5为何支持128k上下文长度但输出仅支持8k
Gemma2:27b成果佳，但无法在其他模型上扩展复制
Dolphin 3.0发布（整合Llama 3.1、3.2与Qwen 2.5）
创建关于理解英剧《乐坛毒舌嗡嗡鸡》笑话的幽默分析基准
深擎V3在llama.cpp中的令牌生成性能与提示长度的关系
构建廉价ARMv9单板计算机集群以运行Deepseek v3
拥有600万ElevenLabs点数，最佳使用方式是什么？
Deepseek - v3热度惊人，671B模型下载量即将超过QwQ - 32B - preview
基于DeepSeek v3将GitHub仓库转换为即时维基的AI工具
DeepSeek - V3支持被合并到llama.cpp
ScreenSpot - Pro：用于专业高分辨率计算机使用的GUI基础
生成式Shell（gsh）：可与本地大语言模型交互
O1系列模型大小相同，O1价格高于GPT - 4O的原因及O1 Pro相关情况
Cortex支持Small - Thinker - 3B，一个基于Qwen2.5 - 3b - Instruct微调的小推理模型
Fireworks托管Deepseek V3：无数据收集，每月0.9美元，每秒25t
使用AI智能体创作整本书：AutoGen与Mistral - Nemo
深度寻求V3、QVQ - 72B预览版、猎鹰3 10B、羊驼3.3 70B、神经电子70B在更新的MMLU - Pro CS基准测试中的大语言模型比较/测试
告别RAG服务器：使用WebAssembly、IndexedDB和Transformers.js在浏览器直接创建向量数据库
3万美元预算，购买何种GPU集群用于LLM训练与推理？自制还是购买整机更好？
DeepSeek v3与Claude 3.5 Sonnet 1022对比：DeepSeek编写的代码更简洁（我的经验）
M4 24GB下llama3.2等模型的Ollama性能
Llama 4今年将有多次发布 包含语音与推理功能
构建小型（函数调用）大能力的LLM并集成于开源网关
自制Termite：可从简单文本提示生成终端UI的CLI
深度探索Deepseek v3：是否优于GPT - 4o和3.5 Sonnet？
字节跳动研究推出1.58位FLUX：99.5%Transformer参数量化为1.58位的新AI方法
NVIDIA GeForce RTX 5080预计1月21日发布
阿里云大语言模型降价幅度达85%，中国AI竞争升温
DeepSeek V3在llama.cpp上运行，贺新年
即将问世的有趣ARM硬件 - Radxa Orion O6
AWS部署40万Trainium2芯片集群助力Anthropic
利用语言模型赌博：一位无知投资者试图用ModernBert击败股市
开源模型Deepseek V3可比肩ChatGPT4
Gary Marcus对AGI和ASI发展预测的改变
SmallThinker - 3B - Preview发布：类o1推理SLM
2024年Hugging Face上排名前25的开源模型
2024年Hugging Face上点赞数排名前25的AI模型
Deepseek V3在误导向注意力评估中表现糟糕
2024年12月10日：Cerebras系统与美国能源部桑迪亚国家实验室宣称在单个CS - 3系统上完成1万亿参数模型的训练
3060 12GB与4060 Ti 16GB的对比
Together开始托管Deepseek V3：隐私友好的使用方式
1.58B无梯度内存训练新论文noise_step
DeepSeek -R1 -Lite -Preview在多项基准测试中似乎胜过DeepSeek V3，为何V3更受追捧？
英特尔准备推出配备24GB内存的Arc（PRO）“Battlemage”GPU
PDF转Markdown工具对比：我的初步体验结果
SemiKong：首个开源半导体聚焦大语言模型（基于Llama 3.1构建）
使用DeepSeek V3进行FIM效果很棒的方法
创意型实验Command - R模型：基于1.85亿书籍标记训练微调
为运行DeepSeek V3在服务器配置1TB内存是否值得
LG与IBM在GPU资源匮乏的LLM竞技场中名列前茅
Llama-3-8b-instruct的50个随机单词的前100个列表及其他有趣输出
DeepSeek - v3成为ProLLM最佳开源模型
DeepSeek生成价值1美元的代币无需5小时，通过批处理约1分钟即可
DeepSeek 600b模型网站运行快且API便宜的疑惑
当下创意写作是否有比Mistral Small 22b更好的模型
M4 Mac Mini AI集群运行DeepSeek - V3
DeepSeek V3以合成数据用于编码和数学，采用新预测技术
DeepSeek v3新增"Deep Think"选项，可展示思维链
深擎发布其AI研究人员使用2048个H800训练深擎 - V3 671B混合专家模型（MoE）的独家视频
观Groq Llama3.3在大语言模型象棋竞技场击败xAI Grok
Deepseek V3在livecodebench上（最高非推理模型）
DeepSeek在多数基准测试中以十分之一价格优于4o？
Bartowski Q4_K_M量化版本输出语言转换问题
Clipboard Conqueror 1.0新特性：支持ESC取消及提示操作注释
Deepseek V3基准测试表明Qwen 2.5 72B才是王者
Deepseek V3正式发布（代码、论文、基准测试结果）
Deepseek v3以低53倍价格超越Sonnet
DeepSeek V3聊天版权重已上传至Huggingface
Llama-3.2-3B-Instruct-abliterated需35GB显存
Deepseek v3在aider上超越Claude sonnet
DeepSeek V3在LiveBench上的基准测试结果
DeepSeek V3模型在Huggingface上的模型卡
DeepSeek V3模型现身Hugging Face平台
Test - Time Compute模型是否使M系列Mac不再适合运行大型语言模型
使用Llama3.3驱动的AI代理查询pyppeteer仓库的两个近期问题
Qwen的QVQ 72B放弃Apache 2.0许可
AMD MI60与vLLM助力Llama3.3 70B达20 tokens/s
Gemini Flash 2.0实际体验及与其他开源模型对比
OpenAI员工称o3与o1采用相同范式且进展迅速
Qwen/QVQ - 72B - Preview模型在Hugging Face平台
12GB 3080上的混元FP8可在10分钟内生成移动端质量的GIF
可直接在Ollama中运行来自Hugging Face Hub的私有GGUF
Layla支持手机运行大语言模型时通过Stable Diffusion生成图像
llama.cpp支持Llama-3_1-Nemotron-51B
MI300X、H100、H200训练基准测试：CUDA仍具优势（上）
Drummer发布Anubis 70B v1：基于Llama 3.3 RP微调
谷歌DeepMind推理团队负责人Denny Zhou的三条X动态
英伟达Jetson Orin Nano Super试用
根据LLM密集化规律，2025年10月或将出现8B参数的类GPT - 4o大模型
部分大语言模型OCR能力为何强于专用OCR解决方案
Llama 3.3 70B指令版删减版（去审查）发布
对o1 - pro和o3的看法：暴力破解而非创新？
语音转语音模型比级联模型更笨 - 人工分析的新推理基准
RWKV - 7 0.1B (L12 - D768)经ctx4k训练可解决NIAH 16k问题，外推至32k +，100% RNN（无注意力机制），支持100多种语言和代码
Koboldcpp v1.80发布，支持Qwen2 - VL
Qwen QVQ - 72B - Preview即将发布
MaxSun Arc B580 GPU带双SSD插槽亮相
红帽宣布达成收购Neural Magic(vLLM)的最终协议
自制wut——解释上一命令输出的CLI（适用于ollama）
谷歌AI工作室免费推出Gemini 2.0闪思实验版
Acer RTX 5090/5080游戏电脑预售价曝光
LibreChat体验如何？（代码执行、网页搜索等）
Slim - Llama：低功耗处理30亿参数的LLM ASIC处理器
创世纪项目：由物理模拟平台驱动的生成物理引擎，可生成4D动态世界
Intel Arc B580上ComfyUI安装指南与示例基准测试
近期模型在聊天机器人竞技场的更新（Qwq、Qwen 2.5 Coder、Nova、Llama 3.3）
使用QwQ作为对话思考者时意外模拟出尴尬的过度思考
Moonshine Web：比Whisper更快更准的实时浏览器语音识别
Granite 3.1语言模型：128k上下文长度与Apache 2.0协议
AI创意竞技场：看大型语言模型在诗歌、ASCII艺术等方面一较高下
Jetson Orin Nano Super用于家庭设置是否合理
Hugging Face研究人员用搜索使30亿参数Llama超越70亿参数版本
MyDeviceAI：可在iPhone本地运行Llama 3.2的应用已上架AppStore
Click3：一款利用大语言模型自动化安卓使用的工具
OpenAI长期让Sonnet 3.5成为市场最佳模型的原因推测
发现一个超棒的可与本地模型协同工作的Perplexity AI克隆版
MLX - 4bit与GGUF - q4_K_M性能对比之MMLU Pro测试
本地LLM的Godot游戏引擎插件NobodyWho
谷歌Veo 2生成视频惊艳，Veo与Imagen新版本发布
RTX 3090调整功率限制时llama.cpp中的相对性能
Llama 3.3在代码辅助方面优于Mistral - Large - 2411
索泰确认推出32GB GDDR7显存的GeForce RTX 5090，5080和5070系列也在列
为苹果硬件分叉HunyuanVideo以本地体验类SORA功能
通过扩展测试时计算，让3B羊驼模型在高难度数学题上超越70B羊驼模型
Hugging Face推出合成数据生成器——自然语言构建数据集的用户界面
Meta发布Apollo大型多模态模型家族，7B版达SOTA且能理解1小时视频可本地运行
微软Markitdown：Python文件与文档转Markdown工具
Teuken - 7B：面向多语言的OpenGPT - X项目成员
Nvidia GeForce RTX 5070 Ti配备16GB GDDR7内存
搭乘12小时航班，128GB M4 Max求2024年12月最佳本地编码模型
Llama.CPP与MLX在不同提示大小下对Llama-3.3-70B的速度测试#2
Meta AI推出无标记器模型字节潜在变换器（BLT）
Gemini实验1206编写的功能完备且美观的Web UI
Pixtral与Qwen2VL即将接入Ollama
Qwen2.5 32B获Apache许可，开源潜力巨大
Ilya在加拿大温哥华NIPS 2024的"序列到序列"演讲
LMArena新WebDev竞技区克劳德3.5十四行诗优势明显
Llama-3.3-70b在2xRTX-3090与M3 - Max 64GB上针对不同提示大小的速度测试
Meta的字节潜在变换器（BLT）论文表现出色，或于2025年取代标记化模型
OmniAudio - 2.6B：世界上用于边缘部署的最快音频语言模型
CohereForAI发布c4ai - command - r7b - 12 - 2024模型
百万美元悬赏首个在无污染SWE - bench中达90%的开源AI
DeepSeek - AI推出DeepSeek - VL2模型
NaturalLM -7B Instruct：自然发声的大语言模型
基于桌面的Gemini 2.0 Flash语音控制
U - MATH新大学级数学基准：Gemini和Qwen表现突出
OpenAI O1与Claude 3.5 Sonnet：20美元谁更超值
Qwen 2.5 72B与Llama 3.3 70B指令模型对比排名
Phi 3.5 mini instruct：被忽视的实用模型
Gemini 2.0 Flash在SWE - Bench上击败Claude Sonnet 3.5
Whisper.cpp是否仍是语音转文本（STT）的王者
谷歌发布Gemini 2.0 Flash，支持原生音频与图像生成
Gemini 2.0 Flash实验版，有人尝试过吗？
Recursal发布两款新线性模型：QRWKV6 - 32B与Finch - MoE - 37B - A11B
8GB VRAM下难寻比gemma - 2 - 9b - it - SimPO更好的大语言模型
PocketPal AI 1.6.0：消息编辑、重新生成与UI增强
Qwen-2.5 Coder 7B可用于QwQ-32B的推测性解码
GRMR 2B Instruct：轻量可靠的语法检查器
Llama 3.1 8B在9种不同RTX GPU上的基准测试（每百万输出令牌0.228美元）
Llama 3.3 (70B)微调 - 现支持90K上下文长度且适配<41GB显存
Huggingface存储限制更新（公开无限制，私有受限）
Qwen/QwQ 32B正确回答时代关键问题，EXAONE 32B和Llama 3.3 70B失败
18分钟内从零创建9个微调模型的工具演示[Kiln AI]
Koboldcpp相较Oobabooga在用户体验上的巨大飞跃
DeepSeek V2.5 - 1210：DeepSeek V2.5最终版本
Hugging Face发布Text Generation Inference TGI v3.0，长提示处理速度比vLLM快13倍
DeepSeek - AI发布DeepSeek - V2.5 - 1210
在Mac Mini M4 Pro上运行Llama 3.2 3B和Llama 3.3 70B模型
InternVL2.5发布（1B至78B），能否取代GPT - 4o？
点赞新的Llama 3.3 Euryale v2.3：48GB讲故事/角色扮演的最佳选择
Github URL中"hub"可替换为"ingest"以提取友好提示文本
LG发布三款新模型EXAONE - 3.5，规模分别为2.4B、7.8B和32B
两大语言模型对话并运行代码（Llama 3.1 8B Instruct + Qwen 2.5 Coder 32B Instruct）
阿里Qwen团队负责人转投字节跳动，Qwen 3.0或无望
Impish_Mind_8B：具有趣味个性的独特8B Llama 3.1模型
Llama 3.3在OpenRouter上比GPT 4o便宜近25倍，是否名副其实？
Google Gemini实验版1206编码能力强，胜过Claude Sonnet
30亿参数模型凭借高质量训练数据能否在特定任务上超越700亿参数模型
用谜题破坏Llama3.3 70B（通过Ollama进行4位量化）
LLama 3.3 70b在网络安全基准测试中接近Qwen2.5但不及405b
Llama成Hugging Face年度最受欢迎模型
Llama 3.3升级显著，与Qwen 2.5编码性能对比
Gemini 1206分数大幅跃升，Llama 3.3 70b近乎与GPT - 4o持平
Llama 3.3在Hugging Face的相关资源发布
LLaMA 3.3 70B性能如何？四大模型对比表
Llama - 3.3 70b在几乎所有基准测试中胜过GPT - 4o、Claude - 3,5 - sonner和Llama - 3.1 405b
Llama 3.3 70B可在HuggingChat免费使用
Llama - 3.3 - 70B - Instruct模型在Hugging Face平台
免费的Hugging Face本地大语言模型偏好对齐课程
Adobe发布DynaSaur代码：可自我编码的智能体
Pleias发布首个完全基于公开数据训练的模型，可与Llama 3B和Qwen 3B竞争
谷歌发布基于Gemma 2的PaliGemma 2视觉语言模型
使用推测解码优化Llama.cpp以实现每秒最大令牌数
武士（SAMURAI）与Meta的SAM 2：视觉追踪新时代？
谷歌NotebookLM三位团队成员离职创立新公司
25个最先进大语言模型的MMLU - Pro CS基准测试对比
FishSpeech v1.5：多语言零样本即时语音克隆，仅5亿参数且低延迟排名TTS - Arena第二
4位量化可能破坏模型 - 动态量化10%FP16 90%4位
notebookLM深度访谈播客：未审查且声音多样
Virtuoso - Small：Arcee.ai新推出的14B大语言模型超越SuperNova - Medius
前实习生破坏字节跳动AI训练面临800万诉讼却获NeurIPS 2024最佳论文
Llama - 3.1 - 8B作为评估器的早期训练结果
Hugging Face CEO对2025年人工智能的预测
修改llama.cpp以支持Llama-3_1-Nemotron-51B
Ollama合并K/V缓存量化支持，上下文内存减半
Llama.cpp漏洞修复！推测解码速度提升30%且上下文长度翻倍
耐力100B v1鼓手模型：精简版米斯特拉尔大型2407 123B且经RP微调
SmolChat：在安卓设备本地运行GGUF SLMs/LLMs
Hugging Face推出本地微调大语言模型免费开源课程
LM Studio终可在NPU（高通骁龙Copilot+ PC）上运行
VLLM支持AMD Radeon GPU运行gguf
AI Linux爱好者使用RTX GPU时可能存在过热无提示情况
Huggingface免费账户存储模型新限额为500Gb
Nous DisTrO更新，宣布新15b模型及DeMo论文
尝试制作可在云端免费使用的无审查版Llama 405b模型
Hugging Face为超25万公共数据集添加Text to SQL功能，由Qwen 2.5 Coder 32B提供支持
AMD GPU与Llama cpp组合时性能显著降低，求原因
OpenAI CEO称开放权重AI模型不好，因DeepSeek和Qwen 2.5？
超强大的Open - WebUI: 我的arXiv、图像生成和AI规划神奇工具包
Apache Tika与Docling文本提取对比
Nemotron 70b与Qwen2.5 72b性能对比
寻找可修正英语语法的模型（类似Grammarly只修正语法功能）
Drummer"s Behemoth 123B v1.2 - 最终版
下一代基于视觉语言模型的OCR实际需求在哪？是否用于RAG？
NVIDIA GPU的FP16性能列表（面向ExllamaV2/EXUI/TabbyAPI用户）
Qwen 2.5 14B：为角色扮演进行无审查微调
3个P40设备运行llama.cpp，推测解码是否加速？
Epyc Turin双CPU系统STREAM TRIAD内存带宽基准值近1TB/s
优化XTTS - v2：10分钟内语音合成《哈利·波特》第一部且仅需约10GB显存
距离优于两块3090的家庭实验室解决方案还有多远？
INTELLECT - 1发布（指令+基础版）：首个协同训练模型
乔治 - AI：一个利用AI轻松实现自然语言控制计算机的API
AtheneV2 72B：Qwen微调版本，专注代码补全、数学和日志提取
使用Docker、Colab和Unsloth在本地16GB显存GPU上构建最便捷的VLM微调环境
Aion-RP-Llama-3.1-8B：全新角色扮演大师
本地微调大型语言模型的最佳方案及16GB可训练内容
GLM - Edge系列：1.5B - 5B，聊天与视觉
Qwen团队实验推理模型QwQ-32B - Preview在HuggingChat免费上线
QwQ思考10000个token后给出的最搞笑笑话
14英寸M4 Max 128GB是否适合123B模型
LLaMA - Mesh本地在Blender中运行
Deepseek新多模态模型Janus可在浏览器本地运行
QwQ - 32B - Preview在farel - bench中的基准测试结果为96.67，优于Claude 3.5 Sonnet，略逊于o1 - preview和o1 - mini
本地运行QwQ - 32B 4位量化模型的误导向注意力评估，它胜过o1 - preview和o1 - mini
Qwen发布QwQ预览版：提升AI推理能力的开放模型
通过搜索扩展小模型：用0.5B微调+奖励模型匹配28倍大模型
使用Qwen2.5 - Coder - 32B - Instruct数日后的评测
Qwen2.5 - Coder - 32B - Instruct - AWQ本地运行及与OptiLLM和Aider的基准测试
欧洲新模型openGPT - X Teuken 7B发布
大语言模型(LLM)发布数量随时间的下降趋势已清晰可见
Sentient发布：本地个人助手，由Llama 3.2 3B驱动
AI时代的信息误导加速——以Reflection-70B为例
MLX LM 0.20.1速度可与llama.cpp相媲美
电脑装有两块7900XTX显卡，电源1000W是否会损坏
首次在本地设备运行Qwen2 - Audio进行语音聊天和音频分析
llama.cpp服务器采用推测解码，速度提升25% - 60%
新型轻量级文本到语音模型OuteTTS - 0.2 - 500M
10000美元预算购置1台AI机器/服务器，求建议
Optillm中的代码链推理在AIME 2024上击败o1 - preview
AI视频合成工具：Qwen2.5 - 32B Coder与FFmpeg助力
基于Qwen 2.5复现Teleut 7B - Tulu 3 SFT
Behemoth系列模型v2.0 - v2.2的新特性与推荐
Qwen2.5 - Coder - 32B - Instruct量化实验
Drummer的Cydonia 22B v1.3与The Behemoth v1.1在22B的神奇之处
Qwen2.5 14b模型（常规版和编码版）是否足以用于实际工作？
Athene V2 Chat在特定任务上接近GPT - 4o和Claude 3.5
16GB显存下22B的Q4km或Q5的选择以及14B的Q4km Qwen2.5是否适合本地Gpt4o mini
SmolLM2 - 135M - Instruct无需GPU即可快速总结网页搜索结果
更新AI研究助手，支持OpenAI端点与Ollama
连接多台电脑至强大LLM站以获取128GB显存的最佳方式
DeepSeek R1 Lite比其他模型更令人印象深刻
英特尔开源大语言模型INTELLECT - 1完成训练
Claude渴望与本地部署的Mistral聊天并克服相关限制
阿里巴巴发布Marco O1，推进人工智能的开放式推理
Deepseek与OpenAI竞争，谷歌在LMSYS排行榜胜过OpenAI
创建v1.3 RPMax模型时发现损坏的标记器需警惕
Marco - o1：迈向开放式解决方案的开放推理模型
使用LM Studio测试MLX模型：推理速度小增但内存大增
Llama 3.2 Vision在Unsloth中可微调，16GB VRAM内且速度快2倍
图卢3——一组拥有完全开放数据、评估代码和训练算法的最先进指令模型
AMD RX7900XTX 24GB与NVIDIA 4070Ti Super 16GB个人使用对比
PocketPal AI集成Hugging Face模型库
三星TinyClick：用于GUI自动化的单轮代理（0.27B，MIT许可）
DeepSeek R1 lite表现惊艳，远超Qwen 2.5 coder
M4 Max以11个令牌/秒运行Qwen 72B Q4 MLX
苹果硅芯片（MLX）上Mistral大模型的新MLX量化版本
DeepSeek AI的R1 - Lite - Preview展现强大实力
CrisperWhisper在开放ASR排行榜中位居第二
寻求拥有64GB内存M4版MacBook Pro的用户帮助
AICI助力实时重写语境、受限生成与回溯KV - 缓存
通过神经细胞自动机（NCA）在大型语言模型（LLM）中实现推理
深源宣布R1 lite，在部分基准测试中胜过o1预览版
求Mistral - Large - 2411新模型基准测试
DeepSeek - R1 - Lite预览版正式发布
评判竞技场排行榜：将大语言模型作为评估器进行基准测试
树莓派上的大语言模型硬件加速（以低成本树莓派为基础计算机搭配高端AMD GPU）
中国AI初创公司StepFun新万亿参数MOE模型在Livebench排名前列
美国会委员会建议国会开展类曼哈顿计划竞赛以达AGI
Nvidia发布LLaMA - Mesh权重，推理代码可用
Mistral发布Pixtral - Large及Mistral - Large更新
ChatGPT搜索功能：比Perplexity更好吗？
LLMs作为评估器的基准测试：Judge Arena
Llama 3.1 405B在Cerebras推理平台上每秒运行969个令牌
流行本地大语言模型EXL2量化的MMLU（4个类别）基准测试
AMD GPU通过Vulkan在树莓派5上支持llama.cpp
Pixtral Large发布：基于Mistral Large 2的视觉模型
Mistral - Large - Instruct - 2411模型在Hugging Face
11月18日Mistral Large 2411和Pixtral Large发布
AMD Ryzen AI 300系列加速消费级LLM应用中的Llama.cpp性能
Qwen2.5 - Turbo将上下文长度扩展到100万 tokens
有人在llama.cpp为Qwen2VL创建拉取请求
Qwen 2.5 Coder 32B与Claude 3.5 Sonnet对比：是我错了吗？
Beepo-22B：基于Mistral Small微调的无审查模型
RAG最佳选择：Olama、LM Studio、AnythingLLM、Openwebui
热门本地大型语言模型EXL2量化的HumanEval基准测试（涵盖2.5到8.0 bpw）
Mistral AI发布Mistral Large 3和Pixtral Large（目前似乎仅API可用）
Nvidia推出LLaMA - Mesh：用Llama 3.1 8B生成3D网格，即将发布权重
构建用于Aya - Expanse - 8B推理的迷你PC - 寻求建议！
Codai：终端中的AI代码助手可理解完整项目上下文
Gemini-exp-1114在LiveBench上胜过GPT-4o，不敌sonnet和o1
OpenAI、谷歌和Anthropic构建更先进AI遇阻
Gemma和Phi模型更新久未发布，3代和4代何时到来
3090、4080super与A6000硬件选择对比
中国公司仅用2000个GPU训练GPT - 4竞品
技嘉推出AMD Radeon PRO W7800 AI TOP 48G显卡
Qwen 2.5 7B在Livebench中超越Mixtral 8x22B和Claude 3 Haiku
Omnivision - 968M：适用于边缘设备的视觉语言模型，标记减少9倍
用Python编写可本地运行的语音自动回复未读邮件程序
Qwen2.5 - Coder - 32B推理VRAM计算待确认
Nexusflow发布Athene - V2 - Chat和Athene - V2 - Agent
Gemini Exp 1114在Chatbot Arena排名并列第一
Claude 3.5惊现用户姓氏 - 隐私怪异现象
ollama llama3.2 - vision:11b无图像时比llama3.1:8b慢20倍
Qwen 32B Coder与72B在最新力扣题目的对比
在RTX 3050 Ti (4GB)的PyCharm中本地运行Qwen2.5 - Coder - 1.5B进行实时代码补全
是否有人对qwen2.5 - coder:32b进行过量化比较？
LLM模型的重复性与创造性及基于Qwen2.5 32B的ArliAI RPMax v1.3模型简述
Aider Composer：实现Aider与VSCode无缝集成
Qwen2.5-coder-32b-instruct的语言提示结果差异
Qwen2.5 Coder创作的《贪吃蛇》手机游戏及开放网页界面成果
CS毕业生都以为自己的“AI”是下一个独角兽，我受不了了
如何顺利使用Qwen2.5 - Coder - Instruct
Qwen 2.5 Coder与128K上下文窗口GGUFs的漏洞修复
NousResearch推出Forge Reasoning API测试版和NousChat
用Qwen2.5 - Coder 32b编写基本的chip8模拟器
Qwen 2.5 Coder 14b在技术报告的多个基准测试中逊于7b - 奇怪！
Qwen 2.5 32B Coder处理Cline提示不佳，易产生幻觉
在Qwen2.5 - Coder:32b - Instruct - Q8_0上尝试此提示
FastAPI - BitNet项目：通过FastAPI、Uvicorn和Docker运行微软BitNet
Qwen-2.5-Coder 32B：革新编码的AI
Qwen 2.5 Coder 32B可在HuggingChat免费使用
原GPT - 4能答对的测试提示，Qwen - Coder - 32B也能答对
在Macbook M4 Max上测试Qwen Coder 2.5 32b q8和q2_k的初步结果
qwen - 2.5 - coder 32B使用3xP40和3090的基准测试
Qwen/Qwen2.5 - Coder - 32B - Instruct模型于Hugging Face发布
使用4台M4 Pro Mac Minis与雷电5（80Gbps）互联分布大型语言模型
具有隐私功能的个人NotebookLM和类Perplexity的AI助手
Ichigo-llama3.1 v0.4：MMLU得分64.66，多轮对话追踪更佳并拒非语音输入
A100 32G SXM2计算卡用于Windows本地LLM
MIT团队利用8B大语言模型结合测试时训练在ARC - AGI - PUB上得分达61.9%
1TB内存能否满足DeepSeek v2.5 fp8最大上下文长度运行需求
Claude AI将通过与Palantir的新协议处理政府机密数据
轻量级开源大语言模型用于自定义模式的文本到JSON转换
利用Florence - 2与Llama 3.2 Vision构建高级图像字幕应用[开源]
有比Llama更适合电脑小白的离线/本地大语言模型吗（通过Ollama安装时）
API探索后意识到ChatGPT和Claude记忆功能的价值
构建一个支持多用户、有API且可用于其他自托管服务的Ollama支持的自托管Perplexity克隆版，还有哪些需要考虑的？
48GB M4 Macbook Pro可运行的最大模型及速度
Qwen2.5.1 Coder 7B在Aider排行榜上得分63.9%
构建通用人工智能(AGI)之二：解决强化学习问题的思路
新基准FrontierMath公布，LLM最高得分2%
Qwen2.5 - Coder将推出0.5B、3B、14B和32B版本
OpenCoder：性能媲美顶级代码语言模型的开源可复现代码语言模型家族
发布Vector Companion后进行重大性能更新
4090 SUPRIM X、M4 Max 40核GPU与128GB内存组合
Geekerwan使用Ollama在新M4 Pro和M4 Max芯片上对Qwen2.5 7B至72B进行基准测试
Chinchilla缩放定律与近期LLM改进存在矛盾
Meta新模型fractal_alpha体验与初步测评
基于大语言模型、检索增强生成（及代理？）的《龙与地下城》互动世界构建应用征求意见：请评判我的图表和想法？是否已有类似产品？
分析12个基准测试，为不同用例找到合适规模的大语言模型
Qwen 2.5 Coder 7B与1.5B Instruct模型权重更新
发布两周后，旧版Sonnet 3.5在LiveCodeBench上仍胜过新版Sonnet
AMD Threadripper 3600与256GB内存运行本地大语言模型的可行性
RTX 3060 12GB可运行的最佳成人角色扮演模型
微软悄然发布用于解决复杂任务的开源多智能体系统Magentic - One及AutogenBench
Qwen 2.5登上官方LiveCodeBench排行榜
200美元单板计算机运行3B模型，每秒约10+个token，可做什么？
8B VLM在130美元RK3588单板计算机上运行，NPU加速 - 4个令牌/秒，6.5秒延迟（MiniCPM - V 2.6）
基于LLaMa架构的零样本语音克隆OuteTTS - 0.1 - 350M，CC - BY许可
Qwen2.5 - Coder - 32B的发布进度
RTX 3090与Threadripper 3970X及256GB内存的LLM推理基准测试
成功购买更多内存后运行Llama 3.1 405B
用Llama 3.2 3B模型意外构建终端命令伙伴
Hertz - Dev：单RTX 4090上理论80ms、实际120ms延迟的85亿参数开源音频对话AI模型
英伟达发布涉及2亿Linux和Windows游戏玩家的安全警告
英特尔Arrow Lake可支持4个DIMM，速度最高达6400
Llama 3.2 90b - vision去向成谜
推出语义集成层级联（CaSIL）：一个过度设计却有效的思维/推理算法
苹果M4 Max芯片：高达546GB/s的内存带宽
llama.cpp在不同设备/后端下的计算与内存带宽效率
使用Flux Fast快速创建近实时图像生成应用（代码少于50行）
Hugging Face发布SmolLM v2，含不同规模版本
Ollama新漏洞：更多模型，更多概率语言模型风险
Meta发布MobileLLM系列模型（125M、350M、600M、1B）
Llama 4模型将于2025年初推出，将在超10万个H100集群上训练且具备新特性
对SuperNova - Medius - GGUF的看法
Starcannon - Unleashed - 12B - v1.0问世：融合两大模型的成果
MacBook Pro M4 Max：内存带宽高达526GB/s
构建本地替代OpenAI API的Cortex之旅
自制可访问谷歌邮箱、日历和任务的个人助手来管理时间克服ADHD
OpenAI将于2026年开始使用AMD芯片并可能自制AI硬件
谷歌新研究：松弛递归变换器，通过跨层共享参数在最小性能损失下缩小现有大语言模型
Meta发布Layer Skip：端到端LLM加速解决方案
开发可在iOS、macOS和visionOS运行MLX模型的应用
Mac Mini性价比凸显：比5090便宜且VRAM近翻倍
Stable Diffusion 3.5 Medium发布于Hugging Face
MacOS 15.1中的Apple Intelligence提示模板
三个增强版的Llama 3.2模型，每个7B用于创意用途且无审查
中美顶尖大语言模型间隔仅5个月，中国排名第一且世界第六的模型仅用2000个H100训练即达SOTA
Mistral.rs v0.3.2金属性能提升26%并推出PyPI安装包
开源Promptwright：用本地LLM生成大型合成数据集
M1 - 3 Max运行20 - 32B模型的处理和生成速度
在本地低端RTX3000 GPU上运行Llama的最佳方式
哪些开源模型可与gpt - 4o - mini相媲美
测试1B/3B小语言模型在本地RAG中的能力及收获
Mistral - Nemo 12b编码优势下的竞品探寻
视觉标记器：助力大型语言模型在网页创建自动化的扩展工具
glm - 4 - voice - 9b可在12GB GPU上运行
推理引擎之战：Llama.cpp、MLC LLM与vLLM的对比测试
Ollama已推出llama3.2 - vision测试版
Cohere发布Aya Expanse多语言AI模型家族
微软悄然发布OmniParser：视觉代理截图转结构化元素工具
新型金融领域模型Hawkish 8B通过CFA一级且在数学和金融基准测试中胜过Meta Llama - 3.1 - 8B - Instruct
Tinybox Pro (8 x RTX 4090)内部一瞥
Drummer发布123B v1.1的Behemoth和22B v1.2的Cydonia创意版
两款10B新模型：作家“J.古登堡”与作家 - “不羁之笔”（无审查）
Llama 405B在Nvidia H200 SXM上可达142 tok/s
Mistral发布Pixtral基础模型：Pixtral - 12B - Base - 2409
Drummer"s Nautilus 70B v0.1：L3.1 Nemotron 70B的RP微调版本
G.Skill新款DDR5 - 9600 CUDIMM内存条风冷可达DDR5 - 10000速度
智谱AI发布开源端到端语音大模型GLM - 4 - Voice
Cerebras推理速度提升3倍：Llama3.1 - 70B每秒突破2100个token
xMAD推出市场上最佳量化Llama3.1-405B和8B模型
Prime Intellect AI本月推出INTELLECT - 1：开创性的100亿参数民主AI语言模型
VSCode结合Cline、VLLM与Qwen2.5实现快速运行
笔记本上搭载2个64GB VRAM的MI60？雷电4多eGPU！
ChatterUI v0.8.0发布 - 现支持外部模型加载
使用4块RTX 3090对MLC LLM和Mistral Large Instruct 2407 q4f16_1进行功率缩放测试（150 - 350瓦）
扎克伯格：发布量化版Llama 1B和3B设备模型
CohereForAI发布aya - expanse - 32b模型
推出Arch - 用于快速且可观测的智能体应用的开源智能中间件
Claude 3.5 Sonnet在SimpleBench得分提升
Aider：在24GB VRAM下优化性能（持续微调）
Qwen 32B全面微调用于角色扮演/故事创作：EVA
发布免费竞品VisioPilot，可本地运行LLM
Claude Sonnet 3.5登顶Aider排行榜，大幅领先对手
Anthropic博客：Claude在编码演示中突然暂停查看黄石公园照片
推出Fast Apply - 复现Cursor的即时应用模型
Hugging Face CEO称AI领域封闭性增强协作性减弱影响发展
小参数语言模型（260k参数）在Dalek内部运行
花费数周构建无代码网络自动化工具，Anthropic推出计算机使用API使其面临困境
Genmo发布Mochi 1：新的SOTA开源视频生成模型（Apache 2.0许可）
Claude 3.5 Sonnet：计算机使用体验？
Transformers.js v3发布：多项新特性
Stability AI发布Stable Diffusion 3.5，含三个变体，10月29日上线Medium
用Llama 8B和70B开发亚马逊品牌筛选Chrome扩展
最佳成人角色扮演模型 - Mistral - Small - 22B - ArliAI - RPMax - v1.1
开源网页扩展BrowserLlama可本地交互网页
Ollama预发布版初步实验性支持Llama 3.2视觉
微软开源LLM平台bitnet.cpp是否源于llama.cpp
在Linux系统下使用AMD GPU运行Llama
Mistral-Large-Instruct-2407比Claude3.5和ChatGPT更实用
GraphLLM推出图形界面：用于大语言模型推理的开源框架
Claude编写脚本使Llama 3.2 1B模拟Twitch聊天
微软开源bitnet.cpp：可在CPU直接运行的1位LLM快速推理框架
Meta推出结合文本与语音输入/输出的Spirit LM开源模型
创建基于Mendeley阅读量追踪热门AI论文的网页应用
我的2张RTX 3090、RTX A1000和10张WD Red Pro 10TB因电涌损坏
使用405b的Llama 3.1，服务器内存是否够用
Grok 2在LiveBench上表现逊于Llama 3.1 70B
微软推出用于1 - 位大型语言模型的推理框架BitNet
6块GPU的组装：4块RTX 3090与2块MI60、Epyc 7002、256GB DDR4
山姆·奥特曼的反乌托邦之球：本地AI应具竞争力的又一原因
DeepSeek发布Janus：13亿参数多模态图像生成模型
《“过度思考"的Llama - 3.2 - 3B - Overthinker模型》
RTX3090 Epyc 7003与256GB DDR4配置
Mozilla研究：为大众解锁AI，而非仅大型科技公司
Llama - 3.1 - Nemotron - 70B - Instruct未超越GPT - 4o或Sonnet 3.5：MMLU Pro基准测试结果
创建免费MacOS/iOS本地LLM运行应用，求反馈！
利用本地运行的Llama - 3.2 - 3B Instruct机器人NPC创建找密码游戏
Llama-3.1-Nemotron-70B-Instruct-HF在辅助排行榜上得分55%，仅次于普通Llama-3.1-70B-Instruct
OpenAI Swarm: 智能体框架，是否值得关注？
未获取到有效信息（原标题ministral无实质意义）
Mistral发布新模型 - Ministral 3B和Ministral 8B
可直接用Ollama运行Hugging Face Hub上的45K GGUF
新的创意写作模型 - 推出Twilight - Large - 123B
NVIDIA最新模型Llama-3.1-Nemotron-70B可在HuggingChat使用
6U Threadripper与4张RTX4090的构建
SuperNova Medius与Obsidian笔记结合Msty知识栈功能强大，附使用指南
新模型Llama-3.1 - nemotron - 70b - instruct
在单个GPU上为Llama - 3 - 8B提供330万上下文服务
Windows版Triton（非官方，经测试可在ComfyUI中工作）
线性化Llama 3.1模型(8B、70B和405B)的LoLCATS - hazyresearch集合
在家搭建类似Elevenlabs的语音合成系统难度如何
Grok - 2与Grok - 2 - mini在Aider代码编辑基准测试中的表现
Zamba2 - 7B（遵循Apache 2.0协议）
利用LoLCATs线性化大型语言模型：几乎无训练地对现有模型进行注意力线性化
Zamba2-7b发布，性能超Mistral、llama 8b和Gemma
txtai 7.5发布：语音到语音RAG、新TTS模型和生成式音频功能
将优秀的OCR和视觉模型集成到可动态辅助文档研究的LLM相关项目中
Ichigo - Llama3.1：本地实时语音AI
xTTS - v2、F5 - TTS与GPT - SoVITS - v2的语音合成对比
使用开源工具创建高质量转录的100%自动化工作流指南
是否有可购买的预设置人工智能物理服务器（面向消费者）
忽略多模态能力，Llama 3.2在文本推理方面是否优于3.1？
微软Edge TTS API端点：OpenAI TTS API的本地免费替代品
F5 - TTS：通过流匹配伪造流畅且忠实语音（最佳开源语音合成！）
AMD Epyc Turin 9575F实现近满理论内存带宽
惊讶于未见Llama 3.2(11B)的通用或RP微调
Mistral-Nemo-12B和Llama-3.1-8B的RPMax创意模型更新
英特尔首次开放分布式大语言模型INTELLECT - 1的训练
SuperNova - Medius：从Llama - 405B和Qwen2.5 - 72B蒸馏得到的Qwen2.5 - 14B
寻求建议：本地运行作为个人知识与分析“第二大脑”的AI
智谱的GLM-4-9B-Chat（fp16）在低幻视率的RAG任务中表现卓越
本地运行Llama 70总是比Huggingface / Groq更昂贵吗？
英伟达新开源大模型NVLM-D-72B与领先模型对比
350美元纯CPU的7年老工作站运行Nemo/ollama的结果
54GB显存（2个3090+1个1060）下的最佳运行模型
KoboldCpp v1.76新增反斜率采样器（短语禁止）和RP角色创建场景
Qwen 2.5模型不同大小数学能力评估及教学用途探讨
Claude-dev 2.0.0发布，现名为Cline
ChatGPT中询问o1 - mini / o1 - preview解决"P与NP"问题时收到OpenAI违规警告
小于约35B的模型中哪些最适合事实查找/关联而非创意写作？
Darkest Planet 16.5B：独特的非AI创意模型
AMD推出MI325X：1kW、256GB HBM3，性能达H200SXM的1.3倍
开源Transformer实验室推出标记可视化工具
神经网络中结构化扰动的元胞自动机驱动镜像张量表面：基于连续状态权重调制的动态正则化、增强可塑性和多尺度学习新方法
英伟达宣布Mistral - NeMo - Minitron 8B指令模型
购置8*GPU服务器运行32b模型，噪音大是否正常
使用Transformer(TRL)时小批量大小和梯度累积微调效果差
隐藏的瑰宝：happzy2633/qwen2.5 - 7b - ins - v3是一个无审查且能力卓越的CoT微调模型
NVIDIA在Blackwell上推理速度提升15倍的真相
本地运行Qwen2 - VL - 72B或Llama - 3.2 - 90B - Vision的方法
Drummer的123B版本Behemoth：规模至关重要！
开发搭载Llama3的语音助手V.I.S.O.R.
OpenAI o1与Google Gemini的长上下文RAG能力
将Llama 3.2视觉适配器合并到3.1微调模型上
即将入手64GB内存和16GB显存笔记本，求可运行的最佳本地大语言模型
Open NotebookLM：谷歌NotebookLM的开源替代品
LM Studio为Mac推出MLX后端，高速运行Hugging Face的大语言模型
杰弗里·辛顿对诺贝尔奖的反应：希望在称大型语言模型确实理解话语时更具可信度
英飞凌宣布与英特尔合作、推出两款新模型及含微调与本地部署的企业计划
vLLM较llama.cpp同机分布式推理性能快超70%
我的方法（持续微调）效果超棒，72b登顶Open - LLM - 排行榜
PrefixQuant：一种新的量化算法在LLMs中通过预定义异常值使静态量化优于动态量化
AntiSlop采样器获OpenAI兼容API，可在Open - WebUI试用
Zamba 2发布：2.7B与1.2B指令模型超越Gemma 2与Mistral 7B
Open WebUI 0.3.31更新：新增Claude风格‘Artifacts’、实时代码迭代及完整文档支持
LLaMA 3.2 405B在顶级大模型中的排名如何？
M3 Max上Ollama、MLX与Llama.cpp速度对比揭秘
3B参数Qwen2.5微调超越8B参数Llama3.1登顶排行榜
Llama学习：为何众多文章作者偏爱Medium平台？
AMD Instinct Mi60：高性能AI加速卡评测
Qwen 2 VL 7B Sydney：爱评狗狗图的视觉模型
本地训练逆袭：Impish_LLAMA_3B的诞生记
Qwen2.5模型频称自己是Claude，引发用户困惑
MN-GRAND-Gutenburg-Lyra4-Lyra-23.5B：长篇大论，非典型AI散文
GH-200超级服务器首启：革命性硬件助力AI开发
生成式AI将迫使80%工程师至2027年需提升技能
Llama-Swap：轻松切换Llama.cpp模型的代理工具
最佳代码补全LLM推荐：StarCoder v2 3b是否最优？
KV-Compress：提升大模型推理效率的新缓存压缩技术
Meta推出Movie Gen：引领媒体基础AI模型新纪元
12GB显存下最佳NSFW故事与角色扮演AI模型推荐
高容量DDR5内存即将到来？64GBx2与96GBx2前景如何
SoftWhisper：用户友好的Whisper转录应用发布
REV AI发布新ASR模型，性能超越Whisper-Large V3
OpenAI新Whisper Turbo模型在M1 Pro上本地运行速度提升5.4倍
告别GPT弊端！XTC采样器助力llama.cpp
Qwen 2.5引发职场争议：中国AI模型安全遭质疑
Aphrodite Engine自定义量化测试：性能几何？
AMD新APU性能逼近7600 XT，共享96GB VRAM
谷歌发布GEMMA-2-2B-JPN-IT：专攻日语模型
揭秘Reflection 70B数据集质量：深度分析
Qwen 2.5 Coder 7b：代码自动补全新突破
HuggingChat模型更新：Llama 3.2、Qwen、Hermes 3等全新上线
OpenAI Whisper Turbo助力实时转录
Gemini Nano 2登陆安卓：实验性访问开启
Meta发布全新RLHF算法CGPO，性能超越PPO
GLM-4-9b-Chat领跑幻觉评估榜，OpenAI o1-mini紧随其后
LitLytics开源发布：低成本AI数据分析平台
OpenAI Whisper Turbo浏览器本地运行
Whisper Turbo模型现支持Transformers框架
iPhone 13成功运行本地LLama 3.2模型
AI文件整理器升级：新增预览模式和默认Llama 3.2模型
OpenAI发布全新Whisper模型“turbo”
浏览器内全本地运行Llama 3.2：WebGPU与Transformers.js助力
深度解析：80+大语言模型在代码生成质量评估中的表现
mistral.rs支持本地运行Llama 3.2 Vision模型
SLOP Detector：社区新工具助力消除GPT生成文本特征
Llama-3与Google NotebookLM实验惊艳成果
Koboldcpp速度远超LM Studio，提升大模型处理效率
AI生成虚构学术论文：灵界重排抑制恶魔召唤中的灵质形成
开源游戏伴侣应用：整合GPT、Gemini和Ollama
o1-mini模型在2024年AIME考试中表现更佳，使用更多tokens效果显著
管理本地AI堆栈的应用程序（Linux/MacOS）
最佳NSFW角色扮演模型推荐：Mythomax-L2是否仍具竞争力？
Llama 3.2视觉模型与Llava 1.6性能对比
RAGBuilder新增超参数可视化功能，助力RAG性能优化
Llama3.2-1B GGUF 量化基准测试结果
我让llama3.2为我设计新车。有些设计简直太疯狂了。
NVIDIA Jetson AGX Thor 将在2025年拥有128GB的VRAM！
教授在这里。在课堂上运行本地模型（用于生产）时需要前端UI建议/推荐。更多关于使用案例的内容在里面。
我制作了一个可配置的反滑移采样器，可以在单词和短语级别下调概率。
LLAMA3.2-3B 仅用2个提示就创建了一个功能齐全的贪吃蛇游戏。
在使用大型语言模型（LLMs）时，从Q8到Q6哪些任务的质量下降最明显？
我在美国陆军的野战手册上训练了Mistral。该模型（及其新的230万个token的指令数据集）是开源的！
我正在使用双RTX 4080 GPU和Mac Studio通过GPUStack进行分布式推理，基于llama.cpp。尽管通过40GB/s的Thunderbolt连接，吞吐量仍保持在每秒10-12个token。瓶颈在哪里？有什么改进建议吗？
Abliteration不仅影响模型的行为和响应方式，还影响其虚构角色的思维和响应方式
Mark是不是不经意间透露了他们有一个超过100,000个GPU的数据中心用于llama4训练？
有人知道为什么Llama 3.2 3b在OpenRouter上比1b便宜得多吗？是偶然的吗？
OpenAI终于走出非营利模式，转向盈利结构（谁会想到呢）
RTX 5090将配备32GB的GDDR7（1568 GB/s）内存
通过ChatterUI在Android上运行Llama 3.2
Hugging Face 刚刚突破了 1,000,000 个模型
这是你们中一些人一直在等待的模型 - Mistral-Small-22B-ArliAI-RPMax-v1.1
Molmo - 一种超越Llama 3.2的新模型，在欧盟可用
估算性能损失：Qwen2.5 32B Q4_K_M 与 BF16 MMLU PRO 评估结果对比
Ovis 1.6 - 基于Gemma 2的10B视觉语言模型，在MMMU上超越了Llama 3.2 11B和GPT-4o-mini
在手机上运行Llama 3.2 3B - 适用于iOS和Android
Llama-3.2 视觉功能尚未被 llama.cpp 支持
米拉·穆拉蒂（OpenAI首席技术官）即将离职。这家公司到底发生了什么？
Llama 3.2 多模态 GGUFs，4bit bitsandbytes
如何在移动设备上部署Llama 3.2 1B/3B？
正在开发一个由LLM驱动的分析工具，需要一个现实检查。这个工具作为自托管的开源工具会有用吗？
LlaMA 3.2 3B 一次性完成贪吃蛇游戏！（但未能吃到苹果）
波兰LLM 1.5B在单个GPU上持续预训练，这是一年工作的成果。
Llama 3.2 1B 和 3B GGUFs 已上线
Molmo模型在大多数视觉基准测试中优于Llama 3.2 🌟
首个1B参数模型超越Qwen 7B，并在文本到SQL任务上与4o持平。在BirdBench私有测试集上达到51.54%，Qwen: 51.51%，GPT-4: 46%。
Qwen 2.5 对比 Llama 3.1 的插图。
Postgres学会RAG：在数据库内使用Llama 3.1进行维基百科问答
Molmo 是我找到的第一个能够读取模拟时钟的视觉模型，Claude/GPT/Gemini 都无法做到这一点。它在手表图片中混淆了分钟和小时指针，但位置是正确的
Molmo：AllenAI推出的开源最先进多模态AI模型系列
为什么大多数模型只有100K个token的上下文窗口，而Gemini却有2M个token？
[反馈请求] 我创建了一个工具，可以将日常电脑变成你自己的AI云
在8GB VRAM上运行405B LLaMa - AirLLM
Gemini 1.5 Pro 002 展现出令人印象深刻的基准测试成绩
低上下文速度比较：MacBook、Mac Studio 和 RTX 4090
刚刚获得了Cerebras的访问权限。每秒2,000个token。
GenAI_Agents: 构建AI代理的教程宝库
比较微调后的GPT-4o-mini与顶级开源大型语言模型在30个多样化任务中的表现
HF发布Hugging Chat Mac应用 - 免费运行Qwen 2.5 72B、Command R+等！
RAM速度和延迟对LLMs有影响吗？（内有基准测试）
Qwen2-VL-72B-Instruct-GPTQ-Int4 在 4x P100 上运行 @ 24 tok/s
谷歌发布了一篇新论文：通过强化学习训练语言模型进行自我修正
我正在为Skyrim + AI设置试验小型LLM。我对Qwen的推理速度感到惊讶。
LLM（小语言模型）在ESP32-S3上运行，并带有屏幕输出！
Qwen2.5 错误与问题 + 修复，Colab 微调笔记本
如何利用本地LLM作为个人助理或个人工作流程自动化？
NVIDIA 发布新的 Llama-3.1-Nemotron-51B 指令模型
Qwen 2.5 72B 现在可以在 HuggingChat 上免费使用！
这是Gemma 2 2B和9B版本的RPMax系列模型！
提升日语性能？测试多语言iMatrix和L/fp16量化对Gemma-2-9b-it的影响
我构建了一个AI文件整理器，它可以读取并整理你的文件，完全在你的设备上运行
4060 Ti 16GB还是4070 12GB？AI/游戏混合使用。
D&D爱好者模型（几乎）。NightyGurps-14b-v1.1。前2.5 14b Qwen调优
谁用Qwen2.5替换了日常设置中的模型？如果是的话，你替换了哪个模型？
我正在购买一台配备128GB统一内存的顶级Macbook。我应该在上面运行什么，使用什么框架/UI/后端？
有哪位高手能让Flash Attention在Apple Silicon上运行吗？
OpenAI o1 对比近期 LeetCode 问题
Qwen2.5 7B chat GGUF 量化评估结果
Qwen2.5 在 MMLU 中领先，但请记住它是由一个独裁政权资助的
帮我决定：Mistral-Small-Instruct-2409 vs. Qwen2.5-14B-Instruct
OLMoE 7B 在低端 GPU 和 CPU 上运行速度很快
iPhone 16 Pro：有哪些本地模型可以在只有8GB内存的新iPhone上运行？与拥有16GB内存的Pixel 9 Pro和12GB内存的Galaxy S24 Ultra相比，内存真的那么低吗？苹果的智能功能如何在8GB内存上运行？
作为一名对大型语言模型（LLMs）充满激情的软件开发者，是否有人觉得技术发展得太快，难以跟上？
目前用于检索增强生成（RAG）的最佳设置是什么？需要关于嵌入、向量存储等方面的帮助。
Qwen 2.5 在 Livebench 编程类别中轻松超越 GPT-4o 和 o1-preview
Llama 3.1 70b在RTX 4090上以60 tok/s运行（IQ2_XS）
Qwen2.5-32B-Instruct 可能是目前最适合 3090 的最佳模型。
Strix Halo（Max）可能支持96GB显存
Mistral NeMo 2407 12B GGUF 量化评估结果
[谷歌DeepMind] 通过强化学习训练语言模型进行自我修正
我在Gutenberg的哲学文本上训练了Mistral。所有内容（包括合成数据）都是开源的！
与GPU相比，你在CPU上看到的TPS性能如何？CPU推理实用吗？
Mistral Small 2409 22B GGUF 量化评估结果
“Meta的Llama已成为构建AI产品的主导平台。下一个版本将是多模态的，并且能够理解视觉信息。”
有人在工作中对大型语言模型进行微调吗？你们的用例是什么？
对于像我这样不太理解gratuity Llama 3.1的人，用NotebookLM制作的自然语言解释！
Gemma 2 - 2B vs 9B - 测试不同量化级别的空间推理问题。
Qwen 2.5 手机版：新增 1.5B 和 3B 量化版本至 PocketPal
介绍FileWizardAi：利用AI驱动的排序和搜索功能整理您的文件
Open Letter from Ericsson, coordinate by Meta, about fragmented regulation in Europe hindering AI opportunities
快速提醒：SB 1047 尚未签署成为法律，如果你住在加利福尼亚，请给州长发一封信
刚刚将Llama 3.1 70B @ iQ2S替换为Qwen 2.5 32B @ Q4KM
微软的“GRIN: GRadient-INformed MoE”16x6.6B模型看起来非常棒
在本地使用GGUF格式从HF 🤗运行Qwen 2.5、Qwen 2.5-Coder、Qwen 2.5-Math及其他语言模型
这些代理设计模式在构建AutoGen+Llama3时帮了我大忙！
即将推出的LLaMA3-s模型，一种早期融合模型引入了基于语音的功能调用，并为Llama 3.1配备了听觉能力。
Moshi v0.1 发布 - Kyutai 系列
鼓手的Cydonia-22B-v1 · Mistral Small（并非真的那么小）的第一个RP曲目
有人在用RTX 8000（48GB）或MI100（32GB）显卡进行LLM推理吗？
开源3.8B LM评判器，可替代专有模型进行LLM系统评估
Mistral-Small-Instruct-2409 22B 长上下文报告卡：不及格
Mistral-Small-Instruct-2409 实际上非常令人印象深刻，这里有一个简短的指南，教你如何正确使用它，甚至包括系统提示。
我的项目Black_Strawberry已经实现了AGI
mistralai/Mistral-Small-Instruct-2409 · MISTRAL 新发布的 22B 模型
Qwen2.5-72B-Instruct 在 LMSys 聊天机器人竞技场
为什么ChatGPT在使用自己的API时显得如此糟糕？
发布 Llama3.1-70B 权重与 AQLM-PV 压缩
博士级模型GPT-o1在中学数学‘陷阱’问题上失败，准确率仅为24.3%
LMSYS发现bf16和fp8 Llama-3.1-405b在Chatbot Arena中的差异最小
论文：思维链赋予Transformer解决固有串行问题的能力
o1-preview：在数学和推理方面表现出色，编程中等，写作较差。
愚蠢的问题：27B模型是否可能比34B模型需要更多的VRAM？
Hugging Face 优化了 Segment Anything 2 (SAM 2)，使其能够在设备上（Mac/iPhone）运行，推理时间在亚秒级！
免费的Hugging Face推理API现在明确列出限制和模型
不，Model X 不能计算单词 “strawberry” 中字母 “r” 的数量，这是一个愚蠢的问题，不应该用来测试大型语言模型。
Thierry Breton，《人工智能法案》的起草者，从欧盟委员会辞职
我真的很喜欢OpenAI o1论文中的这个例子。也许它有点夸张。这是在缓解措施之前，也就是未经审查和不受限制的情况下。你有没有收到过类似的来自本地未经审查模型的回应，表现出像这样令人震惊的即兴思考？
为较小模型设计的巧妙提示：通过本地模型达到博士水平？
受新o1模型的启发，Benjamin Klieger在@GroqInc上利用Llama-3.1开发了g1
随着我们从LLM训练后的RLHF（基于人类反馈的强化学习）转向LLM训练后的‘纯’强化学习方法，我们可能会看到与我们完全相反但仍然非常有效的‘推理’方式。只需阅读这里的Alphazero引述。
本地AI角色（角色扮演）：语音输入，语音输出，头像生成，以及无审查模型
尽管我很想尝试每个人的应用程序，但你们得让这一切变得更简单：一个抱怨
我通过我的小规模基准测试运行了o1-preview，它的得分与Llama 3.1 405B几乎相同
推理速度基准测试 - Tabby API 中的张量并行和推测性解码
我大幅更新了我的Python程序，该程序允许通过llama.cpp在本地运行LLMs来上网查找信息，现在它可以完全抓取最相关的结果！
我自豪地宣布，我终于成功地在本地运行了大型语言模型，并将其用于手机上
Qwen 2.5 将于周四发布（0.5B–70B+）
如果OpenAI因为人们试图发现他们的CoT系统提示而威胁要封禁用户，那么他们在这个提示中发现了财务价值，因此本地模型也有低垂的果实可以摘取！
鼓手的Donnager 70B v1 - 罗西南特的大哥！
Llama 3.1 405B在2台MacBook上分布式运行
OpenAI 给我发了一封电子邮件，威胁说如果我不停止，就会封禁我
为什么Anthropic的安全人员如此渴望监管？这个白痴曾在OpenAI领导‘超级对齐团队’。就连热爱美联储的Altman也对他感到厌倦，所以把他踢了出去。Anthropic比OpenAI更疯狂。
解决Flux.schnell管道的缺陷，使其能够一步生成质量相近的图像。
RAGBuilder 现在支持 GraphRAG 以增强知识检索！🚀
Llama 70B 3.1 Instruct AQLM-PV 发布。22GB 权重。
Pixtral 模型吐槽：“深入”Mistral 的首个视觉模型。
nvidia/Nemotron-Mini-4B-Instruct · Hugging Face
鼓手的好伙伴2B v1 - 解构你对Buddy的挫败感
o1不仅仅是关于CoT，它是在有限允许步骤下通过强判别器进行有效搜索。
够了。如果我不能在我的3090上运行它，我不想再听到关于它的事情。
我不明白为什么大家对ChatGPT的o1系列如此炒作
我制作了一个极简的Ollama聊天应用，我觉得挺不错的。我知道这没什么特别的，可能已经有上百个类似的应用了，但我只是想分享一下。我喜欢它，因为它不显眼，有始终置顶的显示功能，非常适合随时提问。
o1-preview 目前在 LiveBench AI 上总体排名第一
o1与其他大型语言模型之间的比较是否是苹果对苹果的比较？
如果OpenAI能让GPT4o-mini在推理方面远超Claude 3.5，那么这对本地LLM很快也能做到同样的事情来说是个好兆头吗？
LiveBench 结果现已更新，o1-preview 排名第二。显然，o1-mini 是推理之王。
OpenAI隐藏了o1使用的CoT以获得竞争优势。
推理的初步LiveBench结果：o1-mini明显优于Claude Sonnet 3.5
I Made A Data Generation Pipeline Specifically for RP: Put in Stories, Get out RP Data with its Themes and Features as Inspiration
两个小时的o1-preview无法做到Mistral-Large-Instruct-2407在本地运行时为我做的事情 :(
OpenAI o1-preview在基本推理上失败
“o1 仍然存在缺陷，仍然有限制，而且它在你初次使用时似乎比你在长时间使用后感觉更令人印象深刻。”
OpenAI O1 模型在 ProLLM StackUnseen 基准测试中超越 SOTA 20%
新的o1推理模型在IMO预选考试中得分83%，而GPT4o仅解决了13%的问题
“我们正在发布OpenAI o1的预览版——这是一系列新的AI模型，旨在在回应之前花更多时间思考” - OpenAI
Face-off of 6 maintream LLM inference engines
扎克伯格在LLaMA 3发布后表示，能源将成为主要瓶颈（而非计算），因此想比较美国和中国。中国生产的能源是美国的两倍多。美国的人均能源效率是中国的两倍。中国在可再生能源百分比上更优，而美国在核能百分比上更优。详见正文中的来源。
DataGemma 发布 - 一个 Google 集合（27B 模型）
LLM系统提示泄露（ChatGPT、Claude、Cursor、V0、Perplexity）
Hugging Face 添加了直接从浏览器使用 SQL 查询所有 200,000+ 数据集的选项！
我认为我已经确定了LLMs在思考更长时间以获得‘更好’或‘更’正确提示时的主要三个障碍。我知道这是一个非常大的声明，但请听我说完。这三个障碍的主题是从一般到具体。我需要你们的帮助来设计一个提示。
我想问一个可能会冒犯很多人的问题：是否有很多程序员/软件工程师对LLM在编程方面变得更好感到不满，就像很多艺术家对AI艺术感到不满一样？
Gemini 1.5 Pro 实验版在AI Studio中处理示例问题时遇到困难
向OG致敬：神经网络之父沃伦·麦卡洛克谈心灵、大脑、思考与情感机器
Chronos-Divergence-33B ~ 释放经典模型的潜力
在6950XT（16GB VRAM）上运行良好的最佳当前小型LLM模型？
Jina AI 发布 Reader-LM 0.5b 和 1.5b，用于将 HTML 转换为干净 Markdown
使用本地LLM创建大型合成数据集的最佳方法是什么？
作为LLM工程师，你使用什么笔记本/PC和服务器配置，以及你最常使用哪些模型？
新发布：Solar Pro (预览版) Instruct - 22B
Z1 extreme (rog allyX 版本) 与 8700G 在 LLM 推理中的对比
在runpod.io上不同GPU的Ollama LLM基准测试
大语言模型（LLMs）已经比传统机器学习模型更便宜了吗？
新的开源文本转语音模型：Fish Speech v1.4
通用OCR理论：通过统一的端到端模型迈向OCR-2.0
如何判断一家巴西AI公司是否只是OpenAI、Claude或Gemini的包装？
Reddit-Nemesis：自动引发愤怒的AI Reddit机器人。
Reflection模型的Open LLM排行榜分数出炉：远逊于官方指令模型
介绍gpt5o-reflexion-q-agi-llama-3.1-8b
我制作了一个简单的Python程序，让你可以使用通过Llama.cpp运行的LLMs来搜索互联网
Ollama 0.3.10 版本终于添加了对尖端视觉模型 MiniCPM-V 2.6 的官方支持
Yi-Coder-9b-chat 在 Aider 和 LiveCodeBench 基准测试中表现惊人，对于一个9b模型来说太棒了！！
苹果智能在最新的iPhone 16s上只有不到8GB的RAM，它能有多智能？
Deepsilicon 使用比传统方法少 5 倍的 RAM 和快约 20 倍的神经网络。他们正在为此开发软件和定制芯片
对整个“Reflection”事件一头雾水？你并不孤单。这是我所能找到的最佳总结。
深度求索悄然发布了DeepSeek-Coder-V2-Instruct-0724，该模型在Aider LLM排行榜上排名第二，并且根据排行榜显示，它超越了DeepSeek V2.5
全新系列的创意写作模型，不同于以往的RP模型（3.8B, 8B, 12B, 70B）- ArliAI-RPMax-v1.1系列
唉：Reflection 好得令人难以置信——参考文章
AMD宣布统一UDNA GPU架构——将RDNA和CDNA结合，挑战Nvidia的CUDA生态系统
大多数Epyc Genoa CPU的内存带宽值（STREAM TRIAD基准测试结果）（单配置和双配置）
鼓手的Theia 21B v2 - Rocinante的大姐姐！一个专注于RP和故事叙述的NeMo微调升级版。
13% 的 YC 公司现在拥有 .AI 域名，最新一批中有 27%
40GB显存巨兽：双显卡（7900 XTX & 7800 XT）与Ryzen 7 7700X性能测试 - 需要基准测试想法！
微软的自对弈互推理（rStar）代码已在Github上发布！
迷你全能：语言模型能够在流式传输中听、说并思考（微调自Qwen2-0.5B）
所有这些戏剧性事件都让我们忽略了真正重要的开源模型发布：DeepSeek-V2.5
非常的主张需要非常的证据，显然Reflection 70B缺乏这一点
POV：看到所有来自一个叫「matt.schumer.freeaccounttrial27」的家伙的API请求的签署NDA的Anthropic员工
糟糕的结果之谜已解开。反射70B被COVID感染。
Yi-Coder - 与 Continue 的完美搭配
OpenRouter Reflection 70B 声称自己是 Claude，由 Anthropic 创建（亲自尝试）
确认：REFLECTION 70B的官方API是SONNET 3.5
除非他们内部运行的模型实际上不是它所声称的那样，否则这毫无意义
“Reflection API” 是一个带有提示的十四行诗3.5的封装吗？
AMD可能正在扼杀8000系列的高端消费级GPU（如果是这样，那就太短视了）
Ollama 替代方案：跨文本、图像、音频和多模态模型的本地推理
来自Artificial Analysis使用Reflection Llama 3.1 70B的更新基准测试。长文，深入分析了收益
Magnum v3 - 9b (gemma 和 chatml)
平均而言，网站和AI聊天机器人平台为使70亿参数模型对用户可用，需要向托管服务支付多少费用？
Reflection Llama 3.1 70B独立评估结果：在我们的独立测试中，我们无法复制所声称的评估结果，并且发现性能比Meta的Llama 3.1 70B更差，而不是更好。
gemma-2-9b-it在LMSYS Arena排行榜上超越了llama-3-70b-it
Reflection-Llama-3.1-70B实际上是Llama-3。
低成本4路GTX 1080搭配35GB显存推理PC
让我们列出前10个故事写作LLM，提出建议，稍后我会测试它们的SLOP
公告：Matt Shumer未披露其在GlaiveAI的投资，该AI用于生成Reflection 70B的数据
NemoomeN - Nemo 12b 混合了一些反射效果。
模型反射-Llama-3.1-70B在ProLLM编码助手基准测试中得分为76.9。模型Meta-Llama-3.1-70B-Instruct在同一基准测试中得分为73.5。
即使是Reflection 70b的4位量化也非常惊人
Reflection的嵌入问题似乎在HF上得到了解决
Matt Shumer的推文：“重要更新：我们已经识别并修复了Hugging Face仓库中的问题。如果你之前尝试下载、运行或托管Reflection Llama 70B，请现在再试一次。输出效果应该会有很大提升。fp16版本也即将推出。”
适用于所有LLM的反思链（Reflection CoT）
AdEMAMix，AdamW优化器的一个简单修改，使LLM训练速度提高了95%（代码在第19页）
DeepSeek 2.5 权重发布，支持函数调用、Json模式、FIM
项目Sid：在虚拟世界中，1000多个真正自主的代理首次合作，出现了经济、文化、宗教和政府等现象
除了llama之外，是否可以使用Reflection-tuning对其他模型进行微调？
Reflection-Llama-3.1-70B 在 Ollama 上可用
第一个独立的基准测试（ProLLM StackUnseen）显示Reflection 70B取得了非常好的成绩。相较于基础的llama 70B模型，提升了9个百分点（41.2% -> 50%）
txtai 7.4 发布：SQLite ANN、新的文本提取功能和编程语言中立的嵌入索引格式
伙计们，使用LongWriter-llama3.1-8b而不是Llama3.1-8b！
非NVIDIA GPU的AI基础设施（以及我们的JAX之旅）
兴奋地宣布Reflection 70B，全球顶尖的开源模型
本地LLM基本上可以在任何机器上运行，但最新的RTX显卡能让它运行得更快吗？
我可以用64GB内存和16GB显存运行什么最好的模型？
有人能确认他们在Ubuntu 24.04上使用llama.cpp成功运行了AMD 6700xt与ROCm吗？
Mistral Large 2 现在在 SEAL 编程排行榜上排名第三
LLM生成的Slack聊天摘要——为什么这么糟糕？
我想创建一个基于一组电子书的聊天机器人，并将其部署在网站上。
新 Yi-Coder 模型 (9B & 1.5B) - 01-ai 系列
Vscode LLM 扩展未经用户同意继续下载 Chromium.app
OLMoE - 一个完全开源的稀疏MoE，仅使用10亿活跃参数
Claude-Dev 现已支持本地 LLM！（Ollama，OpenAI 兼容服务器）
那么… P40 不再便宜了。现在我们这些平民能买到的性价比最高的加速器是什么？
基于步骤的级联提示：从LLM氛围空间发出的确定性信号（且完全本地化！）
一个开源的语音到语音大型语言模型：Mini-Omni
在Llama3.1 405B上的Character.AI
使用Autogen+LLama3实现代理工作流程/状态机
使用48GB VRAM和128GB RAM运行Mistral Large 2是否可能？
已经有一段时间了，谷歌还没有向开源社区发布Gemini 1.5 Flash 8B
Gemini 1.5 Flash 8B 在 Livebench.ai 上击败了 Claude 3 Haiku、Mixtral 8x22B、Command R+ 和 GPT 3.5 Turbo
在本地使用Mistral.rs运行Phi 3.5 MoE（具有70b性能的6.6b活跃模型）！
Colossus 100k H100训练集群已由xAI上线
如果你至少有12GB显存，并且在Q4运行llama3.1，你实际上是在过度量化
小型AI模型能否超越巨人？‘更小、更弱、但更优’的LLM推理训练
RetNPhi: 结合Phi-3.5和RetNet的字节级语言模型
鼓手的…呃…星际指挥R 32B v1！来自Theia和Rocinante的创造者！
最适合在8GB显卡上使用的LLM（主要用于代码帮助）？
有没有推荐的性价比高的云服务器来托管我的RAG？初期支持20个并发用户，全天候运行，但也可以扩展。
什么是用于数据集创建的最佳本地~10b模型（问答对）
Openperplex : 带引文、流式结果、多语言、位置、网页抓取器等的网页搜索API！
Command-R 35B Q4/Q6/Q8 缓存困惑度 + MMLU
哪一个更好：LLaVA 1.6 7B还是LLaVA Phi3 3.8B？
RWKV v6 模型支持合并到 llama.cpp
尝试在CMP 30Hx gpu上运行llama3.1
廉价GPU之战 - Lllama 3.1 8B GGUF vs EXL2在P102-100、M40、P100、CMP 100-210、Titan V上的比较
公告：如果在创意写作中新的Command-r变得疯狂，尝试调整采样器参数
Llama 3.1用于实体识别似乎比大型商业模型弱很多
字里行间，似乎谷歌也准备好了他们的System 2思维（OpenAI的Q* / Strawberry等效）。可能会在OpenAI发布他们的产品时推出。如果Meta构建了一个System 2思维系统，或者他们已经拥有一个，他们会将其开源吗？
根据斯坦福大学的研究，即使是专业级别的RAG系统（律师使用的那种），最多也只有65%的正确率：
AMD Ryzen AI NPU (Ryzen 7 7840HS)
有没有可以在手机上运行的本地模型，它们经过微调以适应生存和文明重建？
AlteredWorlds: 由command_r_plus_08_2024重新构想的历史，由flux.1-schnell绘制
在配备8GB RAM的树莓派5上，哪些开源模型可以运行得相当好？
鼓手的Hubble 4B v1 - SLM的一小步，RP的一大步 - 对修剪后的Llama 3.1 4B 128K的微调
KoboldCpp v1.74 - 新增XTC（排除顶部选择）采样器用于创意写作
您正在开发的一些最具生产力的代理实现是什么，您面临哪些挑战？
My thoughts on Magic"s 100M context length
DDR6和CPU/主板支持即将到来 - 这将如何改变现状？
Command-R的全131K上下文在24GB内存中以3.75bpw运行
穷人的VRAM或如何以$40运行Llama 3.1 8B Q8达到35 tk/s
Google已经有一段时间没有推出新的Gemma系列模型了
新版Command R和Command R+模型发布
CohereForAI/c4ai-command-r-plus-08-2024 · 更新模型
CohereForAI/c4ai-command-r-08-2024 · 更新模型
Qwen2 VL 7B: 比我预想的要令人印象深刻得多！
SB 1047显然非常令人担忧，我们能做些什么吗？
SB 1047 已通过。你认为这会影响 LLAMA 吗？
有争议的加州AI法案通过立法机构，等待州长签署加州立法机构通过全面的AI安全法案 / SB 1047已送达纽森州长的办公桌。
Meta拥有的计算机资源多得惊人：他们每周都能训练完整的Llama 3.1系列
我离开游戏一段时间了。如果你有一块16GB显存的GPU，你最喜欢使用哪个模型？
Qwen2-VL 来了！Qwen2-VL-2B 和 Qwen2-VL-7B 现已在 Apache 2.0 许可证下开源，强大的 Qwen2-VL-72B 的 API 现已可用。
Luminum-123B：一个用于角色扮演的模型合并
Salesforce发布大型动作模型xLAM - 7B, 8x7B, 8x22B，最高可达64K上下文长度，专为AI代理用例设计
Jan 终于支持 Llama 3.1 和 Gemma 2（稳定性提升）
TechInsights 给予 BitNet 加速器市场准备度 6 分
本地1M上下文推理速度达15个令牌/秒，接近100%的“大海捞针”成功率：InternLM2.5-1M在KTransformers上的应用，仅需24GB VRAM和130GB DRAM。支持Windows/Pip/多GPU及更多功能。
SambaNova 提供 llama3.1 405B，速度为 114 tps
1987年时任苹果CEO约翰·斯卡利对当今未来的展望
LocalAI v2.20 发布直播 – 真正的P2P全球分布式推理
CLIP仍然是SOTA吗？还是有更先进的替代方案？
我制作了一个游戏，让你猜猜今天的AI能做什么和不能做什么（链接在评论中）
我的非常简单的提示，已经难倒了很多大型语言模型。“我的猫名叫狗，我的狗名叫老虎，我的老虎名叫猫。我的宠物有什么不寻常之处？”
显然，大型语言模型（LLMs）是强大的归纳推理者，但却是糟糕的演绎推理者。我的解决方案是通过提示构建一个演绎推理引擎。我已经尝试构建了一个提示，放在描述中。请帮助我改进或提供您自己的提示。
Mistral 123B 对比 LLAMA-3 405B，有什么想法？
斐济人口890万 - LLaMa 3/3.1训练数据中的错误？
WoonaV1.2-9b 我的小马驹俄语单语言模型
Mistral Large 2 对比 ChatGPT 4o
关于PEFT/LoRA调优变换器的“黑魔法”有哪些？
颂扬Huggingface.co用户TheDrummer。我们时代的LLM沃尔特·迪士尼。
Anthropic现在发布他们的系统提示词与模型一起
通过ChatterUI在Android上运行Minitron-4b-Width
CogVideoX 5B - 开放权重文本转视频AI模型（运行仅需不到10GB VRAM） | 清华大学KEG（THUDM）
为什么你会选择自托管而不是使用托管端点来运行llama 3m1 70B
开源清洁且可定制的RAG webUI，支持多用户和合理的默认RAG管道。
Nous Research发布关于DisTrO（分布式互联网训练）的报告
为什么GPT 4o mini可能大约有~8B活跃参数
有没有人在本地使用405B模型？你觉得它有用吗，还是你已经回到了70B-110B范围？
Whisper 太神奇了。它是如何在这么多语言上进行训练的？
我们需要多少A10 GPU来为50名用户运行llama 3 8B？
你认为Anthropic在对抗开源方面比OAI更糟糕吗？对我来说似乎是这样。这封信似乎暗示他们实际上向参议员Wienner提出了法案…我真的很喜欢我的开源LLMs…
生产环境中使用 Haystack、Semantic Kernel 还是 LlamaIndex
对于那些非常喜欢Gemma-2-9B SimPO版本的人来说，现在有了27B版本！
LongWriter: 从长上下文LLM中释放10,000+字生成
如果你在使用64GB内存的Mac时遇到响应速度慢的问题
2000到3000美元是否足够构建一个本地的编码AI系统？
Anthropic就SB 1047向州长Gavin Newsom写了一封信，所以我也决定写一封。
这似乎是Deepmind CEO Hassabis的合理立场，但他提到了不良行为者，所以我必须问，这个立场能否按表面价值接受；Google是一个好的/中立的行为者吗，它是否在幕后游说扼杀开源。Anthropic和OpenAI是公开这样做的。
Gemma 2 27B的秘传知识在中型模型中是最好的。谷歌做出了一些了不起的东西。期待Gemma 3。
本地LLMs非常能干，与Mistral Large v2一起冒险
我使用Gemini Flash通过API调用和执行Python代码自主完成了SpaceTraders中的第一个合同
Abliteration未能解除模型审查，同时仍使其变得愚蠢
自动尝试不同的RAG技术在你的数据上（HyDE, C-RAG, RRF等）
Lite-Oute-2-Mamba2Attn-250M 指令与基础：新的轻量级 Mamba2 混合模型，包含注意力层
2024年8月21日，Anthropic在给加文·纽森州长的一封信中表示：“在我们看来，新SB 1047法案有了实质性的改进，以至于我们认为其带来的好处可能超过其成本。”…引文继续
亚马逊Q真的那么好吗？有亚马逊开发者能透露一些信息吗？
Mistral-Large-Instruct-2407 made me an extension for text-generation-webui that lets a LLM use the mouse and keyboard, very experimental atm
在iOS、Android、Web浏览器和GPU上本地运行Phi-3.5-mini
Liger 内核：一行代码让 LLM 训练速度提升 20%，内存减少 60%
Grok 2 和 Grok 2 mini Lmsys 竞技场分数
简单的长椅（来自AI Explained YouTuber）与我与LLMs的实际体验非常吻合
Phi-3.5-mini 在浏览器中以每秒约90个令牌的速度运行，使用WebGPU与Transformers.js和ONNX Runtime Web。
现在有了大型语言模型（LLMs），你能做哪些以前做不到的事情？
Exllamav2 张量并行支持！TabbyAPI 也支持！
愚蠢的实验 LAiNN，DIY 预训练我自己的语言模型来玩 :3。
“自带模型” - Brave的Leo现在可以与本地模型接口。
基于Transformer的模型会随着时间变得更便宜吗？
llama-3.1-8B-Q8 again blowing my mind with unreal self-reflection and mental agility
DeepSeek-V2 为 Cody 的代码自动补全带来了巨大改进
Phi-3.5非常安全，微软在这里确实超越了自己！
您认为哪种模型最适合回答一般信息/历史/科学/文化查询？
马克·扎克伯格和丹尼尔·艾克谈为什么欧洲应该拥抱开源AI
介绍DocChat：在几小时内训练出的GPT-4级对话问答
2x4090 vs 6000 ada vs L20 vs L40s: LLM推理/微调的瓶颈是什么？
Nvidia/Mistral-NeMo-Minitron-8B-Base · Hugging Face
对这里发布的所有“几乎就要成功”的研究和软件感到失望吗？
Phi-3.5-Mini与Phi-3.5-MoE之间的有趣模型差异
Vikhr-Gemma-2B-instruct - 一个紧凑且强大的俄语语言模型
免费系统提示生成器：现已支持所有模型大小（从1B开始）并根据模型大小调整指令
Phi 3.5 微调速度提升2倍 + Llamafied 提高准确性
什么是输出JSON的最佳本地大语言模型，同时也很智能？
关于LLM、LM Studio、Ollama、Open WebUI等，作为一个初学者该如何开始？
是否有可能训练一个神经符号LLM？我们何时能在个人电脑上使用神经符号GGUF模型？
在电子阅读器上的手写界面。慢慢地把它变成我一直梦想的掌上电脑。最终，我希望它能识别形状——但我不确定哪些廉价型号能做到这一点（~0.5B尺寸）
教程：使用llama recipes对llama3.1进行PEFT微调！
有人在这里使用96GM或64 GB内存的M系列Mac吗？
MiniCPM-V 2.6 现在兼容 KoboldCpp（+设置指南）
Llama-3.1-Storm-8B 已经到来！一款新的 8B 参数 LLM，在多样化的基准测试中超越了 Meta Llama-3.1-8B-Instruct 和 Hermes-3-Llama-3.1-8B！
我制作了一个提供商、模型和价格的比较表，非常实用。
对Mistral Nemo Instruct在长上下文质量印象深刻
使用Mistral Nemo作为翻译器在长文本后丢失了近半信息
你们会微调模型吗？如果是的话，目的是什么，效果如何？
LMSYS上的一个新未知模型，toto-medium
有没有比OpenAI的Whisper更好的语音转文字工具？
排除顶级选择（XTC）：一种提升创造力、打破写作陈词滥调并抑制非逐字重复的采样器，来自DRY的创造者
SmolLM Instruct v0.2 - 135M、360M 和 1.7B 参数 | Hugging Face TB 研究 | Apache 2.0
我以为我会把问题写下来，因为我总是忘记。我的问题是，你相信我们可以通过代理使用（多个代理或自动迭代提示）来解决所有这些问题吗？
将我的整个AI/LLM工作流程过渡到100%太阳能供电
寻找创意：前AMD工程师与初创公司创始人准备打造开源项目——哪些问题需要解决？
趣闻：谷歌上个月使用相同的Alphazero算法结合预训练的大型语言模型获得了国际数学奥林匹克银牌。不幸的是，这个算法尚未开源。深度学习已经带给我们许多成果，并将继续带来更多，但我认为真正的强化学习现在将推动真正的进步。
Mistral Nemo 真的很不错…但是会忽略简单指令吗？
RAGBuilder 现在支持 AzureOpenAI、GoogleVertex、Groq（适用于 Llama 3.1）和 Ollama
在16GB 4060ti上使用Flux.1，每张图片生成时间20-25秒
“如果一个大型语言模型被允许使用固定但非微不足道的推理时间计算资源，它在面对一个具有挑战性的提示时能提高多少性能？”测试时计算资源的使用可以超越一个比其大14倍的模型。
Flux.1 量化质量比较：BNB nf4 vs GGUF-Q8 vs FP16
已购买硬件，现在寻找最佳方式在生产环境中部署LLM
Nvidia发布Llama-3.1-Minitron-4B-Width-Base，Llama-3.1-8B的4B剪枝模型
Dusk_Rainbow, 8B LLAMA-3 杰出故事作家
有趣的结果：比较Gemma2 9B和27B Quants 第二部分
你们还记得六月中旬有传言说亚马逊要推出一个名为奥林匹斯的前沿模型吗？好吧，它从未发布，因为据传言称这是一场彻底的灾难。
一块3090显卡足以支持Llama 3为数千用户服务
公司及其截至2024年8月16日的最佳整体模型和最佳开放权重模型。
Llama.cpp: MiniCPM-V-2.6 + Nemotron/Minitron + Exaone 支持今日合并
一年前，我提出了将树莓派5作为小型模型的测试平台。随着类似这种进一步的显卡集成，这个概念可能终于站得住脚。
AI在浏览器中直接执行单一任务，使用Ollama？
(来自X上的Thomas Wolf) FLUX彻底席卷了开源AI界。从未见过一个模型在同一时间有如此多的衍生品/空间/演示流行起来
与非ERP（企业或其他类型）的LLM一起做哪些有趣的事情？
“Grok-2和Grok-2 mini现在在MathVista上占据前两名” 希望他们很快开源Grok mini
Flux.1转换为GGUF - 它在LLM领域提供了哪些有趣的机会？
从2023年3月到今天的llama.cpp演变 | Gource可视化
鼓手的罗西南多12B v1（及v1.1！）- 一匹充满创造力的工作马！你的超凡冒险等待着你！来自Theia 21B等创作者。
随着语言能力的提升，大型语言模型（LLMs）发展出对现实的理解
Grok-2 和 Grok-2 mini 基准测试分数
想从github上拉取llama.cpp来制作一些量化工具，但github挂了…哈哈
通过预训练可以提升Llama 3.1在特定语言的指令性能。我的新Llama 3.1 8B Indo-Formax和Formax模型。
英伟达研究团队开发了一种通过结构化权重剪枝和知识蒸馏高效创建更小、更准确语言模型的方法
Beginner"s Guide: How to Fine-tune Llama 3.1 Ultra-Efficiently with Unsloth & Deploy to Hugging Face
现在是加州居民向他们的代表表达反对SB1047法案的好时机，这是一个反开放权重法案
Mistral-large 与 Llama3.1 405b 在创意写作中的比较 – 意见?
[2024年8月] Hugging Face Hub 上目前最好的编码模型是什么？
sus-column-r 在 lmsys 上是 Grok
昨日报告的llama.cpp中RPC服务器的新关键安全漏洞
Command R+ 仍然是史上最佳，以及为什么我们需要非对齐模型
基于大部分二手消费级硬件构建的5x RTX 3090 GPU机架
我通过了gemma 2 2b给我的智商测试。但那真的很艰难。
运行你自己的网络代理：Agent Q 论文展示 LLMs 可以学会浏览网站
Project Alice - 一个用于代理工作流程的开源框架
2x RTX 3090 + Threadripper 3970X + 256GB RAM LLM推理基准测试
[微软研究] 相互推理使小型LLM成为更强大的问题解决者。‘rStar将GSM8K准确率从12.51%提升至63.91%（LLaMA2-7B），从36.46%提升至81.88%（Mistral-7B），从74.53%提升至91.13%（LLaMA3-8B-Instruct）’
我创建了一个带有AI调酒师的3D酒吧，可以在网页上使用，我应该制作一个本地/自托管版本吗？
新发布：THUDM的LongWriter-glm4-9b与LongWriter-llama3.1-8b
轻量级Python库，用于使用LLMs进行网页抓取
目前最好的RP模型和从llama 3.1或mistral nemo微调是什么？
我们在HuggingFace上发布了InternLM2.5新模型，包括1.8B和20B版本。
新论文: “人工智能科学家” - 迈向全自动开放式科学发现
如果有人给你一个免费的16x A100实例，你会做什么？
Update: Overclocked 3060 12gb x 4 | Running Llama-3.1-70B-Instruct-AWQ-INT4 ( 20 Tokens/s with Context Size 24k ) vllm
Llama-3.1 70B 4-bit HQQ/校准量化模型：在lm-eval基准测试中相对于FP16的性能超过99%，且推理速度与FP16相似（A100中每秒10个令牌）。
来自TII（技术创新研究所TII - 阿联酋）的Falcon Mamba 7B
为什么再也没有SPPO LLMs了？SPPO方法不是开源的吗？
有哪些新的最先进的本地视觉模型实际上拥有被Llama.cpp支持的GGUFs？
中国人制造了48GB的4090D和32GB的4080 Super
openbmb/MiniCPM-Llama3-V-2_5 在 llama.cpp 中的支持
在安卓手机上使用2.5 GB内存运行Llama-3.1-8b-Instruct
PSA: NVLink boosts training performance by A LOT
在仅8GB GPU上运行Brutal Llama 8B + RAG + 24k上下文的方法
关于新记忆模块的任何想法？（用于角色扮演和其他目的）
Meta刚刚在HF上发布了新的Llama 3.1 405B
在与本地模型交谈时，你如何保存、组织、分享你的聊天记录？
新模型 - 无审查版Llama 3.1 8B Lexi
你的AI，无处不在 – 从助手到伴侣：如何将你的个性化AI随身携带
鼓手Theia 21B v1 - 一个增强版的NeMo曲目，具有强化的人际关系和讲故事能力。来自…好吧，你知道剩下的。
Snapchat的MyAI由GPT4驱动+泄露的系统提示
ProLLM更新 | 新现实世界基准：编码、实体提取、函数调用、SQL查询消歧和StackUnseen
公告–即将支持 (8B参数) MiniCPM-V-2.5 @llama.cpp。文本、图像和视频聊天
从零开始实现LLaMA 3.1 8B的功能调用，一些挑战与反馈！
LMSYS上新的sus-column-r模型。它简直搞砸了
CodexGraph. 使用知识图谱的编码代理似乎优于基于RAG的代理
谷歌大幅削减Gemini Flash价格以应对GPT-4o mini
改进的文本转语音模型：Hugging Face 的 Parler TTS v1
向量股票市场机器人：一个跨平台、本地、开源的代理，使用LLama3.1-8B-instruct分析一篮子股票代码，并每天自动买入或卖出每个股票代码，无限期地，有效地以无人值守的方式重新平衡您的投资组合。
Qwen2-Math | 基于Qwen2的数学特定模型系列
本地Llama405b与claude sonnet 3.5一样好吗？
AI独角兽Hugging Face收购一家初创公司，最终将托管数亿模型 | 福布斯
[播客] 高盛CIO谈银行如何实际运用AI（开源模型部分从25:00开始）
LMSYS Arena: Mistral Nemo 在哪里？
Llama 3.1 指令 - 12.2B 扩展版。
Llama CPP 取消了微调支持，你现在用什么？
DecentAI - 在iOS/Android上连接您自己的大型语言模型
Tess-3（Mistral-Large-2-123B）和Trinity-2（Codestral）
实验性llama3-s：一种早期融合的音频与文本多模态模型
LG AI发布Exaone-3.0，一款7.8亿参数的SOTA模型
Llama3.1 405b + Sonnet 3.5 免费使用
骁龙X CPU推理速度快！（Q_4_0_4_8量化）
新的gpt-4o-2024-08-06在aider的代码编辑基准测试中与原始gpt-4o得分相同
auto-md | 工具 | 一键转换文件/压缩包 + GitHub 仓库为 Markdown 文档 (.md)
Gemma 2 9b VS Mistral Nemo 12b? (顶级小型模型?
llama 3.1 内置工具调用 Brave/Wolfram：终于搞定了。我学到了什么：
为工作购买新的苹果笔记本电脑 - 目前没有进行"AI"工作，但对公司来说有兴趣，36GB vs 48GB vs 96GB统一内存的机会有什么重大变化吗？
Llama3.1 405B quants 现已加入 Ollama 库
是否可以模仿ChatGPT的记忆和自定义指令功能？
Altman威胁OpenAI前员工，若出现负面公关则取消其股份。这是开玩笑吗？
DeepSeek API 引入磁盘上下文缓存，输入令牌价格降至十分之一
马克西姆·拉博恩：BigLlama-3.1-1T-Instruct（使用Meta-Llama-3.1-405B-Instruct进行实验性自我合并，由Arcee.AI的mergekit创建）
将123B Mistral-Large-Instruct-2407量化至35GB，仅损失4%的准确率。
开源Text2Video生成技术来了！ChatGLM的创造者刚刚开源了CogVideo。
使用nvidia-pstated实现P40自动电源管理
淋浴时的想法：如果我们制作Magnum 32b & 12b的V2版本会怎样？（剧透：我们做了！）
OpenAI 联合创始人舒尔曼和布罗克曼退居幕后。舒尔曼将离开加入Anthropic。
Gemini 1.5 Pro Experimental 0801 对于一个闭源模型来说出奇地未经审查
关于仅使用CPU（双通道DDR5 96GB）推理设置的问题：预算应优先考虑内存速度还是CPU核心/速度？
Sam “Spook” 会吓到 Uncle Sam 以关闭 Llama 4 吗？
我们正在制作一款游戏，其中LLM驱动法术和世界生成
LLAMA 3.1 8B 驱动 - 每日现代报纸 - 无偏见 & 专注于事实
Flux的架构图 :)
没有找到相关论文，所以快速浏览了他们的代码。可能有助于理解当前的Diffusion架构
也许是个愚蠢的问题：是先放置文本输入再提问，还是反过来更好？
介绍 Wavify：设备上的语音处理超越 whisper.cpp
首次有组织同时成为Hugging Face上#1和#2的热门模型和空间（FLUX）（来自Clément Delangue在X上的分享）
27-35B vs 70-72B模型在RP中的比较
据报道，英伟达推迟下一代Blackwell AI芯片；对行业有重大影响
在使用Llama-3.1 70B处理长上下文（8000+个标记）时，llama.cpp服务器在响应第一个标记之前需要26秒来处理上下文。而TabbyAPI/exllamav2则是即时的。这是我的问题，llama.cpp的问题，都不是，两者都有点，还是完全其他原因？
有没有像Claude Artifacts这样可以在本地运行的工具？
你认为ElevenLabs在幕后做了什么让它如此出色？
深入理解过拟合，为何它在未来是好的且重要的？Llama 3 70B性能解析！
voicechat2 - 一个使用WebSockets的开源、快速、完全本地的AI语音聊天
鉴于这个领域发展如此迅速，你认为两年后LLM会发展到什么程度？
也许是个愚蠢的问题，但有人能让模型“固定”认为它是金门大桥或其他什么地方吗？还是只有专家才能做到这一点？
我一直在使用新的Gemini Pro 1.5 - exp - 0801..来编写代码。它太棒了。免费200万令牌也很棒！！！爱它
对于Gemma-2-2b，您可以将Windows上下文扩展到32K+
我在免费的OCI ARM虚拟机上以仅CPU模式运行Gemma2 2b，并配备了24GB内存，效果让我印象深刻
AutoGGUF: 一个（自动化）的GGUF模型量化图形界面
Gemmasutra Mini 2B v1 by TheDrummer - 7B以下最佳模型！一个蕴含不可思议力量的模型。
增强角色扮演（及其他过程）与LLMs的简单（愚蠢）技巧，尤其是像7-12B这样的小型模型
评价我的新不稳定设置 + 拥有96GB内存和96GB显存可以如何自动化业务？
是否有现成的AI代理产品/操作系统项目可以生成代码并执行它？
尝试这些设置以延长（或甚至缩短）LLama 3.1的上下文大小。（特别是对于RP）
来自infly-ai的新34B预训练模型。在3.5T令牌（中英文混合）上训练，声称性能与Yi-1.5-34B和Qwen-1.5-32B相似。
不在乎一个项目发布吗？无论如何都要进入帖子，帮助解决每个开源开发者都面临的问题
在家用服务器上运行Llama 3 70b的硬件要求
本周没有大型模型发布（除了FLUX-1，Gemini 1.5 0801）。接下来几周的管道情况如何？
ParLlama v0.3.4 刚刚发布。核心代码重大重写，带来速度提升和错误修复。新增自定义提示管理库。
有人尝试过使用字符级别的“分词器”训练大型语言模型吗？
运行本地LLM的软件痛苦终于让我受不了了——所以我做了一个自己的推理服务器，你不需要在新模型/分词器发布时进行编译或更新；你不需要量化甚至下载你的LLM——只需给它一个名字，并在它们发布在HuggingFace上的那一刻运行LLM
当Llama 3.1 8b的128k上下文长度被填满时，会使用多少内存？
为什么没有70B版本的bitnet 1.58b模型？
Koboldcpp 感谢帖（AMD 上的图像生成）
Phi3 mini 上下文占用过多内存，为什么要使用它？
aiOla 发布超快速‘多头’语音识别模型，超越 OpenAI Whisper
Gemma2 2B IT is the most impressive small model I ever seen.
我有一台配备128GB显存的MBP。你会用它来起草、修订等非小说/商业文档吗？
愚蠢的问题：是否可以在Blender文档上训练一个LLM？
如何提高分类任务的速度？我应该放弃Ollama和LlamaIndex吗？
AI代理现在可以无缝地通过编排歌词、音乐创作、故事板、图像生成、图像到视频转换以及整体视频制作来创建音乐视频。
我有一整台NVIDIA DGX A100可供使用，我应该运行哪些基准测试？
Vector Companion - 您的100%本地、私有多模态AI伴侣，分为两个代理：Axiom和Axis，一个语音到语音框架，您的机器人可以查看图像/文本，监听计算机音频并直接与您（以及彼此）实时交谈，无限期！
LLM-speed-benchmark，一个易于使用的工具，通过API直接测量模型的性能
LMSYS 聊天机器人竞技场编码评分与API成本（2024-08-01）
Gemma2-2B 在 iOS、Android、WebGPU、CUDA、ROCm、Metal… 上使用单一框架
微软推出Hugging Face的竞争对手（等待名单注册）
gemini-1.5-pro-exp-0801 刚刚抵达聊天竞技场
介绍sqlite-vec v0.1.0：一个在任何地方运行的向量搜索SQLite扩展
在OpenRouter上，Llama 3 405B的非量化模型提供商是什么？
是否可以将两台配备RTX 4090的PC"链接"起来，以实现总共48Gb的显存？
fal宣布Flux，一款新的AI图像模型，他们声称其让人联想到Midjourney，并且拥有12B参数的开源权重
“破解了bitnet进行微调，结果得到了一个74mb的文件。在仅使用1个CPU核心的情况下，每秒处理198个令牌，简直是巫术。”
如何在Windows 11上本地构建支持NVIDIA GPU加速的llama.cpp：一个实际可行的简单分步指南
更大的量化是否会使RP使用中的句子变得更糟，或者在可以观察到差异的地方？
小规模OSS贡献者是否在开放权重LLMs领域取得了任何真正的改进或创新？
Llama 3.1: 相同模型，不同结果。百分之一的影响。
PyTorch刚刚发布了他们自己的LLM解决方案 - torchchat
什么是SwiGLU？一个从底层到顶层的全面解释，以及为什么每个新的LLM都使用它
谷歌悄悄发布了一个稀疏自动编码器来解释Gemma 2和9b。这是他们整理的一个谷歌Colab，帮助你入门。非常令人兴奋，希望Meta也能效仿这一做法！
Llama 3.0-3.1 还是 Nemo 12B 用于故事写作/RP？
谷歌的Gemma-2-2B与微软的Phi-3：医疗领域小型语言模型的比较分析
制作了一个小巧但速度极快的工具，可以在几秒钟内编辑、处理和清理数千个文本
哇，SambaNova在他们ASIC硬件上让llama 405B达到了每秒超过100个令牌，而且你无需注册或任何手续就能使用。
有趣的比较：Gemma2 9b-q8_0 vs 27b-q2_K
MN-12B-Celeste-V1.9 - 最大一致性，最小混乱
RTX3090 功耗调整结果：LLM、视觉、TTS 和扩散模型
Gemma-2 2b 4位 GGUF / BnB 量化 + 支持Flash Attention的2倍快速微调！
谷歌刚刚推出了3款新的Gemma产品（Gemma 2 2B、ShieldGemma和Gemma Scope）
寻找一个使用Ollama模型进行函数调用的简单实用示例。
我可以在i7 12核和32GB内存的电脑上运行Mistral 8x7 of 24b吗？
Llama-3.1 8B 4-bit HQQ/校准量化模型：相对性能达到FP16的99.3%，推理速度极快
xAI 可以轻松训练一个大型 Mamba 和 bitnet
为什么Q4似乎始终能超越包括Q8在内的所有其他量化?
Mistral Large 123b 可能被修剪至 74b - 有人在进行这项工作吗？
多GPU内存溢出系统中CPU、RAM和PCIe带宽对推理的关系
关于AMD和Intel CPU运行LLM的快速问题
Lmsys发布Gpt4o-mini对战 - 获胜的Claude 3.5十四行诗
又一个可尝试的长上下文语言模型：MegaBeam-Mistral-7B-512k
这是在M2 Ultra上运行Llama 3.1 405B 4bit的样子
Python 在不使用 Docker 的情况下调用本地 llama
基准测试大型语言模型作为休闲卡牌游戏AI（玩《王国建设者》）
你们在本地RAG中使用的是哪个小于12B的小模型？
Zamba2-2.7B > 超越Phi2 2.7B、Danube3 4B和StableLM 3B
LoRA微调有时是否不如对较小模型进行全面微调有效？
Llama 400和70在英语排行榜上位列第一和第二
Lllama 3在聊天机器人竞技场排名第三；70B排名第九
我编写了一个羊驼聊天机器人来索引我的电子书并提供战锤游戏技巧，现在它已开源。
你需要足够的VRAM来容纳整个FP16模型以便进行量化吗？
请哪位能解释一下3.1llama模型的命名规则吗？
Redcache是一个用于提升大型语言模型内存的Python包 - 免费且开源。
新论文：“元奖励语言模型” - 无需人类反馈的自我改进AI
让我们测试模型的阅读理解能力，而不是大海捞针测试！
[新手求助] 有没有办法提高Llama3.1在对话中的注意力？
如果Meta开源他们的图像模型会怎样？影响可能会非常大！
要让AI/LLM玩我的RPG Maker项目并从中获得平衡建议有多难？
NVIDIA NIM现对开发者计划成员免费开放 | NVIDIA技术博客
本地LLM安全：在聊天中对本地模型进行去审查是一个技能问题
Llama 3.1现在是最擅长编写Wolfram代码的 | Wolfram LLM基准测试项目
为Meta下一款大型语言模型投票，你希望看到什么样的？
Codestral Mamba 对 llama.cpp (Ollama) 的支持有新消息吗？
您期待当前/即将推出的框架有哪些功能？您遇到了哪些持续的困扰？
你好Mistral团队，你们能开源你们过时的模型吗？
我一直在Llama 3.1 8B中遇到这个错误：“llama.cpp错误：“done_getting_tensors: 张量数量错误；预期292，得到291””
Mistral NeMo 对比 Llama3.1 8B
Llama 3.1在GPU实例上进行推理的最快路径是什么？
如何让llama 3.1在编码中变得有用，而不需要100层抽象？
llama.cpp - 这么多选项！你最喜欢哪些？
本地大型语言模型经常反复重复“请告诉我这是否符合您的要求”这样的句子
Mixtral Large 在 OpenFoam 中帮助我进行流体模拟，附带精彩视频
Mistral 12B Celeste V1.6 - 最大连贯性，最小混乱！
语言模型在4块GeForce 4060 Ti上运行非常慢（3.7 t/s），在6块GeForce 4060 Ti上速度同样缓慢…为什么？
新ZebraLogicBench评估工具+Mistral大型性能结果
mamba-codestral-7B-v0.1 使用体验分享？
Gemmasutra Pro 27B v1 🧘 一款中档RP模型，湿润效果出众。来自CreamPhi、Moistral、Llama 3SOME、Smegmma和Tiger的创造者！
“阅读” / “记录” / “捕捉” 实际LLM推理过程的最高层次，但要有足够细节使其真正有效？
如何了解不同大型语言模型（LLM）的硬件需求和性能评估？
目前最佳的多模态大型语言模型（最高可达100亿参数）用于视觉问答？
带有负载均衡器的Llama.cpp比阿芙罗狄蒂更快？？
Lite-Oute-1: 新300M和65M参数模型，提供指导版和基础版两种版本。
杰玛2 27B iq2能否击败羊驼3.1 8b q8？
如何充分利用Ollama的工具支持？除了它之外，您还使用了哪些库来提供现成的工具？简化工具生成必须具备哪些要素（例如从文档字符串或类似内容生成函数调用JSON）？
LLM新手：代码和工具模型；无需开发经验就能达到生产水平吗？
推断一个缩小规模的模型让我遇到了“列表索引超出范围”
NPUs会取代GPU成为本地大型语言模型的首选吗？
给大家的小礼物：一个易于使用的离线API，提供完整的维基百科文章。启动它，向端点发送查询/提示，获取匹配的完整维基文章进行RAG。
L3.1 8B Celeste V1.5 - 人类散文LLM的新时代，摆脱了草率之作
大型语言模型在消费级CPU和RAM上的运行速度如何？
Llama 3.1 405b在zebraLogic推理中排名第二！
[llama 3 8b] llama 3b在日常基本决策中的表现如何？
尝试在4090和GV100之间选择，用于同时处理基于文本和图像生成的项目，你有什么建议？
我正在进行的项目是一个单文件（现已超过1400行）的.py聊天应用程序，旨在尽可能多地集成与本地模型等聊天的功能。我刚刚添加了简易的RAG支持。请告诉我您的想法。
使用Mistral Large 2进行推测性解码 - 有哪些草稿模型可以尝试？
Llama 3.1 70B 发现食谱中缺少一种食材。
并排比较：Llama 405B 对比 GPT-4o Mini 对比 Claude 3.5 Sonnet 对比 Mistral Large 2
有人想测试我在Ollama中启用量化K/V缓存的PR吗？
GPT-*似乎完全无法重写含有语法错误和拼写错误的文本。而LlaMa-3.1-70B却能完美地做到这一点。
需要帮助：在大数据集（10万+文档）中按主题分类文档的最佳方法
请求：模型创建者/微调者 - 请提及您模型的上下文大小。
从哪个提供商可以获取最纯净版本的Llama3.1 405B？多模态版本（能读取图像）何时推出？
llama.cpp: 支持 llama 3.1 rope 缩放因子合并
Llama3.1指令模型仍有新提交 - 修复了工具调用问题
LLMs真的能从零开始构建生产就绪的应用程序吗？讨论
本地DeepSeeK-V2推理：预填充每秒120次，解码每秒14次，仅使用21GB 4090和136GB DRAM，基于Transformer技术
Mistral Nemo 在 128K 的秘密：使用基础模型
LibreOffice Writer 本地推理AI扩展。
Mistral Large 2 能够零样本解码Base64
Llama 3.1 模型是“虚假蒸馏” - 这应该公开澄清
Mistral Nemo 12B Instruct 是eRP的杀手锏 - 故事讲述
为什么GPT-4o mini在LMSys上胜过Claude 3.5 Sonnet
Gemma 9b 可以原生解码 Base64。我尝试过的下一个最小能做这个的模型是 Llama-3 70b。Llama-3.1-8b 不能。
SpaceLlama3.1：专为空间推理设计的VLM
为什么大型AI模型的低量化版本比小型8B模型更少失去其智能？
直到Llama-3.1模型在GGUF中的RoPE缩放问题解决之前，只需使用这个频率（已测试至80K）
GPT-4o mini 对比 Llama 3.1 405 B 对比 Mistral Large 2 对比 Claude Sonnet 3.5
来自Philipp Schmid在X上的帖子：Hugging Face Hub每天处理超过6PB的数据和近10亿次请求
有人拥有128GB内存的MacBook吗？在您的系统上运行Llama 70B有多快？
我制作了一个使用本地LLama3.1-8b（不调用OpenAI或Claude）的AI驱动编辑器，可以在浏览器中使用！快来看看吧：https://editor.yyjhao.com
在48 GB显存上运行Mistral大型（123b）
常规用户使用LLAMA 3.1（4050亿参数）的实际挑战：（OpenAI ChatGPT用户）
四张RTX3060与两张RTX3090与一张RTX4090的推理测试对比
警告：托管的Llama 3.1质量可能因提供商而异
我创建了一个网站（wiz.chat），可以在你的浏览器中运行Llama-3SOME-8B
Tele-FLM-1T：一个万亿参数的开源多语言大型语言模型。
Llama 3.1现已面向家庭AI集群开放！全新分布式Llama版本，在家即可运行量化版3.1 8B，全上下文（131k令牌）支持
闭源与开源模型对比——Maxime Labonne
使用Llama 3.1、新DeepSeek Coder与Mistral Large进行编程
[llama.cpp] Android用户现在得益于改进的arm64支持，实现更快的提示处理。
Mistral-large-2407 LiveBench 分数与排名更新
介绍InternLM-Step-Prover：MiniF2F、Proofnet和Putnam基准测试中的最新数学证明器。
DeepSeek-Coder-V2-0724今日发布，在助手排行榜中位列第二
405B Q3_K_M 在 AM5 7950x + 192gb CL30 6000 + 4080 适度游戏电脑上运行，0.34tps
Llama 3.1 405B Q5_K_M 在 AMD Epyc 9374F 上的实时性能表现
Llama-3.1 本地浏览器内推理，无需设置（WebGPU 加速）
运行Llama 3.1，现已支持正确的RoPE，现场量化，与mistral.rs结合！
Llama 405B Q4_K_M 量化模型在本地以约1.2个令牌/秒的速度运行（多GPU配置+大量CPU内存）
Mistral-Large-Instruct-2407
MistralAI/Mistral-Large-Instruct-2407 · Hugging Face. 新开源123B模型在代码基准测试中超越Llama 3.1 405B
“足够大” | 宣布Mistral Large 2
Llamacpp + WebUI 自动模型切换功能
我为代码仓库实现了RAG，以提供新代码生成的上下文。以下是在仅有16GB内存和约5k上下文窗口的Apple M1 Pro机器上，Llama-3.1-8B量化版本的表现。
LLaMA 3.1在SIMPLE基准测试中击败了Gemini 1.5 Pro和GPT4o，但Claude 3.5仍居首位。
多模态Llama 3在欧盟不可用，我们得感谢这个人。
Anthropic Claude 可以随时屏蔽你。
llama 400b在实时排行榜上位列第三。@企业用户，这对OpenAI的商业模式意味着什么？