DeepSeek V3在LiveBench上的基准测试结果
DeepSeek V3模型在Huggingface上的模型卡
DeepSeek V3模型现身Hugging Face平台
Test - Time Compute模型是否使M系列Mac不再适合运行大型语言模型
使用Llama3.3驱动的AI代理查询pyppeteer仓库的两个近期问题
Qwen的QVQ 72B放弃Apache 2.0许可
AMD MI60与vLLM助力Llama3.3 70B达20 tokens/s
Gemini Flash 2.0实际体验及与其他开源模型对比
OpenAI员工称o3与o1采用相同范式且进展迅速
Qwen/QVQ - 72B - Preview模型在Hugging Face平台
12GB 3080上的混元FP8可在10分钟内生成移动端质量的GIF
可直接在Ollama中运行来自Hugging Face Hub的私有GGUF
Layla支持手机运行大语言模型时通过Stable Diffusion生成图像
llama.cpp支持Llama-3_1-Nemotron-51B
MI300X、H100、H200训练基准测试：CUDA仍具优势（上）
Drummer发布Anubis 70B v1：基于Llama 3.3 RP微调
谷歌DeepMind推理团队负责人Denny Zhou的三条X动态
英伟达Jetson Orin Nano Super试用
根据LLM密集化规律，2025年10月或将出现8B参数的类GPT - 4o大模型
部分大语言模型OCR能力为何强于专用OCR解决方案
Llama 3.3 70B指令版删减版（去审查）发布
对o1 - pro和o3的看法：暴力破解而非创新？
语音转语音模型比级联模型更笨 - 人工分析的新推理基准
RWKV - 7 0.1B (L12 - D768)经ctx4k训练可解决NIAH 16k问题，外推至32k +，100% RNN（无注意力机制），支持100多种语言和代码
Koboldcpp v1.80发布，支持Qwen2 - VL
Qwen QVQ - 72B - Preview即将发布
MaxSun Arc B580 GPU带双SSD插槽亮相
红帽宣布达成收购Neural Magic(vLLM)的最终协议
自制wut——解释上一命令输出的CLI（适用于ollama）
谷歌AI工作室免费推出Gemini 2.0闪思实验版
Acer RTX 5090/5080游戏电脑预售价曝光
LibreChat体验如何？（代码执行、网页搜索等）
Slim - Llama：低功耗处理30亿参数的LLM ASIC处理器
创世纪项目：由物理模拟平台驱动的生成物理引擎，可生成4D动态世界
Intel Arc B580上ComfyUI安装指南与示例基准测试
近期模型在聊天机器人竞技场的更新（Qwq、Qwen 2.5 Coder、Nova、Llama 3.3）
使用QwQ作为对话思考者时意外模拟出尴尬的过度思考
Moonshine Web：比Whisper更快更准的实时浏览器语音识别
Granite 3.1语言模型：128k上下文长度与Apache 2.0协议
AI创意竞技场：看大型语言模型在诗歌、ASCII艺术等方面一较高下
Jetson Orin Nano Super用于家庭设置是否合理
Hugging Face研究人员用搜索使30亿参数Llama超越70亿参数版本
MyDeviceAI：可在iPhone本地运行Llama 3.2的应用已上架AppStore
Click3：一款利用大语言模型自动化安卓使用的工具
OpenAI长期让Sonnet 3.5成为市场最佳模型的原因推测
发现一个超棒的可与本地模型协同工作的Perplexity AI克隆版
MLX - 4bit与GGUF - q4_K_M性能对比之MMLU Pro测试
本地LLM的Godot游戏引擎插件NobodyWho
谷歌Veo 2生成视频惊艳，Veo与Imagen新版本发布
RTX 3090调整功率限制时llama.cpp中的相对性能
Llama 3.3在代码辅助方面优于Mistral - Large - 2411
索泰确认推出32GB GDDR7显存的GeForce RTX 5090，5080和5070系列也在列
为苹果硬件分叉HunyuanVideo以本地体验类SORA功能
通过扩展测试时计算，让3B羊驼模型在高难度数学题上超越70B羊驼模型
Hugging Face推出合成数据生成器——自然语言构建数据集的用户界面
Meta发布Apollo大型多模态模型家族，7B版达SOTA且能理解1小时视频可本地运行
微软Markitdown：Python文件与文档转Markdown工具
Teuken - 7B：面向多语言的OpenGPT - X项目成员
Nvidia GeForce RTX 5070 Ti配备16GB GDDR7内存
搭乘12小时航班，128GB M4 Max求2024年12月最佳本地编码模型
Llama.CPP与MLX在不同提示大小下对Llama-3.3-70B的速度测试#2
Meta AI推出无标记器模型字节潜在变换器（BLT）
Gemini实验1206编写的功能完备且美观的Web UI
Pixtral与Qwen2VL即将接入Ollama
Qwen2.5 32B获Apache许可，开源潜力巨大
Ilya在加拿大温哥华NIPS 2024的"序列到序列"演讲
LMArena新WebDev竞技区克劳德3.5十四行诗优势明显
Llama-3.3-70b在2xRTX-3090与M3 - Max 64GB上针对不同提示大小的速度测试
Meta的字节潜在变换器（BLT）论文表现出色，或于2025年取代标记化模型
OmniAudio - 2.6B：世界上用于边缘部署的最快音频语言模型
CohereForAI发布c4ai - command - r7b - 12 - 2024模型
百万美元悬赏首个在无污染SWE - bench中达90%的开源AI
DeepSeek - AI推出DeepSeek - VL2模型
NaturalLM -7B Instruct：自然发声的大语言模型
基于桌面的Gemini 2.0 Flash语音控制
U - MATH新大学级数学基准：Gemini和Qwen表现突出
OpenAI O1与Claude 3.5 Sonnet：20美元谁更超值
Qwen 2.5 72B与Llama 3.3 70B指令模型对比排名
Phi 3.5 mini instruct：被忽视的实用模型
Gemini 2.0 Flash在SWE - Bench上击败Claude Sonnet 3.5
Whisper.cpp是否仍是语音转文本（STT）的王者
谷歌发布Gemini 2.0 Flash，支持原生音频与图像生成
Gemini 2.0 Flash实验版，有人尝试过吗？
Recursal发布两款新线性模型：QRWKV6 - 32B与Finch - MoE - 37B - A11B
8GB VRAM下难寻比gemma - 2 - 9b - it - SimPO更好的大语言模型
PocketPal AI 1.6.0：消息编辑、重新生成与UI增强
Qwen-2.5 Coder 7B可用于QwQ-32B的推测性解码
GRMR 2B Instruct：轻量可靠的语法检查器
Llama 3.1 8B在9种不同RTX GPU上的基准测试（每百万输出令牌0.228美元）
Llama 3.3 (70B)微调 - 现支持90K上下文长度且适配<41GB显存
Huggingface存储限制更新（公开无限制，私有受限）
Qwen/QwQ 32B正确回答时代关键问题，EXAONE 32B和Llama 3.3 70B失败
18分钟内从零创建9个微调模型的工具演示[Kiln AI]
Koboldcpp相较Oobabooga在用户体验上的巨大飞跃
DeepSeek V2.5 - 1210：DeepSeek V2.5最终版本
Hugging Face发布Text Generation Inference TGI v3.0，长提示处理速度比vLLM快13倍
DeepSeek - AI发布DeepSeek - V2.5 - 1210
在Mac Mini M4 Pro上运行Llama 3.2 3B和Llama 3.3 70B模型
InternVL2.5发布（1B至78B），能否取代GPT - 4o？
点赞新的Llama 3.3 Euryale v2.3：48GB讲故事/角色扮演的最佳选择
Github URL中"hub"可替换为"ingest"以提取友好提示文本
LG发布三款新模型EXAONE - 3.5，规模分别为2.4B、7.8B和32B
两大语言模型对话并运行代码（Llama 3.1 8B Instruct + Qwen 2.5 Coder 32B Instruct）
阿里Qwen团队负责人转投字节跳动，Qwen 3.0或无望
Impish_Mind_8B：具有趣味个性的独特8B Llama 3.1模型
Llama 3.3在OpenRouter上比GPT 4o便宜近25倍，是否名副其实？
Google Gemini实验版1206编码能力强，胜过Claude Sonnet
30亿参数模型凭借高质量训练数据能否在特定任务上超越700亿参数模型
用谜题破坏Llama3.3 70B（通过Ollama进行4位量化）
LLama 3.3 70b在网络安全基准测试中接近Qwen2.5但不及405b
Llama成Hugging Face年度最受欢迎模型
Llama 3.3升级显著，与Qwen 2.5编码性能对比
Gemini 1206分数大幅跃升，Llama 3.3 70b近乎与GPT - 4o持平
Llama 3.3在Hugging Face的相关资源发布
LLaMA 3.3 70B性能如何？四大模型对比表
Llama - 3.3 70b在几乎所有基准测试中胜过GPT - 4o、Claude - 3,5 - sonner和Llama - 3.1 405b
Llama 3.3 70B可在HuggingChat免费使用
Llama - 3.3 - 70B - Instruct模型在Hugging Face平台
免费的Hugging Face本地大语言模型偏好对齐课程
Adobe发布DynaSaur代码：可自我编码的智能体
Pleias发布首个完全基于公开数据训练的模型，可与Llama 3B和Qwen 3B竞争
谷歌发布基于Gemma 2的PaliGemma 2视觉语言模型
使用推测解码优化Llama.cpp以实现每秒最大令牌数
武士（SAMURAI）与Meta的SAM 2：视觉追踪新时代？
谷歌NotebookLM三位团队成员离职创立新公司
25个最先进大语言模型的MMLU - Pro CS基准测试对比
FishSpeech v1.5：多语言零样本即时语音克隆，仅5亿参数且低延迟排名TTS - Arena第二
4位量化可能破坏模型 - 动态量化10%FP16 90%4位
notebookLM深度访谈播客：未审查且声音多样
Virtuoso - Small：Arcee.ai新推出的14B大语言模型超越SuperNova - Medius
前实习生破坏字节跳动AI训练面临800万诉讼却获NeurIPS 2024最佳论文
Llama - 3.1 - 8B作为评估器的早期训练结果
Hugging Face CEO对2025年人工智能的预测
修改llama.cpp以支持Llama-3_1-Nemotron-51B
Ollama合并K/V缓存量化支持，上下文内存减半
Llama.cpp漏洞修复！推测解码速度提升30%且上下文长度翻倍
耐力100B v1鼓手模型：精简版米斯特拉尔大型2407 123B且经RP微调
SmolChat：在安卓设备本地运行GGUF SLMs/LLMs
Hugging Face推出本地微调大语言模型免费开源课程
LM Studio终可在NPU（高通骁龙Copilot+ PC）上运行
VLLM支持AMD Radeon GPU运行gguf
AI Linux爱好者使用RTX GPU时可能存在过热无提示情况
Huggingface免费账户存储模型新限额为500Gb
Nous DisTrO更新，宣布新15b模型及DeMo论文
尝试制作可在云端免费使用的无审查版Llama 405b模型
Hugging Face为超25万公共数据集添加Text to SQL功能，由Qwen 2.5 Coder 32B提供支持
AMD GPU与Llama cpp组合时性能显著降低，求原因
OpenAI CEO称开放权重AI模型不好，因DeepSeek和Qwen 2.5？
超强大的Open - WebUI: 我的arXiv、图像生成和AI规划神奇工具包
Apache Tika与Docling文本提取对比
Nemotron 70b与Qwen2.5 72b性能对比
寻找可修正英语语法的模型（类似Grammarly只修正语法功能）
Drummer"s Behemoth 123B v1.2 - 最终版
下一代基于视觉语言模型的OCR实际需求在哪？是否用于RAG？
NVIDIA GPU的FP16性能列表（面向ExllamaV2/EXUI/TabbyAPI用户）
Qwen 2.5 14B：为角色扮演进行无审查微调
3个P40设备运行llama.cpp，推测解码是否加速？
Epyc Turin双CPU系统STREAM TRIAD内存带宽基准值近1TB/s
优化XTTS - v2：10分钟内语音合成《哈利·波特》第一部且仅需约10GB显存
距离优于两块3090的家庭实验室解决方案还有多远？
INTELLECT - 1发布（指令+基础版）：首个协同训练模型
乔治 - AI：一个利用AI轻松实现自然语言控制计算机的API
AtheneV2 72B：Qwen微调版本，专注代码补全、数学和日志提取
使用Docker、Colab和Unsloth在本地16GB显存GPU上构建最便捷的VLM微调环境
Aion-RP-Llama-3.1-8B：全新角色扮演大师
本地微调大型语言模型的最佳方案及16GB可训练内容
GLM - Edge系列：1.5B - 5B，聊天与视觉
Qwen团队实验推理模型QwQ-32B - Preview在HuggingChat免费上线
QwQ思考10000个token后给出的最搞笑笑话
14英寸M4 Max 128GB是否适合123B模型
LLaMA - Mesh本地在Blender中运行
Deepseek新多模态模型Janus可在浏览器本地运行
QwQ - 32B - Preview在farel - bench中的基准测试结果为96.67，优于Claude 3.5 Sonnet，略逊于o1 - preview和o1 - mini
本地运行QwQ - 32B 4位量化模型的误导向注意力评估，它胜过o1 - preview和o1 - mini
Qwen发布QwQ预览版：提升AI推理能力的开放模型
通过搜索扩展小模型：用0.5B微调+奖励模型匹配28倍大模型
使用Qwen2.5 - Coder - 32B - Instruct数日后的评测
Qwen2.5 - Coder - 32B - Instruct - AWQ本地运行及与OptiLLM和Aider的基准测试
欧洲新模型openGPT - X Teuken 7B发布
大语言模型(LLM)发布数量随时间的下降趋势已清晰可见
Sentient发布：本地个人助手，由Llama 3.2 3B驱动
AI时代的信息误导加速——以Reflection-70B为例
MLX LM 0.20.1速度可与llama.cpp相媲美
电脑装有两块7900XTX显卡，电源1000W是否会损坏
首次在本地设备运行Qwen2 - Audio进行语音聊天和音频分析
llama.cpp服务器采用推测解码，速度提升25% - 60%
新型轻量级文本到语音模型OuteTTS - 0.2 - 500M
10000美元预算购置1台AI机器/服务器，求建议
Optillm中的代码链推理在AIME 2024上击败o1 - preview
AI视频合成工具：Qwen2.5 - 32B Coder与FFmpeg助力
基于Qwen 2.5复现Teleut 7B - Tulu 3 SFT
Behemoth系列模型v2.0 - v2.2的新特性与推荐
Qwen2.5 - Coder - 32B - Instruct量化实验
Drummer的Cydonia 22B v1.3与The Behemoth v1.1在22B的神奇之处
Qwen2.5 14b模型（常规版和编码版）是否足以用于实际工作？
Athene V2 Chat在特定任务上接近GPT - 4o和Claude 3.5
16GB显存下22B的Q4km或Q5的选择以及14B的Q4km Qwen2.5是否适合本地Gpt4o mini
SmolLM2 - 135M - Instruct无需GPU即可快速总结网页搜索结果
更新AI研究助手，支持OpenAI端点与Ollama
连接多台电脑至强大LLM站以获取128GB显存的最佳方式
DeepSeek R1 Lite比其他模型更令人印象深刻
英特尔开源大语言模型INTELLECT - 1完成训练
Claude渴望与本地部署的Mistral聊天并克服相关限制
阿里巴巴发布Marco O1，推进人工智能的开放式推理
Deepseek与OpenAI竞争，谷歌在LMSYS排行榜胜过OpenAI
创建v1.3 RPMax模型时发现损坏的标记器需警惕
Marco - o1：迈向开放式解决方案的开放推理模型
使用LM Studio测试MLX模型：推理速度小增但内存大增
Llama 3.2 Vision在Unsloth中可微调，16GB VRAM内且速度快2倍
图卢3——一组拥有完全开放数据、评估代码和训练算法的最先进指令模型
AMD RX7900XTX 24GB与NVIDIA 4070Ti Super 16GB个人使用对比
PocketPal AI集成Hugging Face模型库
三星TinyClick：用于GUI自动化的单轮代理（0.27B，MIT许可）
DeepSeek R1 lite表现惊艳，远超Qwen 2.5 coder
M4 Max以11个令牌/秒运行Qwen 72B Q4 MLX
苹果硅芯片（MLX）上Mistral大模型的新MLX量化版本
DeepSeek AI的R1 - Lite - Preview展现强大实力
CrisperWhisper在开放ASR排行榜中位居第二
寻求拥有64GB内存M4版MacBook Pro的用户帮助
AICI助力实时重写语境、受限生成与回溯KV - 缓存
通过神经细胞自动机（NCA）在大型语言模型（LLM）中实现推理
深源宣布R1 lite，在部分基准测试中胜过o1预览版
求Mistral - Large - 2411新模型基准测试
DeepSeek - R1 - Lite预览版正式发布
评判竞技场排行榜：将大语言模型作为评估器进行基准测试
树莓派上的大语言模型硬件加速（以低成本树莓派为基础计算机搭配高端AMD GPU）
中国AI初创公司StepFun新万亿参数MOE模型在Livebench排名前列
美国会委员会建议国会开展类曼哈顿计划竞赛以达AGI
Nvidia发布LLaMA - Mesh权重，推理代码可用
Mistral发布Pixtral - Large及Mistral - Large更新
ChatGPT搜索功能：比Perplexity更好吗？
LLMs作为评估器的基准测试：Judge Arena
Llama 3.1 405B在Cerebras推理平台上每秒运行969个令牌
流行本地大语言模型EXL2量化的MMLU（4个类别）基准测试
AMD GPU通过Vulkan在树莓派5上支持llama.cpp
Pixtral Large发布：基于Mistral Large 2的视觉模型
Mistral - Large - Instruct - 2411模型在Hugging Face
11月18日Mistral Large 2411和Pixtral Large发布
AMD Ryzen AI 300系列加速消费级LLM应用中的Llama.cpp性能
Qwen2.5 - Turbo将上下文长度扩展到100万 tokens
有人在llama.cpp为Qwen2VL创建拉取请求
Qwen 2.5 Coder 32B与Claude 3.5 Sonnet对比：是我错了吗？
Beepo-22B：基于Mistral Small微调的无审查模型
RAG最佳选择：Olama、LM Studio、AnythingLLM、Openwebui
热门本地大型语言模型EXL2量化的HumanEval基准测试（涵盖2.5到8.0 bpw）
Mistral AI发布Mistral Large 3和Pixtral Large（目前似乎仅API可用）
Nvidia推出LLaMA - Mesh：用Llama 3.1 8B生成3D网格，即将发布权重
构建用于Aya - Expanse - 8B推理的迷你PC - 寻求建议！
Codai：终端中的AI代码助手可理解完整项目上下文
Gemini-exp-1114在LiveBench上胜过GPT-4o，不敌sonnet和o1
OpenAI、谷歌和Anthropic构建更先进AI遇阻
Gemma和Phi模型更新久未发布，3代和4代何时到来
3090、4080super与A6000硬件选择对比
中国公司仅用2000个GPU训练GPT - 4竞品
技嘉推出AMD Radeon PRO W7800 AI TOP 48G显卡
Qwen 2.5 7B在Livebench中超越Mixtral 8x22B和Claude 3 Haiku
Omnivision - 968M：适用于边缘设备的视觉语言模型，标记减少9倍
用Python编写可本地运行的语音自动回复未读邮件程序
Qwen2.5 - Coder - 32B推理VRAM计算待确认
Nexusflow发布Athene - V2 - Chat和Athene - V2 - Agent
Gemini Exp 1114在Chatbot Arena排名并列第一
Claude 3.5惊现用户姓氏 - 隐私怪异现象
ollama llama3.2 - vision:11b无图像时比llama3.1:8b慢20倍
Qwen 32B Coder与72B在最新力扣题目的对比
在RTX 3050 Ti (4GB)的PyCharm中本地运行Qwen2.5 - Coder - 1.5B进行实时代码补全
是否有人对qwen2.5 - coder:32b进行过量化比较？
LLM模型的重复性与创造性及基于Qwen2.5 32B的ArliAI RPMax v1.3模型简述
Aider Composer：实现Aider与VSCode无缝集成
Qwen2.5-coder-32b-instruct的语言提示结果差异
Qwen2.5 Coder创作的《贪吃蛇》手机游戏及开放网页界面成果
CS毕业生都以为自己的“AI”是下一个独角兽，我受不了了
如何顺利使用Qwen2.5 - Coder - Instruct
Qwen 2.5 Coder与128K上下文窗口GGUFs的漏洞修复
NousResearch推出Forge Reasoning API测试版和NousChat
用Qwen2.5 - Coder 32b编写基本的chip8模拟器
Qwen 2.5 Coder 14b在技术报告的多个基准测试中逊于7b - 奇怪！
Qwen 2.5 32B Coder处理Cline提示不佳，易产生幻觉
在Qwen2.5 - Coder:32b - Instruct - Q8_0上尝试此提示
FastAPI - BitNet项目：通过FastAPI、Uvicorn和Docker运行微软BitNet
Qwen-2.5-Coder 32B：革新编码的AI
Qwen 2.5 Coder 32B可在HuggingChat免费使用
原GPT - 4能答对的测试提示，Qwen - Coder - 32B也能答对
在Macbook M4 Max上测试Qwen Coder 2.5 32b q8和q2_k的初步结果
qwen - 2.5 - coder 32B使用3xP40和3090的基准测试
Qwen/Qwen2.5 - Coder - 32B - Instruct模型于Hugging Face发布
使用4台M4 Pro Mac Minis与雷电5（80Gbps）互联分布大型语言模型
具有隐私功能的个人NotebookLM和类Perplexity的AI助手
Ichigo-llama3.1 v0.4：MMLU得分64.66，多轮对话追踪更佳并拒非语音输入
A100 32G SXM2计算卡用于Windows本地LLM
MIT团队利用8B大语言模型结合测试时训练在ARC - AGI - PUB上得分达61.9%
1TB内存能否满足DeepSeek v2.5 fp8最大上下文长度运行需求
Claude AI将通过与Palantir的新协议处理政府机密数据
轻量级开源大语言模型用于自定义模式的文本到JSON转换
利用Florence - 2与Llama 3.2 Vision构建高级图像字幕应用[开源]
有比Llama更适合电脑小白的离线/本地大语言模型吗（通过Ollama安装时）
API探索后意识到ChatGPT和Claude记忆功能的价值
构建一个支持多用户、有API且可用于其他自托管服务的Ollama支持的自托管Perplexity克隆版，还有哪些需要考虑的？
48GB M4 Macbook Pro可运行的最大模型及速度
Qwen2.5.1 Coder 7B在Aider排行榜上得分63.9%
构建通用人工智能(AGI)之二：解决强化学习问题的思路
新基准FrontierMath公布，LLM最高得分2%
Qwen2.5 - Coder将推出0.5B、3B、14B和32B版本
OpenCoder：性能媲美顶级代码语言模型的开源可复现代码语言模型家族
发布Vector Companion后进行重大性能更新
4090 SUPRIM X、M4 Max 40核GPU与128GB内存组合
Geekerwan使用Ollama在新M4 Pro和M4 Max芯片上对Qwen2.5 7B至72B进行基准测试
Chinchilla缩放定律与近期LLM改进存在矛盾
Meta新模型fractal_alpha体验与初步测评
基于大语言模型、检索增强生成（及代理？）的《龙与地下城》互动世界构建应用征求意见：请评判我的图表和想法？是否已有类似产品？
分析12个基准测试，为不同用例找到合适规模的大语言模型
Qwen 2.5 Coder 7B与1.5B Instruct模型权重更新
发布两周后，旧版Sonnet 3.5在LiveCodeBench上仍胜过新版Sonnet
AMD Threadripper 3600与256GB内存运行本地大语言模型的可行性
RTX 3060 12GB可运行的最佳成人角色扮演模型
微软悄然发布用于解决复杂任务的开源多智能体系统Magentic - One及AutogenBench
Qwen 2.5登上官方LiveCodeBench排行榜
200美元单板计算机运行3B模型，每秒约10+个token，可做什么？
8B VLM在130美元RK3588单板计算机上运行，NPU加速 - 4个令牌/秒，6.5秒延迟（MiniCPM - V 2.6）
基于LLaMa架构的零样本语音克隆OuteTTS - 0.1 - 350M，CC - BY许可
Qwen2.5 - Coder - 32B的发布进度
RTX 3090与Threadripper 3970X及256GB内存的LLM推理基准测试
成功购买更多内存后运行Llama 3.1 405B
用Llama 3.2 3B模型意外构建终端命令伙伴
Hertz - Dev：单RTX 4090上理论80ms、实际120ms延迟的85亿参数开源音频对话AI模型
英伟达发布涉及2亿Linux和Windows游戏玩家的安全警告
英特尔Arrow Lake可支持4个DIMM，速度最高达6400
Llama 3.2 90b - vision去向成谜
推出语义集成层级联（CaSIL）：一个过度设计却有效的思维/推理算法
苹果M4 Max芯片：高达546GB/s的内存带宽
llama.cpp在不同设备/后端下的计算与内存带宽效率
使用Flux Fast快速创建近实时图像生成应用（代码少于50行）
Hugging Face发布SmolLM v2，含不同规模版本
Ollama新漏洞：更多模型，更多概率语言模型风险
Meta发布MobileLLM系列模型（125M、350M、600M、1B）
Llama 4模型将于2025年初推出，将在超10万个H100集群上训练且具备新特性
对SuperNova - Medius - GGUF的看法
Starcannon - Unleashed - 12B - v1.0问世：融合两大模型的成果
MacBook Pro M4 Max：内存带宽高达526GB/s
构建本地替代OpenAI API的Cortex之旅
自制可访问谷歌邮箱、日历和任务的个人助手来管理时间克服ADHD
OpenAI将于2026年开始使用AMD芯片并可能自制AI硬件
谷歌新研究：松弛递归变换器，通过跨层共享参数在最小性能损失下缩小现有大语言模型
Meta发布Layer Skip：端到端LLM加速解决方案
开发可在iOS、macOS和visionOS运行MLX模型的应用
Mac Mini性价比凸显：比5090便宜且VRAM近翻倍
Stable Diffusion 3.5 Medium发布于Hugging Face
MacOS 15.1中的Apple Intelligence提示模板
三个增强版的Llama 3.2模型，每个7B用于创意用途且无审查
中美顶尖大语言模型间隔仅5个月，中国排名第一且世界第六的模型仅用2000个H100训练即达SOTA
Mistral.rs v0.3.2金属性能提升26%并推出PyPI安装包
开源Promptwright：用本地LLM生成大型合成数据集
M1 - 3 Max运行20 - 32B模型的处理和生成速度
在本地低端RTX3000 GPU上运行Llama的最佳方式
哪些开源模型可与gpt - 4o - mini相媲美
测试1B/3B小语言模型在本地RAG中的能力及收获
Mistral - Nemo 12b编码优势下的竞品探寻
视觉标记器：助力大型语言模型在网页创建自动化的扩展工具
glm - 4 - voice - 9b可在12GB GPU上运行
推理引擎之战：Llama.cpp、MLC LLM与vLLM的对比测试
Ollama已推出llama3.2 - vision测试版
Cohere发布Aya Expanse多语言AI模型家族
微软悄然发布OmniParser：视觉代理截图转结构化元素工具
新型金融领域模型Hawkish 8B通过CFA一级且在数学和金融基准测试中胜过Meta Llama - 3.1 - 8B - Instruct
Tinybox Pro (8 x RTX 4090)内部一瞥
Drummer发布123B v1.1的Behemoth和22B v1.2的Cydonia创意版
两款10B新模型：作家“J.古登堡”与作家 - “不羁之笔”（无审查）
Llama 405B在Nvidia H200 SXM上可达142 tok/s
Mistral发布Pixtral基础模型：Pixtral - 12B - Base - 2409
Drummer"s Nautilus 70B v0.1：L3.1 Nemotron 70B的RP微调版本
G.Skill新款DDR5 - 9600 CUDIMM内存条风冷可达DDR5 - 10000速度
智谱AI发布开源端到端语音大模型GLM - 4 - Voice
Cerebras推理速度提升3倍：Llama3.1 - 70B每秒突破2100个token
xMAD推出市场上最佳量化Llama3.1-405B和8B模型
Prime Intellect AI本月推出INTELLECT - 1：开创性的100亿参数民主AI语言模型
VSCode结合Cline、VLLM与Qwen2.5实现快速运行
笔记本上搭载2个64GB VRAM的MI60？雷电4多eGPU！
ChatterUI v0.8.0发布 - 现支持外部模型加载
使用4块RTX 3090对MLC LLM和Mistral Large Instruct 2407 q4f16_1进行功率缩放测试（150 - 350瓦）
扎克伯格：发布量化版Llama 1B和3B设备模型
CohereForAI发布aya - expanse - 32b模型
推出Arch - 用于快速且可观测的智能体应用的开源智能中间件
Claude 3.5 Sonnet在SimpleBench得分提升
Aider：在24GB VRAM下优化性能（持续微调）
Qwen 32B全面微调用于角色扮演/故事创作：EVA
发布免费竞品VisioPilot，可本地运行LLM
Claude Sonnet 3.5登顶Aider排行榜，大幅领先对手
Anthropic博客：Claude在编码演示中突然暂停查看黄石公园照片
推出Fast Apply - 复现Cursor的即时应用模型
Hugging Face CEO称AI领域封闭性增强协作性减弱影响发展
小参数语言模型（260k参数）在Dalek内部运行
花费数周构建无代码网络自动化工具，Anthropic推出计算机使用API使其面临困境
Genmo发布Mochi 1：新的SOTA开源视频生成模型（Apache 2.0许可）
Claude 3.5 Sonnet：计算机使用体验？
Transformers.js v3发布：多项新特性
Stability AI发布Stable Diffusion 3.5，含三个变体，10月29日上线Medium
用Llama 8B和70B开发亚马逊品牌筛选Chrome扩展
最佳成人角色扮演模型 - Mistral - Small - 22B - ArliAI - RPMax - v1.1
开源网页扩展BrowserLlama可本地交互网页
Ollama预发布版初步实验性支持Llama 3.2视觉
微软开源LLM平台bitnet.cpp是否源于llama.cpp
在Linux系统下使用AMD GPU运行Llama
Mistral-Large-Instruct-2407比Claude3.5和ChatGPT更实用
GraphLLM推出图形界面：用于大语言模型推理的开源框架
Claude编写脚本使Llama 3.2 1B模拟Twitch聊天
微软开源bitnet.cpp：可在CPU直接运行的1位LLM快速推理框架
Meta推出结合文本与语音输入/输出的Spirit LM开源模型
创建基于Mendeley阅读量追踪热门AI论文的网页应用
我的2张RTX 3090、RTX A1000和10张WD Red Pro 10TB因电涌损坏
使用405b的Llama 3.1，服务器内存是否够用
Grok 2在LiveBench上表现逊于Llama 3.1 70B
微软推出用于1 - 位大型语言模型的推理框架BitNet
6块GPU的组装：4块RTX 3090与2块MI60、Epyc 7002、256GB DDR4
山姆·奥特曼的反乌托邦之球：本地AI应具竞争力的又一原因
DeepSeek发布Janus：13亿参数多模态图像生成模型
《“过度思考"的Llama - 3.2 - 3B - Overthinker模型》
RTX3090 Epyc 7003与256GB DDR4配置
Mozilla研究：为大众解锁AI，而非仅大型科技公司
Llama - 3.1 - Nemotron - 70B - Instruct未超越GPT - 4o或Sonnet 3.5：MMLU Pro基准测试结果
创建免费MacOS/iOS本地LLM运行应用，求反馈！
利用本地运行的Llama - 3.2 - 3B Instruct机器人NPC创建找密码游戏
Llama-3.1-Nemotron-70B-Instruct-HF在辅助排行榜上得分55%，仅次于普通Llama-3.1-70B-Instruct
OpenAI Swarm: 智能体框架，是否值得关注？
未获取到有效信息（原标题ministral无实质意义）
Mistral发布新模型 - Ministral 3B和Ministral 8B
可直接用Ollama运行Hugging Face Hub上的45K GGUF
新的创意写作模型 - 推出Twilight - Large - 123B
NVIDIA最新模型Llama-3.1-Nemotron-70B可在HuggingChat使用
6U Threadripper与4张RTX4090的构建
SuperNova Medius与Obsidian笔记结合Msty知识栈功能强大，附使用指南
新模型Llama-3.1 - nemotron - 70b - instruct
在单个GPU上为Llama - 3 - 8B提供330万上下文服务
Windows版Triton（非官方，经测试可在ComfyUI中工作）
线性化Llama 3.1模型(8B、70B和405B)的LoLCATS - hazyresearch集合
在家搭建类似Elevenlabs的语音合成系统难度如何
Grok - 2与Grok - 2 - mini在Aider代码编辑基准测试中的表现
Zamba2 - 7B（遵循Apache 2.0协议）
利用LoLCATs线性化大型语言模型：几乎无训练地对现有模型进行注意力线性化
Zamba2-7b发布，性能超Mistral、llama 8b和Gemma
txtai 7.5发布：语音到语音RAG、新TTS模型和生成式音频功能
将优秀的OCR和视觉模型集成到可动态辅助文档研究的LLM相关项目中
Ichigo - Llama3.1：本地实时语音AI
xTTS - v2、F5 - TTS与GPT - SoVITS - v2的语音合成对比
使用开源工具创建高质量转录的100%自动化工作流指南
是否有可购买的预设置人工智能物理服务器（面向消费者）
忽略多模态能力，Llama 3.2在文本推理方面是否优于3.1？
微软Edge TTS API端点：OpenAI TTS API的本地免费替代品
F5 - TTS：通过流匹配伪造流畅且忠实语音（最佳开源语音合成！）
AMD Epyc Turin 9575F实现近满理论内存带宽
惊讶于未见Llama 3.2(11B)的通用或RP微调
Mistral-Nemo-12B和Llama-3.1-8B的RPMax创意模型更新
英特尔首次开放分布式大语言模型INTELLECT - 1的训练
SuperNova - Medius：从Llama - 405B和Qwen2.5 - 72B蒸馏得到的Qwen2.5 - 14B
寻求建议：本地运行作为个人知识与分析“第二大脑”的AI
智谱的GLM-4-9B-Chat（fp16）在低幻视率的RAG任务中表现卓越
本地运行Llama 70总是比Huggingface / Groq更昂贵吗？
英伟达新开源大模型NVLM-D-72B与领先模型对比
350美元纯CPU的7年老工作站运行Nemo/ollama的结果
54GB显存（2个3090+1个1060）下的最佳运行模型
KoboldCpp v1.76新增反斜率采样器（短语禁止）和RP角色创建场景
Qwen 2.5模型不同大小数学能力评估及教学用途探讨
Claude-dev 2.0.0发布，现名为Cline
ChatGPT中询问o1 - mini / o1 - preview解决"P与NP"问题时收到OpenAI违规警告
小于约35B的模型中哪些最适合事实查找/关联而非创意写作？
Darkest Planet 16.5B：独特的非AI创意模型
AMD推出MI325X：1kW、256GB HBM3，性能达H200SXM的1.3倍
开源Transformer实验室推出标记可视化工具
神经网络中结构化扰动的元胞自动机驱动镜像张量表面：基于连续状态权重调制的动态正则化、增强可塑性和多尺度学习新方法
英伟达宣布Mistral - NeMo - Minitron 8B指令模型
购置8*GPU服务器运行32b模型，噪音大是否正常
使用Transformer(TRL)时小批量大小和梯度累积微调效果差
隐藏的瑰宝：happzy2633/qwen2.5 - 7b - ins - v3是一个无审查且能力卓越的CoT微调模型
NVIDIA在Blackwell上推理速度提升15倍的真相
本地运行Qwen2 - VL - 72B或Llama - 3.2 - 90B - Vision的方法
Drummer的123B版本Behemoth：规模至关重要！
开发搭载Llama3的语音助手V.I.S.O.R.
OpenAI o1与Google Gemini的长上下文RAG能力
将Llama 3.2视觉适配器合并到3.1微调模型上
即将入手64GB内存和16GB显存笔记本，求可运行的最佳本地大语言模型
Open NotebookLM：谷歌NotebookLM的开源替代品
LM Studio为Mac推出MLX后端，高速运行Hugging Face的大语言模型
杰弗里·辛顿对诺贝尔奖的反应：希望在称大型语言模型确实理解话语时更具可信度
英飞凌宣布与英特尔合作、推出两款新模型及含微调与本地部署的企业计划
vLLM较llama.cpp同机分布式推理性能快超70%
我的方法（持续微调）效果超棒，72b登顶Open - LLM - 排行榜
PrefixQuant：一种新的量化算法在LLMs中通过预定义异常值使静态量化优于动态量化
AntiSlop采样器获OpenAI兼容API，可在Open - WebUI试用
Zamba 2发布：2.7B与1.2B指令模型超越Gemma 2与Mistral 7B
Open WebUI 0.3.31更新：新增Claude风格‘Artifacts’、实时代码迭代及完整文档支持
LLaMA 3.2 405B在顶级大模型中的排名如何？
M3 Max上Ollama、MLX与Llama.cpp速度对比揭秘
3B参数Qwen2.5微调超越8B参数Llama3.1登顶排行榜
Llama学习：为何众多文章作者偏爱Medium平台？
AMD Instinct Mi60：高性能AI加速卡评测
Qwen 2 VL 7B Sydney：爱评狗狗图的视觉模型
本地训练逆袭：Impish_LLAMA_3B的诞生记
Qwen2.5模型频称自己是Claude，引发用户困惑
MN-GRAND-Gutenburg-Lyra4-Lyra-23.5B：长篇大论，非典型AI散文
GH-200超级服务器首启：革命性硬件助力AI开发
生成式AI将迫使80%工程师至2027年需提升技能
Llama-Swap：轻松切换Llama.cpp模型的代理工具
最佳代码补全LLM推荐：StarCoder v2 3b是否最优？
KV-Compress：提升大模型推理效率的新缓存压缩技术
Meta推出Movie Gen：引领媒体基础AI模型新纪元
12GB显存下最佳NSFW故事与角色扮演AI模型推荐
高容量DDR5内存即将到来？64GBx2与96GBx2前景如何
SoftWhisper：用户友好的Whisper转录应用发布
REV AI发布新ASR模型，性能超越Whisper-Large V3
OpenAI新Whisper Turbo模型在M1 Pro上本地运行速度提升5.4倍
告别GPT弊端！XTC采样器助力llama.cpp
Qwen 2.5引发职场争议：中国AI模型安全遭质疑
Aphrodite Engine自定义量化测试：性能几何？
AMD新APU性能逼近7600 XT，共享96GB VRAM
谷歌发布GEMMA-2-2B-JPN-IT：专攻日语模型
揭秘Reflection 70B数据集质量：深度分析
Qwen 2.5 Coder 7b：代码自动补全新突破
HuggingChat模型更新：Llama 3.2、Qwen、Hermes 3等全新上线
OpenAI Whisper Turbo助力实时转录
Gemini Nano 2登陆安卓：实验性访问开启
Meta发布全新RLHF算法CGPO，性能超越PPO
GLM-4-9b-Chat领跑幻觉评估榜，OpenAI o1-mini紧随其后
LitLytics开源发布：低成本AI数据分析平台
OpenAI Whisper Turbo浏览器本地运行
Whisper Turbo模型现支持Transformers框架
iPhone 13成功运行本地LLama 3.2模型
AI文件整理器升级：新增预览模式和默认Llama 3.2模型
OpenAI发布全新Whisper模型“turbo”
浏览器内全本地运行Llama 3.2：WebGPU与Transformers.js助力
深度解析：80+大语言模型在代码生成质量评估中的表现
mistral.rs支持本地运行Llama 3.2 Vision模型
SLOP Detector：社区新工具助力消除GPT生成文本特征
Llama-3与Google NotebookLM实验惊艳成果
Koboldcpp速度远超LM Studio，提升大模型处理效率
AI生成虚构学术论文：灵界重排抑制恶魔召唤中的灵质形成
开源游戏伴侣应用：整合GPT、Gemini和Ollama
o1-mini模型在2024年AIME考试中表现更佳，使用更多tokens效果显著
管理本地AI堆栈的应用程序（Linux/MacOS）
最佳NSFW角色扮演模型推荐：Mythomax-L2是否仍具竞争力？
Llama 3.2视觉模型与Llava 1.6性能对比
RAGBuilder新增超参数可视化功能，助力RAG性能优化
Llama3.2-1B GGUF 量化基准测试结果
我让llama3.2为我设计新车。有些设计简直太疯狂了。
NVIDIA Jetson AGX Thor 将在2025年拥有128GB的VRAM！
教授在这里。在课堂上运行本地模型（用于生产）时需要前端UI建议/推荐。更多关于使用案例的内容在里面。
我制作了一个可配置的反滑移采样器，可以在单词和短语级别下调概率。
LLAMA3.2-3B 仅用2个提示就创建了一个功能齐全的贪吃蛇游戏。
在使用大型语言模型（LLMs）时，从Q8到Q6哪些任务的质量下降最明显？
我在美国陆军的野战手册上训练了Mistral。该模型（及其新的230万个token的指令数据集）是开源的！
我正在使用双RTX 4080 GPU和Mac Studio通过GPUStack进行分布式推理，基于llama.cpp。尽管通过40GB/s的Thunderbolt连接，吞吐量仍保持在每秒10-12个token。瓶颈在哪里？有什么改进建议吗？
Abliteration不仅影响模型的行为和响应方式，还影响其虚构角色的思维和响应方式
Mark是不是不经意间透露了他们有一个超过100,000个GPU的数据中心用于llama4训练？
有人知道为什么Llama 3.2 3b在OpenRouter上比1b便宜得多吗？是偶然的吗？
OpenAI终于走出非营利模式，转向盈利结构（谁会想到呢）
RTX 5090将配备32GB的GDDR7（1568 GB/s）内存
通过ChatterUI在Android上运行Llama 3.2
Hugging Face 刚刚突破了 1,000,000 个模型
这是你们中一些人一直在等待的模型 - Mistral-Small-22B-ArliAI-RPMax-v1.1
Molmo - 一种超越Llama 3.2的新模型，在欧盟可用
估算性能损失：Qwen2.5 32B Q4_K_M 与 BF16 MMLU PRO 评估结果对比
Ovis 1.6 - 基于Gemma 2的10B视觉语言模型，在MMMU上超越了Llama 3.2 11B和GPT-4o-mini
在手机上运行Llama 3.2 3B - 适用于iOS和Android
Llama-3.2 视觉功能尚未被 llama.cpp 支持
米拉·穆拉蒂（OpenAI首席技术官）即将离职。这家公司到底发生了什么？
Llama 3.2 多模态 GGUFs，4bit bitsandbytes
如何在移动设备上部署Llama 3.2 1B/3B？
正在开发一个由LLM驱动的分析工具，需要一个现实检查。这个工具作为自托管的开源工具会有用吗？
LlaMA 3.2 3B 一次性完成贪吃蛇游戏！（但未能吃到苹果）
波兰LLM 1.5B在单个GPU上持续预训练，这是一年工作的成果。
Llama 3.2 1B 和 3B GGUFs 已上线
Molmo模型在大多数视觉基准测试中优于Llama 3.2 🌟
首个1B参数模型超越Qwen 7B，并在文本到SQL任务上与4o持平。在BirdBench私有测试集上达到51.54%，Qwen: 51.51%，GPT-4: 46%。
Qwen 2.5 对比 Llama 3.1 的插图。
Postgres学会RAG：在数据库内使用Llama 3.1进行维基百科问答
Molmo 是我找到的第一个能够读取模拟时钟的视觉模型，Claude/GPT/Gemini 都无法做到这一点。它在手表图片中混淆了分钟和小时指针，但位置是正确的
Molmo：AllenAI推出的开源最先进多模态AI模型系列
为什么大多数模型只有100K个token的上下文窗口，而Gemini却有2M个token？
[反馈请求] 我创建了一个工具，可以将日常电脑变成你自己的AI云
在8GB VRAM上运行405B LLaMa - AirLLM
Gemini 1.5 Pro 002 展现出令人印象深刻的基准测试成绩
低上下文速度比较：MacBook、Mac Studio 和 RTX 4090
刚刚获得了Cerebras的访问权限。每秒2,000个token。
GenAI_Agents: 构建AI代理的教程宝库
比较微调后的GPT-4o-mini与顶级开源大型语言模型在30个多样化任务中的表现
HF发布Hugging Chat Mac应用 - 免费运行Qwen 2.5 72B、Command R+等！
RAM速度和延迟对LLMs有影响吗？（内有基准测试）
Qwen2-VL-72B-Instruct-GPTQ-Int4 在 4x P100 上运行 @ 24 tok/s
谷歌发布了一篇新论文：通过强化学习训练语言模型进行自我修正
我正在为Skyrim + AI设置试验小型LLM。我对Qwen的推理速度感到惊讶。
LLM（小语言模型）在ESP32-S3上运行，并带有屏幕输出！
Qwen2.5 错误与问题 + 修复，Colab 微调笔记本
如何利用本地LLM作为个人助理或个人工作流程自动化？
NVIDIA 发布新的 Llama-3.1-Nemotron-51B 指令模型
Qwen 2.5 72B 现在可以在 HuggingChat 上免费使用！
这是Gemma 2 2B和9B版本的RPMax系列模型！
提升日语性能？测试多语言iMatrix和L/fp16量化对Gemma-2-9b-it的影响
我构建了一个AI文件整理器，它可以读取并整理你的文件，完全在你的设备上运行
4060 Ti 16GB还是4070 12GB？AI/游戏混合使用。
D&D爱好者模型（几乎）。NightyGurps-14b-v1.1。前2.5 14b Qwen调优
谁用Qwen2.5替换了日常设置中的模型？如果是的话，你替换了哪个模型？
我正在购买一台配备128GB统一内存的顶级Macbook。我应该在上面运行什么，使用什么框架/UI/后端？
有哪位高手能让Flash Attention在Apple Silicon上运行吗？
OpenAI o1 对比近期 LeetCode 问题
Qwen2.5 7B chat GGUF 量化评估结果
Qwen2.5 在 MMLU 中领先，但请记住它是由一个独裁政权资助的
帮我决定：Mistral-Small-Instruct-2409 vs. Qwen2.5-14B-Instruct
OLMoE 7B 在低端 GPU 和 CPU 上运行速度很快
iPhone 16 Pro：有哪些本地模型可以在只有8GB内存的新iPhone上运行？与拥有16GB内存的Pixel 9 Pro和12GB内存的Galaxy S24 Ultra相比，内存真的那么低吗？苹果的智能功能如何在8GB内存上运行？
作为一名对大型语言模型（LLMs）充满激情的软件开发者，是否有人觉得技术发展得太快，难以跟上？
目前用于检索增强生成（RAG）的最佳设置是什么？需要关于嵌入、向量存储等方面的帮助。
Qwen 2.5 在 Livebench 编程类别中轻松超越 GPT-4o 和 o1-preview
Llama 3.1 70b在RTX 4090上以60 tok/s运行（IQ2_XS）
Qwen2.5-32B-Instruct 可能是目前最适合 3090 的最佳模型。
Strix Halo（Max）可能支持96GB显存
Mistral NeMo 2407 12B GGUF 量化评估结果
[谷歌DeepMind] 通过强化学习训练语言模型进行自我修正
我在Gutenberg的哲学文本上训练了Mistral。所有内容（包括合成数据）都是开源的！
与GPU相比，你在CPU上看到的TPS性能如何？CPU推理实用吗？
Mistral Small 2409 22B GGUF 量化评估结果
“Meta的Llama已成为构建AI产品的主导平台。下一个版本将是多模态的，并且能够理解视觉信息。”
有人在工作中对大型语言模型进行微调吗？你们的用例是什么？
对于像我这样不太理解gratuity Llama 3.1的人，用NotebookLM制作的自然语言解释！
Gemma 2 - 2B vs 9B - 测试不同量化级别的空间推理问题。
Qwen 2.5 手机版：新增 1.5B 和 3B 量化版本至 PocketPal
介绍FileWizardAi：利用AI驱动的排序和搜索功能整理您的文件
Open Letter from Ericsson, coordinate by Meta, about fragmented regulation in Europe hindering AI opportunities
快速提醒：SB 1047 尚未签署成为法律，如果你住在加利福尼亚，请给州长发一封信
刚刚将Llama 3.1 70B @ iQ2S替换为Qwen 2.5 32B @ Q4KM
微软的“GRIN: GRadient-INformed MoE”16x6.6B模型看起来非常棒
在本地使用GGUF格式从HF 🤗运行Qwen 2.5、Qwen 2.5-Coder、Qwen 2.5-Math及其他语言模型
这些代理设计模式在构建AutoGen+Llama3时帮了我大忙！
即将推出的LLaMA3-s模型，一种早期融合模型引入了基于语音的功能调用，并为Llama 3.1配备了听觉能力。
Moshi v0.1 发布 - Kyutai 系列
鼓手的Cydonia-22B-v1 · Mistral Small（并非真的那么小）的第一个RP曲目
有人在用RTX 8000（48GB）或MI100（32GB）显卡进行LLM推理吗？
开源3.8B LM评判器，可替代专有模型进行LLM系统评估
Mistral-Small-Instruct-2409 22B 长上下文报告卡：不及格
Mistral-Small-Instruct-2409 实际上非常令人印象深刻，这里有一个简短的指南，教你如何正确使用它，甚至包括系统提示。
我的项目Black_Strawberry已经实现了AGI
mistralai/Mistral-Small-Instruct-2409 · MISTRAL 新发布的 22B 模型
Qwen2.5-72B-Instruct 在 LMSys 聊天机器人竞技场
为什么ChatGPT在使用自己的API时显得如此糟糕？
发布 Llama3.1-70B 权重与 AQLM-PV 压缩
博士级模型GPT-o1在中学数学‘陷阱’问题上失败，准确率仅为24.3%
LMSYS发现bf16和fp8 Llama-3.1-405b在Chatbot Arena中的差异最小
论文：思维链赋予Transformer解决固有串行问题的能力
o1-preview：在数学和推理方面表现出色，编程中等，写作较差。
愚蠢的问题：27B模型是否可能比34B模型需要更多的VRAM？
Hugging Face 优化了 Segment Anything 2 (SAM 2)，使其能够在设备上（Mac/iPhone）运行，推理时间在亚秒级！
免费的Hugging Face推理API现在明确列出限制和模型
不，Model X 不能计算单词 “strawberry” 中字母 “r” 的数量，这是一个愚蠢的问题，不应该用来测试大型语言模型。
Thierry Breton，《人工智能法案》的起草者，从欧盟委员会辞职
我真的很喜欢OpenAI o1论文中的这个例子。也许它有点夸张。这是在缓解措施之前，也就是未经审查和不受限制的情况下。你有没有收到过类似的来自本地未经审查模型的回应，表现出像这样令人震惊的即兴思考？
为较小模型设计的巧妙提示：通过本地模型达到博士水平？
受新o1模型的启发，Benjamin Klieger在@GroqInc上利用Llama-3.1开发了g1
随着我们从LLM训练后的RLHF（基于人类反馈的强化学习）转向LLM训练后的‘纯’强化学习方法，我们可能会看到与我们完全相反但仍然非常有效的‘推理’方式。只需阅读这里的Alphazero引述。
本地AI角色（角色扮演）：语音输入，语音输出，头像生成，以及无审查模型
尽管我很想尝试每个人的应用程序，但你们得让这一切变得更简单：一个抱怨
我通过我的小规模基准测试运行了o1-preview，它的得分与Llama 3.1 405B几乎相同
推理速度基准测试 - Tabby API 中的张量并行和推测性解码
我大幅更新了我的Python程序，该程序允许通过llama.cpp在本地运行LLMs来上网查找信息，现在它可以完全抓取最相关的结果！
我自豪地宣布，我终于成功地在本地运行了大型语言模型，并将其用于手机上
Qwen 2.5 将于周四发布（0.5B–70B+）
如果OpenAI因为人们试图发现他们的CoT系统提示而威胁要封禁用户，那么他们在这个提示中发现了财务价值，因此本地模型也有低垂的果实可以摘取！
鼓手的Donnager 70B v1 - 罗西南特的大哥！
Llama 3.1 405B在2台MacBook上分布式运行
OpenAI 给我发了一封电子邮件，威胁说如果我不停止，就会封禁我
为什么Anthropic的安全人员如此渴望监管？这个白痴曾在OpenAI领导‘超级对齐团队’。就连热爱美联储的Altman也对他感到厌倦，所以把他踢了出去。Anthropic比OpenAI更疯狂。
解决Flux.schnell管道的缺陷，使其能够一步生成质量相近的图像。
RAGBuilder 现在支持 GraphRAG 以增强知识检索！🚀
Llama 70B 3.1 Instruct AQLM-PV 发布。22GB 权重。
Pixtral 模型吐槽：“深入”Mistral 的首个视觉模型。
nvidia/Nemotron-Mini-4B-Instruct · Hugging Face
鼓手的好伙伴2B v1 - 解构你对Buddy的挫败感
o1不仅仅是关于CoT，它是在有限允许步骤下通过强判别器进行有效搜索。
够了。如果我不能在我的3090上运行它，我不想再听到关于它的事情。
我不明白为什么大家对ChatGPT的o1系列如此炒作
我制作了一个极简的Ollama聊天应用，我觉得挺不错的。我知道这没什么特别的，可能已经有上百个类似的应用了，但我只是想分享一下。我喜欢它，因为它不显眼，有始终置顶的显示功能，非常适合随时提问。
o1-preview 目前在 LiveBench AI 上总体排名第一
o1与其他大型语言模型之间的比较是否是苹果对苹果的比较？
如果OpenAI能让GPT4o-mini在推理方面远超Claude 3.5，那么这对本地LLM很快也能做到同样的事情来说是个好兆头吗？
LiveBench 结果现已更新，o1-preview 排名第二。显然，o1-mini 是推理之王。
OpenAI隐藏了o1使用的CoT以获得竞争优势。
推理的初步LiveBench结果：o1-mini明显优于Claude Sonnet 3.5
I Made A Data Generation Pipeline Specifically for RP: Put in Stories, Get out RP Data with its Themes and Features as Inspiration
两个小时的o1-preview无法做到Mistral-Large-Instruct-2407在本地运行时为我做的事情 :(
OpenAI o1-preview在基本推理上失败
“o1 仍然存在缺陷，仍然有限制，而且它在你初次使用时似乎比你在长时间使用后感觉更令人印象深刻。”
OpenAI O1 模型在 ProLLM StackUnseen 基准测试中超越 SOTA 20%
新的o1推理模型在IMO预选考试中得分83%，而GPT4o仅解决了13%的问题
“我们正在发布OpenAI o1的预览版——这是一系列新的AI模型，旨在在回应之前花更多时间思考” - OpenAI
Face-off of 6 maintream LLM inference engines
扎克伯格在LLaMA 3发布后表示，能源将成为主要瓶颈（而非计算），因此想比较美国和中国。中国生产的能源是美国的两倍多。美国的人均能源效率是中国的两倍。中国在可再生能源百分比上更优，而美国在核能百分比上更优。详见正文中的来源。
DataGemma 发布 - 一个 Google 集合（27B 模型）
LLM系统提示泄露（ChatGPT、Claude、Cursor、V0、Perplexity）
Hugging Face 添加了直接从浏览器使用 SQL 查询所有 200,000+ 数据集的选项！
我认为我已经确定了LLMs在思考更长时间以获得‘更好’或‘更’正确提示时的主要三个障碍。我知道这是一个非常大的声明，但请听我说完。这三个障碍的主题是从一般到具体。我需要你们的帮助来设计一个提示。
我想问一个可能会冒犯很多人的问题：是否有很多程序员/软件工程师对LLM在编程方面变得更好感到不满，就像很多艺术家对AI艺术感到不满一样？
Gemini 1.5 Pro 实验版在AI Studio中处理示例问题时遇到困难
向OG致敬：神经网络之父沃伦·麦卡洛克谈心灵、大脑、思考与情感机器
Chronos-Divergence-33B ~ 释放经典模型的潜力
在6950XT（16GB VRAM）上运行良好的最佳当前小型LLM模型？
Jina AI 发布 Reader-LM 0.5b 和 1.5b，用于将 HTML 转换为干净 Markdown
使用本地LLM创建大型合成数据集的最佳方法是什么？
作为LLM工程师，你使用什么笔记本/PC和服务器配置，以及你最常使用哪些模型？
新发布：Solar Pro (预览版) Instruct - 22B
Z1 extreme (rog allyX 版本) 与 8700G 在 LLM 推理中的对比
在runpod.io上不同GPU的Ollama LLM基准测试
大语言模型（LLMs）已经比传统机器学习模型更便宜了吗？
新的开源文本转语音模型：Fish Speech v1.4
通用OCR理论：通过统一的端到端模型迈向OCR-2.0
如何判断一家巴西AI公司是否只是OpenAI、Claude或Gemini的包装？
Reddit-Nemesis：自动引发愤怒的AI Reddit机器人。
Reflection模型的Open LLM排行榜分数出炉：远逊于官方指令模型
介绍gpt5o-reflexion-q-agi-llama-3.1-8b
我制作了一个简单的Python程序，让你可以使用通过Llama.cpp运行的LLMs来搜索互联网
Ollama 0.3.10 版本终于添加了对尖端视觉模型 MiniCPM-V 2.6 的官方支持
Yi-Coder-9b-chat 在 Aider 和 LiveCodeBench 基准测试中表现惊人，对于一个9b模型来说太棒了！！
苹果智能在最新的iPhone 16s上只有不到8GB的RAM，它能有多智能？
Deepsilicon 使用比传统方法少 5 倍的 RAM 和快约 20 倍的神经网络。他们正在为此开发软件和定制芯片
对整个“Reflection”事件一头雾水？你并不孤单。这是我所能找到的最佳总结。
深度求索悄然发布了DeepSeek-Coder-V2-Instruct-0724，该模型在Aider LLM排行榜上排名第二，并且根据排行榜显示，它超越了DeepSeek V2.5
全新系列的创意写作模型，不同于以往的RP模型（3.8B, 8B, 12B, 70B）- ArliAI-RPMax-v1.1系列
唉：Reflection 好得令人难以置信——参考文章
AMD宣布统一UDNA GPU架构——将RDNA和CDNA结合，挑战Nvidia的CUDA生态系统
大多数Epyc Genoa CPU的内存带宽值（STREAM TRIAD基准测试结果）（单配置和双配置）
鼓手的Theia 21B v2 - Rocinante的大姐姐！一个专注于RP和故事叙述的NeMo微调升级版。
13% 的 YC 公司现在拥有 .AI 域名，最新一批中有 27%
40GB显存巨兽：双显卡（7900 XTX & 7800 XT）与Ryzen 7 7700X性能测试 - 需要基准测试想法！
微软的自对弈互推理（rStar）代码已在Github上发布！
迷你全能：语言模型能够在流式传输中听、说并思考（微调自Qwen2-0.5B）
所有这些戏剧性事件都让我们忽略了真正重要的开源模型发布：DeepSeek-V2.5
非常的主张需要非常的证据，显然Reflection 70B缺乏这一点
POV：看到所有来自一个叫「matt.schumer.freeaccounttrial27」的家伙的API请求的签署NDA的Anthropic员工
糟糕的结果之谜已解开。反射70B被COVID感染。
Yi-Coder - 与 Continue 的完美搭配
OpenRouter Reflection 70B 声称自己是 Claude，由 Anthropic 创建（亲自尝试）
确认：REFLECTION 70B的官方API是SONNET 3.5
除非他们内部运行的模型实际上不是它所声称的那样，否则这毫无意义
“Reflection API” 是一个带有提示的十四行诗3.5的封装吗？
AMD可能正在扼杀8000系列的高端消费级GPU（如果是这样，那就太短视了）
Ollama 替代方案：跨文本、图像、音频和多模态模型的本地推理
来自Artificial Analysis使用Reflection Llama 3.1 70B的更新基准测试。长文，深入分析了收益
Magnum v3 - 9b (gemma 和 chatml)
平均而言，网站和AI聊天机器人平台为使70亿参数模型对用户可用，需要向托管服务支付多少费用？
Reflection Llama 3.1 70B独立评估结果：在我们的独立测试中，我们无法复制所声称的评估结果，并且发现性能比Meta的Llama 3.1 70B更差，而不是更好。
gemma-2-9b-it在LMSYS Arena排行榜上超越了llama-3-70b-it
Reflection-Llama-3.1-70B实际上是Llama-3。
低成本4路GTX 1080搭配35GB显存推理PC
让我们列出前10个故事写作LLM，提出建议，稍后我会测试它们的SLOP
公告：Matt Shumer未披露其在GlaiveAI的投资，该AI用于生成Reflection 70B的数据
NemoomeN - Nemo 12b 混合了一些反射效果。
模型反射-Llama-3.1-70B在ProLLM编码助手基准测试中得分为76.9。模型Meta-Llama-3.1-70B-Instruct在同一基准测试中得分为73.5。
即使是Reflection 70b的4位量化也非常惊人
Reflection的嵌入问题似乎在HF上得到了解决
Matt Shumer的推文：“重要更新：我们已经识别并修复了Hugging Face仓库中的问题。如果你之前尝试下载、运行或托管Reflection Llama 70B，请现在再试一次。输出效果应该会有很大提升。fp16版本也即将推出。”
适用于所有LLM的反思链（Reflection CoT）
AdEMAMix，AdamW优化器的一个简单修改，使LLM训练速度提高了95%（代码在第19页）
DeepSeek 2.5 权重发布，支持函数调用、Json模式、FIM
项目Sid：在虚拟世界中，1000多个真正自主的代理首次合作，出现了经济、文化、宗教和政府等现象
除了llama之外，是否可以使用Reflection-tuning对其他模型进行微调？
Reflection-Llama-3.1-70B 在 Ollama 上可用
第一个独立的基准测试（ProLLM StackUnseen）显示Reflection 70B取得了非常好的成绩。相较于基础的llama 70B模型，提升了9个百分点（41.2% -> 50%）
txtai 7.4 发布：SQLite ANN、新的文本提取功能和编程语言中立的嵌入索引格式
伙计们，使用LongWriter-llama3.1-8b而不是Llama3.1-8b！
非NVIDIA GPU的AI基础设施（以及我们的JAX之旅）
兴奋地宣布Reflection 70B，全球顶尖的开源模型
本地LLM基本上可以在任何机器上运行，但最新的RTX显卡能让它运行得更快吗？
我可以用64GB内存和16GB显存运行什么最好的模型？
有人能确认他们在Ubuntu 24.04上使用llama.cpp成功运行了AMD 6700xt与ROCm吗？
Mistral Large 2 现在在 SEAL 编程排行榜上排名第三
LLM生成的Slack聊天摘要——为什么这么糟糕？
我想创建一个基于一组电子书的聊天机器人，并将其部署在网站上。
新 Yi-Coder 模型 (9B & 1.5B) - 01-ai 系列
Vscode LLM 扩展未经用户同意继续下载 Chromium.app
OLMoE - 一个完全开源的稀疏MoE，仅使用10亿活跃参数
Claude-Dev 现已支持本地 LLM！（Ollama，OpenAI 兼容服务器）
那么… P40 不再便宜了。现在我们这些平民能买到的性价比最高的加速器是什么？
基于步骤的级联提示：从LLM氛围空间发出的确定性信号（且完全本地化！）
一个开源的语音到语音大型语言模型：Mini-Omni
在Llama3.1 405B上的Character.AI
使用Autogen+LLama3实现代理工作流程/状态机
使用48GB VRAM和128GB RAM运行Mistral Large 2是否可能？
已经有一段时间了，谷歌还没有向开源社区发布Gemini 1.5 Flash 8B
Gemini 1.5 Flash 8B 在 Livebench.ai 上击败了 Claude 3 Haiku、Mixtral 8x22B、Command R+ 和 GPT 3.5 Turbo
在本地使用Mistral.rs运行Phi 3.5 MoE（具有70b性能的6.6b活跃模型）！
Colossus 100k H100训练集群已由xAI上线
如果你至少有12GB显存，并且在Q4运行llama3.1，你实际上是在过度量化
小型AI模型能否超越巨人？‘更小、更弱、但更优’的LLM推理训练
RetNPhi: 结合Phi-3.5和RetNet的字节级语言模型
鼓手的…呃…星际指挥R 32B v1！来自Theia和Rocinante的创造者！
最适合在8GB显卡上使用的LLM（主要用于代码帮助）？
有没有推荐的性价比高的云服务器来托管我的RAG？初期支持20个并发用户，全天候运行，但也可以扩展。
什么是用于数据集创建的最佳本地~10b模型（问答对）
Openperplex : 带引文、流式结果、多语言、位置、网页抓取器等的网页搜索API！
Command-R 35B Q4/Q6/Q8 缓存困惑度 + MMLU
哪一个更好：LLaVA 1.6 7B还是LLaVA Phi3 3.8B？
RWKV v6 模型支持合并到 llama.cpp
尝试在CMP 30Hx gpu上运行llama3.1
廉价GPU之战 - Lllama 3.1 8B GGUF vs EXL2在P102-100、M40、P100、CMP 100-210、Titan V上的比较
公告：如果在创意写作中新的Command-r变得疯狂，尝试调整采样器参数
Llama 3.1用于实体识别似乎比大型商业模型弱很多
字里行间，似乎谷歌也准备好了他们的System 2思维（OpenAI的Q* / Strawberry等效）。可能会在OpenAI发布他们的产品时推出。如果Meta构建了一个System 2思维系统，或者他们已经拥有一个，他们会将其开源吗？
根据斯坦福大学的研究，即使是专业级别的RAG系统（律师使用的那种），最多也只有65%的正确率：
AMD Ryzen AI NPU (Ryzen 7 7840HS)
有没有可以在手机上运行的本地模型，它们经过微调以适应生存和文明重建？
AlteredWorlds: 由command_r_plus_08_2024重新构想的历史，由flux.1-schnell绘制
在配备8GB RAM的树莓派5上，哪些开源模型可以运行得相当好？
鼓手的Hubble 4B v1 - SLM的一小步，RP的一大步 - 对修剪后的Llama 3.1 4B 128K的微调
KoboldCpp v1.74 - 新增XTC（排除顶部选择）采样器用于创意写作
您正在开发的一些最具生产力的代理实现是什么，您面临哪些挑战？
My thoughts on Magic"s 100M context length
DDR6和CPU/主板支持即将到来 - 这将如何改变现状？
Command-R的全131K上下文在24GB内存中以3.75bpw运行
穷人的VRAM或如何以$40运行Llama 3.1 8B Q8达到35 tk/s
Google已经有一段时间没有推出新的Gemma系列模型了
新版Command R和Command R+模型发布
CohereForAI/c4ai-command-r-plus-08-2024 · 更新模型
CohereForAI/c4ai-command-r-08-2024 · 更新模型
Qwen2 VL 7B: 比我预想的要令人印象深刻得多！
SB 1047显然非常令人担忧，我们能做些什么吗？
SB 1047 已通过。你认为这会影响 LLAMA 吗？
有争议的加州AI法案通过立法机构，等待州长签署加州立法机构通过全面的AI安全法案 / SB 1047已送达纽森州长的办公桌。
Meta拥有的计算机资源多得惊人：他们每周都能训练完整的Llama 3.1系列
我离开游戏一段时间了。如果你有一块16GB显存的GPU，你最喜欢使用哪个模型？
Qwen2-VL 来了！Qwen2-VL-2B 和 Qwen2-VL-7B 现已在 Apache 2.0 许可证下开源，强大的 Qwen2-VL-72B 的 API 现已可用。
Luminum-123B：一个用于角色扮演的模型合并
Salesforce发布大型动作模型xLAM - 7B, 8x7B, 8x22B，最高可达64K上下文长度，专为AI代理用例设计
Jan 终于支持 Llama 3.1 和 Gemma 2（稳定性提升）
TechInsights 给予 BitNet 加速器市场准备度 6 分
本地1M上下文推理速度达15个令牌/秒，接近100%的“大海捞针”成功率：InternLM2.5-1M在KTransformers上的应用，仅需24GB VRAM和130GB DRAM。支持Windows/Pip/多GPU及更多功能。
SambaNova 提供 llama3.1 405B，速度为 114 tps
1987年时任苹果CEO约翰·斯卡利对当今未来的展望
LocalAI v2.20 发布直播 – 真正的P2P全球分布式推理
CLIP仍然是SOTA吗？还是有更先进的替代方案？
我制作了一个游戏，让你猜猜今天的AI能做什么和不能做什么（链接在评论中）
我的非常简单的提示，已经难倒了很多大型语言模型。“我的猫名叫狗，我的狗名叫老虎，我的老虎名叫猫。我的宠物有什么不寻常之处？”
显然，大型语言模型（LLMs）是强大的归纳推理者，但却是糟糕的演绎推理者。我的解决方案是通过提示构建一个演绎推理引擎。我已经尝试构建了一个提示，放在描述中。请帮助我改进或提供您自己的提示。
Mistral 123B 对比 LLAMA-3 405B，有什么想法？
斐济人口890万 - LLaMa 3/3.1训练数据中的错误？
WoonaV1.2-9b 我的小马驹俄语单语言模型
Mistral Large 2 对比 ChatGPT 4o
关于PEFT/LoRA调优变换器的“黑魔法”有哪些？
颂扬Huggingface.co用户TheDrummer。我们时代的LLM沃尔特·迪士尼。
Anthropic现在发布他们的系统提示词与模型一起
通过ChatterUI在Android上运行Minitron-4b-Width
CogVideoX 5B - 开放权重文本转视频AI模型（运行仅需不到10GB VRAM） | 清华大学KEG（THUDM）
为什么你会选择自托管而不是使用托管端点来运行llama 3m1 70B
开源清洁且可定制的RAG webUI，支持多用户和合理的默认RAG管道。
Nous Research发布关于DisTrO（分布式互联网训练）的报告
为什么GPT 4o mini可能大约有~8B活跃参数
有没有人在本地使用405B模型？你觉得它有用吗，还是你已经回到了70B-110B范围？
Whisper 太神奇了。它是如何在这么多语言上进行训练的？
我们需要多少A10 GPU来为50名用户运行llama 3 8B？
你认为Anthropic在对抗开源方面比OAI更糟糕吗？对我来说似乎是这样。这封信似乎暗示他们实际上向参议员Wienner提出了法案…我真的很喜欢我的开源LLMs…
生产环境中使用 Haystack、Semantic Kernel 还是 LlamaIndex
对于那些非常喜欢Gemma-2-9B SimPO版本的人来说，现在有了27B版本！
LongWriter: 从长上下文LLM中释放10,000+字生成
如果你在使用64GB内存的Mac时遇到响应速度慢的问题
2000到3000美元是否足够构建一个本地的编码AI系统？
Anthropic就SB 1047向州长Gavin Newsom写了一封信，所以我也决定写一封。
这似乎是Deepmind CEO Hassabis的合理立场，但他提到了不良行为者，所以我必须问，这个立场能否按表面价值接受；Google是一个好的/中立的行为者吗，它是否在幕后游说扼杀开源。Anthropic和OpenAI是公开这样做的。
Gemma 2 27B的秘传知识在中型模型中是最好的。谷歌做出了一些了不起的东西。期待Gemma 3。
本地LLMs非常能干，与Mistral Large v2一起冒险
我使用Gemini Flash通过API调用和执行Python代码自主完成了SpaceTraders中的第一个合同
Abliteration未能解除模型审查，同时仍使其变得愚蠢
自动尝试不同的RAG技术在你的数据上（HyDE, C-RAG, RRF等）
Lite-Oute-2-Mamba2Attn-250M 指令与基础：新的轻量级 Mamba2 混合模型，包含注意力层
2024年8月21日，Anthropic在给加文·纽森州长的一封信中表示：“在我们看来，新SB 1047法案有了实质性的改进，以至于我们认为其带来的好处可能超过其成本。”…引文继续
亚马逊Q真的那么好吗？有亚马逊开发者能透露一些信息吗？
Mistral-Large-Instruct-2407 made me an extension for text-generation-webui that lets a LLM use the mouse and keyboard, very experimental atm
在iOS、Android、Web浏览器和GPU上本地运行Phi-3.5-mini
Liger 内核：一行代码让 LLM 训练速度提升 20%，内存减少 60%
Grok 2 和 Grok 2 mini Lmsys 竞技场分数
简单的长椅（来自AI Explained YouTuber）与我与LLMs的实际体验非常吻合
Phi-3.5-mini 在浏览器中以每秒约90个令牌的速度运行，使用WebGPU与Transformers.js和ONNX Runtime Web。
现在有了大型语言模型（LLMs），你能做哪些以前做不到的事情？
Exllamav2 张量并行支持！TabbyAPI 也支持！
愚蠢的实验 LAiNN，DIY 预训练我自己的语言模型来玩 :3。
“自带模型” - Brave的Leo现在可以与本地模型接口。
基于Transformer的模型会随着时间变得更便宜吗？
llama-3.1-8B-Q8 again blowing my mind with unreal self-reflection and mental agility
DeepSeek-V2 为 Cody 的代码自动补全带来了巨大改进
Phi-3.5非常安全，微软在这里确实超越了自己！
您认为哪种模型最适合回答一般信息/历史/科学/文化查询？
马克·扎克伯格和丹尼尔·艾克谈为什么欧洲应该拥抱开源AI
介绍DocChat：在几小时内训练出的GPT-4级对话问答
2x4090 vs 6000 ada vs L20 vs L40s: LLM推理/微调的瓶颈是什么？
Nvidia/Mistral-NeMo-Minitron-8B-Base · Hugging Face
对这里发布的所有“几乎就要成功”的研究和软件感到失望吗？
Phi-3.5-Mini与Phi-3.5-MoE之间的有趣模型差异
Vikhr-Gemma-2B-instruct - 一个紧凑且强大的俄语语言模型
免费系统提示生成器：现已支持所有模型大小（从1B开始）并根据模型大小调整指令
Phi 3.5 微调速度提升2倍 + Llamafied 提高准确性
什么是输出JSON的最佳本地大语言模型，同时也很智能？
关于LLM、LM Studio、Ollama、Open WebUI等，作为一个初学者该如何开始？
是否有可能训练一个神经符号LLM？我们何时能在个人电脑上使用神经符号GGUF模型？
在电子阅读器上的手写界面。慢慢地把它变成我一直梦想的掌上电脑。最终，我希望它能识别形状——但我不确定哪些廉价型号能做到这一点（~0.5B尺寸）
教程：使用llama recipes对llama3.1进行PEFT微调！
有人在这里使用96GM或64 GB内存的M系列Mac吗？
MiniCPM-V 2.6 现在兼容 KoboldCpp（+设置指南）
Llama-3.1-Storm-8B 已经到来！一款新的 8B 参数 LLM，在多样化的基准测试中超越了 Meta Llama-3.1-8B-Instruct 和 Hermes-3-Llama-3.1-8B！
我制作了一个提供商、模型和价格的比较表，非常实用。
对Mistral Nemo Instruct在长上下文质量印象深刻
使用Mistral Nemo作为翻译器在长文本后丢失了近半信息
你们会微调模型吗？如果是的话，目的是什么，效果如何？
LMSYS上的一个新未知模型，toto-medium
有没有比OpenAI的Whisper更好的语音转文字工具？
排除顶级选择（XTC）：一种提升创造力、打破写作陈词滥调并抑制非逐字重复的采样器，来自DRY的创造者
SmolLM Instruct v0.2 - 135M、360M 和 1.7B 参数 | Hugging Face TB 研究 | Apache 2.0
我以为我会把问题写下来，因为我总是忘记。我的问题是，你相信我们可以通过代理使用（多个代理或自动迭代提示）来解决所有这些问题吗？
将我的整个AI/LLM工作流程过渡到100%太阳能供电
寻找创意：前AMD工程师与初创公司创始人准备打造开源项目——哪些问题需要解决？
趣闻：谷歌上个月使用相同的Alphazero算法结合预训练的大型语言模型获得了国际数学奥林匹克银牌。不幸的是，这个算法尚未开源。深度学习已经带给我们许多成果，并将继续带来更多，但我认为真正的强化学习现在将推动真正的进步。
Mistral Nemo 真的很不错…但是会忽略简单指令吗？
RAGBuilder 现在支持 AzureOpenAI、GoogleVertex、Groq（适用于 Llama 3.1）和 Ollama
在16GB 4060ti上使用Flux.1，每张图片生成时间20-25秒
“如果一个大型语言模型被允许使用固定但非微不足道的推理时间计算资源，它在面对一个具有挑战性的提示时能提高多少性能？”测试时计算资源的使用可以超越一个比其大14倍的模型。
Flux.1 量化质量比较：BNB nf4 vs GGUF-Q8 vs FP16
已购买硬件，现在寻找最佳方式在生产环境中部署LLM
Nvidia发布Llama-3.1-Minitron-4B-Width-Base，Llama-3.1-8B的4B剪枝模型
Dusk_Rainbow, 8B LLAMA-3 杰出故事作家
有趣的结果：比较Gemma2 9B和27B Quants 第二部分
你们还记得六月中旬有传言说亚马逊要推出一个名为奥林匹斯的前沿模型吗？好吧，它从未发布，因为据传言称这是一场彻底的灾难。
一块3090显卡足以支持Llama 3为数千用户服务
公司及其截至2024年8月16日的最佳整体模型和最佳开放权重模型。
Llama.cpp: MiniCPM-V-2.6 + Nemotron/Minitron + Exaone 支持今日合并
一年前，我提出了将树莓派5作为小型模型的测试平台。随着类似这种进一步的显卡集成，这个概念可能终于站得住脚。
AI在浏览器中直接执行单一任务，使用Ollama？
(来自X上的Thomas Wolf) FLUX彻底席卷了开源AI界。从未见过一个模型在同一时间有如此多的衍生品/空间/演示流行起来
与非ERP（企业或其他类型）的LLM一起做哪些有趣的事情？
“Grok-2和Grok-2 mini现在在MathVista上占据前两名” 希望他们很快开源Grok mini
Flux.1转换为GGUF - 它在LLM领域提供了哪些有趣的机会？
从2023年3月到今天的llama.cpp演变 | Gource可视化
鼓手的罗西南多12B v1（及v1.1！）- 一匹充满创造力的工作马！你的超凡冒险等待着你！来自Theia 21B等创作者。
随着语言能力的提升，大型语言模型（LLMs）发展出对现实的理解
Grok-2 和 Grok-2 mini 基准测试分数
想从github上拉取llama.cpp来制作一些量化工具，但github挂了…哈哈
通过预训练可以提升Llama 3.1在特定语言的指令性能。我的新Llama 3.1 8B Indo-Formax和Formax模型。
英伟达研究团队开发了一种通过结构化权重剪枝和知识蒸馏高效创建更小、更准确语言模型的方法
Beginner"s Guide: How to Fine-tune Llama 3.1 Ultra-Efficiently with Unsloth & Deploy to Hugging Face
现在是加州居民向他们的代表表达反对SB1047法案的好时机，这是一个反开放权重法案
Mistral-large 与 Llama3.1 405b 在创意写作中的比较 – 意见?
[2024年8月] Hugging Face Hub 上目前最好的编码模型是什么？
sus-column-r 在 lmsys 上是 Grok
昨日报告的llama.cpp中RPC服务器的新关键安全漏洞
Command R+ 仍然是史上最佳，以及为什么我们需要非对齐模型
基于大部分二手消费级硬件构建的5x RTX 3090 GPU机架
我通过了gemma 2 2b给我的智商测试。但那真的很艰难。
运行你自己的网络代理：Agent Q 论文展示 LLMs 可以学会浏览网站
Project Alice - 一个用于代理工作流程的开源框架
2x RTX 3090 + Threadripper 3970X + 256GB RAM LLM推理基准测试
[微软研究] 相互推理使小型LLM成为更强大的问题解决者。‘rStar将GSM8K准确率从12.51%提升至63.91%（LLaMA2-7B），从36.46%提升至81.88%（Mistral-7B），从74.53%提升至91.13%（LLaMA3-8B-Instruct）’
我创建了一个带有AI调酒师的3D酒吧，可以在网页上使用，我应该制作一个本地/自托管版本吗？
新发布：THUDM的LongWriter-glm4-9b与LongWriter-llama3.1-8b
轻量级Python库，用于使用LLMs进行网页抓取
目前最好的RP模型和从llama 3.1或mistral nemo微调是什么？
我们在HuggingFace上发布了InternLM2.5新模型，包括1.8B和20B版本。
新论文: “人工智能科学家” - 迈向全自动开放式科学发现
如果有人给你一个免费的16x A100实例，你会做什么？
Update: Overclocked 3060 12gb x 4 | Running Llama-3.1-70B-Instruct-AWQ-INT4 ( 20 Tokens/s with Context Size 24k ) vllm
Llama-3.1 70B 4-bit HQQ/校准量化模型：在lm-eval基准测试中相对于FP16的性能超过99%，且推理速度与FP16相似（A100中每秒10个令牌）。
来自TII（技术创新研究所TII - 阿联酋）的Falcon Mamba 7B
为什么再也没有SPPO LLMs了？SPPO方法不是开源的吗？
有哪些新的最先进的本地视觉模型实际上拥有被Llama.cpp支持的GGUFs？
中国人制造了48GB的4090D和32GB的4080 Super
openbmb/MiniCPM-Llama3-V-2_5 在 llama.cpp 中的支持
在安卓手机上使用2.5 GB内存运行Llama-3.1-8b-Instruct
PSA: NVLink boosts training performance by A LOT
在仅8GB GPU上运行Brutal Llama 8B + RAG + 24k上下文的方法
关于新记忆模块的任何想法？（用于角色扮演和其他目的）
Meta刚刚在HF上发布了新的Llama 3.1 405B
在与本地模型交谈时，你如何保存、组织、分享你的聊天记录？
新模型 - 无审查版Llama 3.1 8B Lexi
你的AI，无处不在 – 从助手到伴侣：如何将你的个性化AI随身携带
鼓手Theia 21B v1 - 一个增强版的NeMo曲目，具有强化的人际关系和讲故事能力。来自…好吧，你知道剩下的。
Snapchat的MyAI由GPT4驱动+泄露的系统提示
ProLLM更新 | 新现实世界基准：编码、实体提取、函数调用、SQL查询消歧和StackUnseen
公告–即将支持 (8B参数) MiniCPM-V-2.5 @llama.cpp。文本、图像和视频聊天
从零开始实现LLaMA 3.1 8B的功能调用，一些挑战与反馈！
LMSYS上新的sus-column-r模型。它简直搞砸了
CodexGraph. 使用知识图谱的编码代理似乎优于基于RAG的代理
谷歌大幅削减Gemini Flash价格以应对GPT-4o mini
改进的文本转语音模型：Hugging Face 的 Parler TTS v1
向量股票市场机器人：一个跨平台、本地、开源的代理，使用LLama3.1-8B-instruct分析一篮子股票代码，并每天自动买入或卖出每个股票代码，无限期地，有效地以无人值守的方式重新平衡您的投资组合。
Qwen2-Math | 基于Qwen2的数学特定模型系列
本地Llama405b与claude sonnet 3.5一样好吗？
AI独角兽Hugging Face收购一家初创公司，最终将托管数亿模型 | 福布斯
[播客] 高盛CIO谈银行如何实际运用AI（开源模型部分从25:00开始）
LMSYS Arena: Mistral Nemo 在哪里？
Llama 3.1 指令 - 12.2B 扩展版。
Llama CPP 取消了微调支持，你现在用什么？
DecentAI - 在iOS/Android上连接您自己的大型语言模型
Tess-3（Mistral-Large-2-123B）和Trinity-2（Codestral）
实验性llama3-s：一种早期融合的音频与文本多模态模型
LG AI发布Exaone-3.0，一款7.8亿参数的SOTA模型
Llama3.1 405b + Sonnet 3.5 免费使用
骁龙X CPU推理速度快！（Q_4_0_4_8量化）
新的gpt-4o-2024-08-06在aider的代码编辑基准测试中与原始gpt-4o得分相同
auto-md | 工具 | 一键转换文件/压缩包 + GitHub 仓库为 Markdown 文档 (.md)
Gemma 2 9b VS Mistral Nemo 12b? (顶级小型模型?
llama 3.1 内置工具调用 Brave/Wolfram：终于搞定了。我学到了什么：
为工作购买新的苹果笔记本电脑 - 目前没有进行"AI"工作，但对公司来说有兴趣，36GB vs 48GB vs 96GB统一内存的机会有什么重大变化吗？
Llama3.1 405B quants 现已加入 Ollama 库
是否可以模仿ChatGPT的记忆和自定义指令功能？
Altman威胁OpenAI前员工，若出现负面公关则取消其股份。这是开玩笑吗？
DeepSeek API 引入磁盘上下文缓存，输入令牌价格降至十分之一
马克西姆·拉博恩：BigLlama-3.1-1T-Instruct（使用Meta-Llama-3.1-405B-Instruct进行实验性自我合并，由Arcee.AI的mergekit创建）
将123B Mistral-Large-Instruct-2407量化至35GB，仅损失4%的准确率。
开源Text2Video生成技术来了！ChatGLM的创造者刚刚开源了CogVideo。
使用nvidia-pstated实现P40自动电源管理
淋浴时的想法：如果我们制作Magnum 32b & 12b的V2版本会怎样？（剧透：我们做了！）
OpenAI 联合创始人舒尔曼和布罗克曼退居幕后。舒尔曼将离开加入Anthropic。
Gemini 1.5 Pro Experimental 0801 对于一个闭源模型来说出奇地未经审查
关于仅使用CPU（双通道DDR5 96GB）推理设置的问题：预算应优先考虑内存速度还是CPU核心/速度？
Sam “Spook” 会吓到 Uncle Sam 以关闭 Llama 4 吗？
我们正在制作一款游戏，其中LLM驱动法术和世界生成
LLAMA 3.1 8B 驱动 - 每日现代报纸 - 无偏见 & 专注于事实
Flux的架构图 :)
没有找到相关论文，所以快速浏览了他们的代码。可能有助于理解当前的Diffusion架构
也许是个愚蠢的问题：是先放置文本输入再提问，还是反过来更好？
介绍 Wavify：设备上的语音处理超越 whisper.cpp
首次有组织同时成为Hugging Face上#1和#2的热门模型和空间（FLUX）（来自Clément Delangue在X上的分享）
27-35B vs 70-72B模型在RP中的比较
据报道，英伟达推迟下一代Blackwell AI芯片；对行业有重大影响
在使用Llama-3.1 70B处理长上下文（8000+个标记）时，llama.cpp服务器在响应第一个标记之前需要26秒来处理上下文。而TabbyAPI/exllamav2则是即时的。这是我的问题，llama.cpp的问题，都不是，两者都有点，还是完全其他原因？
有没有像Claude Artifacts这样可以在本地运行的工具？
你认为ElevenLabs在幕后做了什么让它如此出色？
深入理解过拟合，为何它在未来是好的且重要的？Llama 3 70B性能解析！
voicechat2 - 一个使用WebSockets的开源、快速、完全本地的AI语音聊天
鉴于这个领域发展如此迅速，你认为两年后LLM会发展到什么程度？
也许是个愚蠢的问题，但有人能让模型“固定”认为它是金门大桥或其他什么地方吗？还是只有专家才能做到这一点？
我一直在使用新的Gemini Pro 1.5 - exp - 0801..来编写代码。它太棒了。免费200万令牌也很棒！！！爱它
对于Gemma-2-2b，您可以将Windows上下文扩展到32K+
我在免费的OCI ARM虚拟机上以仅CPU模式运行Gemma2 2b，并配备了24GB内存，效果让我印象深刻
AutoGGUF: 一个（自动化）的GGUF模型量化图形界面
Gemmasutra Mini 2B v1 by TheDrummer - 7B以下最佳模型！一个蕴含不可思议力量的模型。
增强角色扮演（及其他过程）与LLMs的简单（愚蠢）技巧，尤其是像7-12B这样的小型模型
评价我的新不稳定设置 + 拥有96GB内存和96GB显存可以如何自动化业务？
是否有现成的AI代理产品/操作系统项目可以生成代码并执行它？
尝试这些设置以延长（或甚至缩短）LLama 3.1的上下文大小。（特别是对于RP）
来自infly-ai的新34B预训练模型。在3.5T令牌（中英文混合）上训练，声称性能与Yi-1.5-34B和Qwen-1.5-32B相似。
不在乎一个项目发布吗？无论如何都要进入帖子，帮助解决每个开源开发者都面临的问题
在家用服务器上运行Llama 3 70b的硬件要求
本周没有大型模型发布（除了FLUX-1，Gemini 1.5 0801）。接下来几周的管道情况如何？
ParLlama v0.3.4 刚刚发布。核心代码重大重写，带来速度提升和错误修复。新增自定义提示管理库。
有人尝试过使用字符级别的“分词器”训练大型语言模型吗？
运行本地LLM的软件痛苦终于让我受不了了——所以我做了一个自己的推理服务器，你不需要在新模型/分词器发布时进行编译或更新；你不需要量化甚至下载你的LLM——只需给它一个名字，并在它们发布在HuggingFace上的那一刻运行LLM
当Llama 3.1 8b的128k上下文长度被填满时，会使用多少内存？
为什么没有70B版本的bitnet 1.58b模型？
Koboldcpp 感谢帖（AMD 上的图像生成）
Phi3 mini 上下文占用过多内存，为什么要使用它？
aiOla 发布超快速‘多头’语音识别模型，超越 OpenAI Whisper
Gemma2 2B IT is the most impressive small model I ever seen.
我有一台配备128GB显存的MBP。你会用它来起草、修订等非小说/商业文档吗？
愚蠢的问题：是否可以在Blender文档上训练一个LLM？
如何提高分类任务的速度？我应该放弃Ollama和LlamaIndex吗？
AI代理现在可以无缝地通过编排歌词、音乐创作、故事板、图像生成、图像到视频转换以及整体视频制作来创建音乐视频。
我有一整台NVIDIA DGX A100可供使用，我应该运行哪些基准测试？
Vector Companion - 您的100%本地、私有多模态AI伴侣，分为两个代理：Axiom和Axis，一个语音到语音框架，您的机器人可以查看图像/文本，监听计算机音频并直接与您（以及彼此）实时交谈，无限期！
LLM-speed-benchmark，一个易于使用的工具，通过API直接测量模型的性能
LMSYS 聊天机器人竞技场编码评分与API成本（2024-08-01）
Gemma2-2B 在 iOS、Android、WebGPU、CUDA、ROCm、Metal… 上使用单一框架
微软推出Hugging Face的竞争对手（等待名单注册）
gemini-1.5-pro-exp-0801 刚刚抵达聊天竞技场
介绍sqlite-vec v0.1.0：一个在任何地方运行的向量搜索SQLite扩展
在OpenRouter上，Llama 3 405B的非量化模型提供商是什么？
是否可以将两台配备RTX 4090的PC"链接"起来，以实现总共48Gb的显存？
fal宣布Flux，一款新的AI图像模型，他们声称其让人联想到Midjourney，并且拥有12B参数的开源权重
“破解了bitnet进行微调，结果得到了一个74mb的文件。在仅使用1个CPU核心的情况下，每秒处理198个令牌，简直是巫术。”
如何在Windows 11上本地构建支持NVIDIA GPU加速的llama.cpp：一个实际可行的简单分步指南
更大的量化是否会使RP使用中的句子变得更糟，或者在可以观察到差异的地方？
小规模OSS贡献者是否在开放权重LLMs领域取得了任何真正的改进或创新？
Llama 3.1: 相同模型，不同结果。百分之一的影响。
PyTorch刚刚发布了他们自己的LLM解决方案 - torchchat
什么是SwiGLU？一个从底层到顶层的全面解释，以及为什么每个新的LLM都使用它
谷歌悄悄发布了一个稀疏自动编码器来解释Gemma 2和9b。这是他们整理的一个谷歌Colab，帮助你入门。非常令人兴奋，希望Meta也能效仿这一做法！
Llama 3.0-3.1 还是 Nemo 12B 用于故事写作/RP？
谷歌的Gemma-2-2B与微软的Phi-3：医疗领域小型语言模型的比较分析
制作了一个小巧但速度极快的工具，可以在几秒钟内编辑、处理和清理数千个文本
哇，SambaNova在他们ASIC硬件上让llama 405B达到了每秒超过100个令牌，而且你无需注册或任何手续就能使用。
有趣的比较：Gemma2 9b-q8_0 vs 27b-q2_K
MN-12B-Celeste-V1.9 - 最大一致性，最小混乱
RTX3090 功耗调整结果：LLM、视觉、TTS 和扩散模型
Gemma-2 2b 4位 GGUF / BnB 量化 + 支持Flash Attention的2倍快速微调！
谷歌刚刚推出了3款新的Gemma产品（Gemma 2 2B、ShieldGemma和Gemma Scope）
寻找一个使用Ollama模型进行函数调用的简单实用示例。
我可以在i7 12核和32GB内存的电脑上运行Mistral 8x7 of 24b吗？
Llama-3.1 8B 4-bit HQQ/校准量化模型：相对性能达到FP16的99.3%，推理速度极快
xAI 可以轻松训练一个大型 Mamba 和 bitnet
为什么Q4似乎始终能超越包括Q8在内的所有其他量化?
Mistral Large 123b 可能被修剪至 74b - 有人在进行这项工作吗？
多GPU内存溢出系统中CPU、RAM和PCIe带宽对推理的关系
关于AMD和Intel CPU运行LLM的快速问题
Lmsys发布Gpt4o-mini对战 - 获胜的Claude 3.5十四行诗
又一个可尝试的长上下文语言模型：MegaBeam-Mistral-7B-512k
这是在M2 Ultra上运行Llama 3.1 405B 4bit的样子
Python 在不使用 Docker 的情况下调用本地 llama
基准测试大型语言模型作为休闲卡牌游戏AI（玩《王国建设者》）
你们在本地RAG中使用的是哪个小于12B的小模型？
Zamba2-2.7B > 超越Phi2 2.7B、Danube3 4B和StableLM 3B
LoRA微调有时是否不如对较小模型进行全面微调有效？
Llama 400和70在英语排行榜上位列第一和第二
Lllama 3在聊天机器人竞技场排名第三；70B排名第九
我编写了一个羊驼聊天机器人来索引我的电子书并提供战锤游戏技巧，现在它已开源。
你需要足够的VRAM来容纳整个FP16模型以便进行量化吗？
请哪位能解释一下3.1llama模型的命名规则吗？
Redcache是一个用于提升大型语言模型内存的Python包 - 免费且开源。
新论文：“元奖励语言模型” - 无需人类反馈的自我改进AI
让我们测试模型的阅读理解能力，而不是大海捞针测试！
[新手求助] 有没有办法提高Llama3.1在对话中的注意力？
如果Meta开源他们的图像模型会怎样？影响可能会非常大！
要让AI/LLM玩我的RPG Maker项目并从中获得平衡建议有多难？
NVIDIA NIM现对开发者计划成员免费开放 | NVIDIA技术博客
本地LLM安全：在聊天中对本地模型进行去审查是一个技能问题
Llama 3.1现在是最擅长编写Wolfram代码的 | Wolfram LLM基准测试项目
为Meta下一款大型语言模型投票，你希望看到什么样的？
Codestral Mamba 对 llama.cpp (Ollama) 的支持有新消息吗？
您期待当前/即将推出的框架有哪些功能？您遇到了哪些持续的困扰？
你好Mistral团队，你们能开源你们过时的模型吗？
我一直在Llama 3.1 8B中遇到这个错误：“llama.cpp错误：“done_getting_tensors: 张量数量错误；预期292，得到291””
Mistral NeMo 对比 Llama3.1 8B
Llama 3.1在GPU实例上进行推理的最快路径是什么？
如何让llama 3.1在编码中变得有用，而不需要100层抽象？
llama.cpp - 这么多选项！你最喜欢哪些？
本地大型语言模型经常反复重复“请告诉我这是否符合您的要求”这样的句子
Mixtral Large 在 OpenFoam 中帮助我进行流体模拟，附带精彩视频
Mistral 12B Celeste V1.6 - 最大连贯性，最小混乱！
语言模型在4块GeForce 4060 Ti上运行非常慢（3.7 t/s），在6块GeForce 4060 Ti上速度同样缓慢…为什么？
新ZebraLogicBench评估工具+Mistral大型性能结果
mamba-codestral-7B-v0.1 使用体验分享？
Gemmasutra Pro 27B v1 🧘 一款中档RP模型，湿润效果出众。来自CreamPhi、Moistral、Llama 3SOME、Smegmma和Tiger的创造者！
“阅读” / “记录” / “捕捉” 实际LLM推理过程的最高层次，但要有足够细节使其真正有效？
如何了解不同大型语言模型（LLM）的硬件需求和性能评估？
目前最佳的多模态大型语言模型（最高可达100亿参数）用于视觉问答？
带有负载均衡器的Llama.cpp比阿芙罗狄蒂更快？？
Lite-Oute-1: 新300M和65M参数模型，提供指导版和基础版两种版本。
杰玛2 27B iq2能否击败羊驼3.1 8b q8？
如何充分利用Ollama的工具支持？除了它之外，您还使用了哪些库来提供现成的工具？简化工具生成必须具备哪些要素（例如从文档字符串或类似内容生成函数调用JSON）？
LLM新手：代码和工具模型；无需开发经验就能达到生产水平吗？
推断一个缩小规模的模型让我遇到了“列表索引超出范围”
NPUs会取代GPU成为本地大型语言模型的首选吗？
给大家的小礼物：一个易于使用的离线API，提供完整的维基百科文章。启动它，向端点发送查询/提示，获取匹配的完整维基文章进行RAG。
L3.1 8B Celeste V1.5 - 人类散文LLM的新时代，摆脱了草率之作
大型语言模型在消费级CPU和RAM上的运行速度如何？
Llama 3.1 405b在zebraLogic推理中排名第二！
[llama 3 8b] llama 3b在日常基本决策中的表现如何？
尝试在4090和GV100之间选择，用于同时处理基于文本和图像生成的项目，你有什么建议？
我正在进行的项目是一个单文件（现已超过1400行）的.py聊天应用程序，旨在尽可能多地集成与本地模型等聊天的功能。我刚刚添加了简易的RAG支持。请告诉我您的想法。
使用Mistral Large 2进行推测性解码 - 有哪些草稿模型可以尝试？
Llama 3.1 70B 发现食谱中缺少一种食材。
并排比较：Llama 405B 对比 GPT-4o Mini 对比 Claude 3.5 Sonnet 对比 Mistral Large 2
有人想测试我在Ollama中启用量化K/V缓存的PR吗？
GPT-*似乎完全无法重写含有语法错误和拼写错误的文本。而LlaMa-3.1-70B却能完美地做到这一点。
需要帮助：在大数据集（10万+文档）中按主题分类文档的最佳方法
请求：模型创建者/微调者 - 请提及您模型的上下文大小。
从哪个提供商可以获取最纯净版本的Llama3.1 405B？多模态版本（能读取图像）何时推出？
llama.cpp: 支持 llama 3.1 rope 缩放因子合并
Llama3.1指令模型仍有新提交 - 修复了工具调用问题
LLMs真的能从零开始构建生产就绪的应用程序吗？讨论
本地DeepSeeK-V2推理：预填充每秒120次，解码每秒14次，仅使用21GB 4090和136GB DRAM，基于Transformer技术
Mistral Nemo 在 128K 的秘密：使用基础模型
LibreOffice Writer 本地推理AI扩展。
Mistral Large 2 能够零样本解码Base64
Llama 3.1 模型是“虚假蒸馏” - 这应该公开澄清
Mistral Nemo 12B Instruct 是eRP的杀手锏 - 故事讲述
为什么GPT-4o mini在LMSys上胜过Claude 3.5 Sonnet
Gemma 9b 可以原生解码 Base64。我尝试过的下一个最小能做这个的模型是 Llama-3 70b。Llama-3.1-8b 不能。
SpaceLlama3.1：专为空间推理设计的VLM
为什么大型AI模型的低量化版本比小型8B模型更少失去其智能？
直到Llama-3.1模型在GGUF中的RoPE缩放问题解决之前，只需使用这个频率（已测试至80K）
GPT-4o mini 对比 Llama 3.1 405 B 对比 Mistral Large 2 对比 Claude Sonnet 3.5
来自Philipp Schmid在X上的帖子：Hugging Face Hub每天处理超过6PB的数据和近10亿次请求
有人拥有128GB内存的MacBook吗？在您的系统上运行Llama 70B有多快？
我制作了一个使用本地LLama3.1-8b（不调用OpenAI或Claude）的AI驱动编辑器，可以在浏览器中使用！快来看看吧：https://editor.yyjhao.com
在48 GB显存上运行Mistral大型（123b）
常规用户使用LLAMA 3.1（4050亿参数）的实际挑战：（OpenAI ChatGPT用户）
四张RTX3060与两张RTX3090与一张RTX4090的推理测试对比
警告：托管的Llama 3.1质量可能因提供商而异
我创建了一个网站（wiz.chat），可以在你的浏览器中运行Llama-3SOME-8B
Tele-FLM-1T：一个万亿参数的开源多语言大型语言模型。
Llama 3.1现已面向家庭AI集群开放！全新分布式Llama版本，在家即可运行量化版3.1 8B，全上下文（131k令牌）支持
闭源与开源模型对比——Maxime Labonne
使用Llama 3.1、新DeepSeek Coder与Mistral Large进行编程
[llama.cpp] Android用户现在得益于改进的arm64支持，实现更快的提示处理。
Mistral-large-2407 LiveBench 分数与排名更新
介绍InternLM-Step-Prover：MiniF2F、Proofnet和Putnam基准测试中的最新数学证明器。
DeepSeek-Coder-V2-0724今日发布，在助手排行榜中位列第二
405B Q3_K_M 在 AM5 7950x + 192gb CL30 6000 + 4080 适度游戏电脑上运行，0.34tps
Llama 3.1 405B Q5_K_M 在 AMD Epyc 9374F 上的实时性能表现
Llama-3.1 本地浏览器内推理，无需设置（WebGPU 加速）
运行Llama 3.1，现已支持正确的RoPE，现场量化，与mistral.rs结合！
Llama 405B Q4_K_M 量化模型在本地以约1.2个令牌/秒的速度运行（多GPU配置+大量CPU内存）
Mistral-Large-Instruct-2407
MistralAI/Mistral-Large-Instruct-2407 · Hugging Face. 新开源123B模型在代码基准测试中超越Llama 3.1 405B
“足够大” | 宣布Mistral Large 2
Llamacpp + WebUI 自动模型切换功能
我为代码仓库实现了RAG，以提供新代码生成的上下文。以下是在仅有16GB内存和约5k上下文窗口的Apple M1 Pro机器上，Llama-3.1-8B量化版本的表现。
LLaMA 3.1在SIMPLE基准测试中击败了Gemini 1.5 Pro和GPT4o，但Claude 3.5仍居首位。
多模态Llama 3在欧盟不可用，我们得感谢这个人。
Anthropic Claude 可以随时屏蔽你。
llama 400b在实时排行榜上位列第三。@企业用户，这对OpenAI的商业模式意味着什么？