ShieldGemma 发布 - 一个谷歌收藏

本次讨论主要集中在Google Collection中的ShieldGemma Release，焦点在于用户输入的安全处理和标记化技术。参与者讨论了如何处理包含控制标记的未净化内容，以及这些标记在模型中的具体处理方式。讨论涉及标记的替换、特殊符号的处理以及数据和控制信息在同一通道中的传输问题。

👍 如果应用程序发送未净化的内容，并且内容以 <eot> 作为第一个标记，可能会导致失败。
- 支持理由：未净化的内容可能导致系统错误或安全漏洞。
- 反对声音：有人认为可以通过其他方式处理这些特殊标记。
🔥 应该净化文本中的开始/结束标记，并移除所有特殊符号。
- 正方观点：净化文本可以提高系统的安全性和稳定性。
- 反方观点：完全移除特殊符号可能会影响数据的完整性。
💡 可以通过简单地替换 <eot> 为 < e o t > 来处理特殊符号。
- 解释：这种替换方法可以有效避免特殊符号引起的问题，同时保持数据的可用性。

“😂 ResidentPositive4122：Calling it now, it will fail if the app sends unsanitised content and the content has <eot> as the first token…”
- 亮点：直接指出了未净化内容可能带来的风险。
“🤔 pseudonerv：well, that wouldn’t matter. you are supposed to sanitize the texts between these start/end_of_turn tokens, and remove all special token symbols.”
- 亮点：强调了净化文本的重要性。
“👀 ResidentPositive4122：and then someone will find that <fin_du_tour> works. This isn’t just about sanitising input, it’s about sending control & data over the same channel.”
- 亮点：提出了数据和控制信息在同一通道中传输的问题。

讨论的总体情感倾向较为中性，参与者对于如何处理特殊标记和未净化内容有不同的看法。主要分歧点在于是否应该完全移除特殊符号，以及如何平衡安全性和数据完整性。