被喷麻了的OpenAI终于又开源了

该项目的开源工具是Transformer Debugger，这是一种用于分析变压器内部结构的工具。研究人员可以在不编写代码的情况下快速探索LLM的内部结构，从而研究小型模型的具体行为。
变压器调试器简介
Transformer Debugger（TDB）是由OpenAI对齐团队（Superalignment）开发的一种工具，用于支持检查小容量语言模型的特定行为。据报道，该工具将自动可解释性技术与稀疏自动编码器相结合。
具体来说，TDB可以在编写代码之前快速探索并干预正向传播，帮助人们了解它如何影响特定于模型的行为。TDB可用于回答诸如“为什么模型在此提示中输出令牌A而不是令牌B？”或“为什么模型的焦点从令牌H转移到令牌T？”
它识别有助于行为的特定组件（神经元、兴趣点、自动编码器延迟），显示自动生成的解释，以分析导致这些组件最强激活的原因，并跟踪组件之间的连接，以帮助人们发现相关性，从而帮助人们进行Transformer调试工作。
OpenAI发布了几段视频，概述了TDB的功能，并演示了如何将其用于论文“野外可解释性：GPT-2 Small中的直接对象识别电路”中介绍的工作：
这一次，OpenAI的开源内容包括：
神经元查看器：一个React应用程序，用于托管TDB和包含各种模型组件信息的页面（MLP神经元、兴趣点和两者的自动编码器延迟）。
激活服务器：对主题模型进行推理并为TDB提供数据的后端服务器。它还从公共Azure存储桶中读取并提供数据。
模型：GPT-2模型及其自动编码器的简单推理库，具有捕获激活的钩子。
组织激活数据集：包含MLP神经元、兴趣点和自动编码器潜伏期的数据集示例。
安装步骤