1. 项目概述与核心价值最近在安全研究圈子里一个名为 ChatGPT-API-Scanner 的开源工具引起了我的注意。简单来说这是一个专门用来在 GitHub 上“捡漏”的工具它的目标很明确通过自动化搜索找出那些被开发者无意间提交到公开仓库里的 OpenAI API 密钥。看到这个项目我的第一反应是这玩意儿太适合用来做安全意识和资产暴露面的研究了。对于开发者而言它能帮你检查自己的项目是否“裸奔”对于安全研究员它则是一个绝佳的案例库用来分析密钥泄露的模式和风险。这个工具的核心逻辑并不复杂但实现上却有不少值得玩味的细节。它没有使用官方的 GitHub API而是选择了通过 Selenium 模拟浏览器操作直接进行网页搜索。这背后其实绕开了一个关键限制GitHub 的官方搜索 API 不支持正则表达式而网页版搜索可以。为了获取更精确、更大量的结果作者还巧妙地通过限定编程语言来“分而治之”以突破网页搜索只显示前5页结果的限制。最终所有扫描到的密钥及其状态是否有效、余额等都会被存入一个本地的 SQLite 数据库方便后续分析和验证。在深入使用和剖析这个工具后我打算从安全研究的角度完整拆解它的设计思路、技术实现、实操要点并分享一些在复现和研究过程中积累的独家心得与避坑指南。无论你是想了解自动化资产发现还是对密钥泄露防护感兴趣这篇文章都能给你带来实实在在的干货。2. 核心设计思路与技术选型解析2.1 为何选择网页爬虫而非官方 API这是该项目第一个关键的技术决策。项目 FAQ 里已经给出了直接答案为了使用正则表达式搜索。但这背后的权衡远不止于此。GitHub 的官方 REST API 和 GraphQL API 确实功能强大但它们对搜索的语法支持是有限的。特别是对于code搜索它主要支持简单的关键字匹配、仓库过滤、语言过滤等。如果你想搜索一个符合特定模式例如以sk-开头后跟一串特定长度字符的字符串官方 API 是无能为力的。而网页版的 GitHub 搜索其底层引擎对模糊匹配的支持更强虽然用户界面上没有明确提供正则选项但通过精心构造的搜索词配合 Selenium 对页面源码的解析可以实现类似正则匹配的效果。此外使用 API 还会面临严格的速率限制。未经认证的请求每小时只有60次即使使用个人访问令牌PAT搜索 API 的速率限制也相对严格。而通过模拟浏览器行为虽然单次请求速度慢但可以更好地模拟人类操作规避一些基于 API 调用频率的防护策略。当然这也带来了新的挑战比如需要处理登录状态、应对页面加载延迟和可能的反爬机制。注意使用 Selenium 进行自动化操作必须遵守目标网站此处为 GitHub的服务条款。该项目明确声明仅用于安全研究提醒他人保护资产。在实际使用中务必控制请求频率避免对 GitHub 服务器造成不必要的负担否则可能导致 IP 被封禁或账户受限。2.2 搜索策略分语言“化整为零”第二个精妙的设计在于搜索策略。如果直接搜索“sk-”这类宽泛的关键词结果会非常多但 GitHub 网页搜索只会展示最相关的前5页大约100个结果。这意味着海量潜在的泄露密钥根本无法通过常规搜索触及。项目的解决方案是“分语言搜索”。它内置了一个默认的编程语言列表如 Python, JavaScript, Java, Go 等然后遍历这个列表针对“sk-”和每一种语言的组合进行搜索。例如先搜索“sk-” language:python再搜索“sk-” language:javascript。为什么这样做有效GitHub 的搜索排序算法会优先展示与搜索条件最匹配的结果。当限定语言后搜索结果池子变小了排序算法能更精准地将包含疑似 API 密钥的代码文件排到前面。这样对于每一种语言我们都有机会获取其“赛道”内最靠前的、最可能包含密钥的100个结果。将所有语言的结果汇总就能显著提高有效密钥的发现数量。这是一种非常实用的“绕过”搜索限制的思路。2.3 工具链选型uv 与 Selenium 的搭配项目依赖管理使用了新兴的uv而不是传统的piprequirements.txt。uv是一个用 Rust 编写的极速 Python 包管理器和解析器由 Astral 团队也是 Ruff 的创造者开发。它最大的优势是快——创建虚拟环境、依赖解析和安装的速度远超 pip。对于这样一个需要干净环境的研究型项目使用uv能让你快速搭建和复现环境减少在依赖问题上的折腾时间。核心自动化工具选择了 Selenium。这是一个老牌且强大的浏览器自动化测试框架。选择它而非更轻量的requestsBeautifulSoup组合主要原因有三登录与会话保持搜索可能需要在登录状态下进行尤其是为了突破某些搜索频率限制Selenium 可以完美模拟完整的登录流程并管理 Cookies。JavaScript 渲染GitHub 是动态网页部分内容可能由前端 JavaScript 加载。Selenium 驱动真实浏览器如 Chrome能确保获取到与人工浏览时完全一致的页面内容。交互模拟如果需要处理弹窗、翻页等复杂交互Selenium 提供了丰富的 API。项目搭配的是 Chrome 浏览器因此需要本地安装 Chrome 和对应版本的chromedriver。uv sync命令会处理 Python 依赖但浏览器和驱动需要用户自行准备这是部署时需要留意的第一个小坑。3. 环境部署与工具运行实操详解3.1 系统与环境准备项目声称在 macOS, Windows 和 WSL2 上测试通过。我的实操环境是 Ubuntu 22.04 LTSWSL2 内以下步骤也适用于大多数 Linux 发行版。第一步安装系统必备组件除了项目提到的 Google Chrome我们还需要确保一些基础编译工具和库已安装这是为了顺利编译某些 Python 依赖包如果 uv 从源码构建的话。sudo apt update sudo apt install -y wget curl git python3-pip # 基础工具 sudo apt install -y build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev # 编译依赖第二步安装 Chrome 浏览器在 Linux 上可以通过官方源安装 Chrome。wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - sudo sh -c echo deb [archamd64] http://dl.google.com/linux/chrome/deb/ stable main /etc/apt/sources.list.d/google-chrome.list sudo apt update sudo apt install -y google-chrome-stable安装后可以通过google-chrome --version确认版本号例如Google Chrome 123.0.6312.86。记住这个版本号下一步需要匹配对应的驱动。第三步安装 ChromeDriverChromeDriver 是 Selenium 控制 Chrome 的桥梁版本必须与 Chrome 浏览器严格匹配。访问 ChromeDriver 下载页 或直接使用已知的版本链接。更稳妥的方法是查询当前 Chrome 支持的最新驱动版本。使用命令行工具匹配版本推荐# 获取已安装的 Chrome 版本 CHROME_VERSION$(google-chrome --version | grep -oP \d\.\d\.\d\.\d) # 查询对应的 ChromeDriver 版本号 (需要 jq 工具sudo apt install jq) DRIVER_VERSION$(curl -s https://googlechromelabs.github.io/chrome-for-testing/last-known-good-versions.json | jq -r .channels.Stable.version) echo “Chrome 版本: $CHROME_VERSION” echo “匹配的 Driver 版本: $DRIVER_VERSION”下载并安装匹配的 ChromeDriverwget -O /tmp/chromedriver.zip https://storage.googleapis.com/chrome-for-testing-public/${DRIVER_VERSION}/linux64/chromedriver-linux64.zip unzip -o /tmp/chromedriver.zip -d /tmp/ sudo mv /tmp/chromedriver-linux64/chromedriver /usr/local/bin/ sudo chmod x /usr/local/bin/chromedriver # 验证安装 chromedriver --version实操心得Chrome 与 ChromeDriver 的版本匹配是 Selenium 运行中最常见的错误来源。如果启动脚本报错提示版本不匹配请严格按照上述步骤重新核对和安装。也可以考虑使用webdriver-manager这类 Python 库在运行时自动管理驱动但本项目未采用此方案可能是为了减少依赖和保持环境确定性。3.2 使用 uv 安装项目依赖uv的安装非常简便。项目推荐通过curl管道安装这是目前 Rust 生态工具的标准安装方式。# 安装 uv curl -LsSf https://astral.sh/uv/install.sh | sh # 安装完成后根据提示重启终端或 source 对应 shell 的配置文件 # 例如 bash: source ~/.bashrc # 验证安装 uv --version接下来克隆项目并安装依赖git clone https://github.com/Junyi-99/ChatGPT-API-Scanner.git cd ChatGPT-API-Scanner # 同步依赖这会自动创建虚拟环境并安装所有包 uv sync # 如果想安装开发工具如代码检查工具可以运行 # uv sync --all-groupsuv sync命令会读取项目根目录的pyproject.toml和uv.lock文件自动配置一个独立的虚拟环境并安装所有必要的依赖包如selenium,requests,regex等。虚拟环境通常位于项目目录下的.venv文件夹中。后续运行脚本时使用uv run前缀会自动激活这个虚拟环境并执行命令无需手动source activate。3.3 首次运行与 GitHub 登录环境就绪后可以直接运行主脚本。uv run main.py首次运行时脚本会启动一个 Chrome 浏览器窗口并导航到 GitHub 的登录页面。这里需要你手动完成登录。这是关键一步因为后续的搜索请求将携带登录后的会话信息。登录后注意事项不要关闭浏览器窗口脚本会控制这个窗口进行后续操作。手动关闭会导致程序报错。注意双因素认证2FA如果你的 GitHub 账户启用了 2FA脚本可能会停留在 2FA 验证页面。目前版本的脚本似乎没有自动处理 2FA 的流程你需要手动在浏览器弹出的页面中输入验证码或确认登录。会话保持成功登录后Selenium 会维护这个会话。理论上只要不关闭这个浏览器实例后续扫描都可以复用登录状态。但脚本设计是每次运行都重新启动浏览器并登录。避坑指南如果你在无图形界面的服务器如纯命令行终端上运行标准的 Selenium 会报错因为它无法弹出浏览器窗口。此时需要配置“无头模式”。你可以修改main.py中的 Chrome 选项添加--headlessnew参数。但请注意无头模式下处理登录尤其是可能存在的验证码会更加困难。对于此类研究工具建议在带有桌面环境的系统或 WSL2 配合 Windows 桌面显示的情况下运行。4. 核心扫描流程与代码逻辑拆解4.1 主循环与搜索逻辑让我们深入main.py看看扫描是如何进行的。核心逻辑是一个多层循环结构外层循环遍历关键词。默认关键词列表包含“sk-”等与 OpenAI API 密钥模式相关的字符串。中层循环遍历编程语言。使用内置的语言列表。内层循环遍历搜索结果的页面。对于每一个关键词语言组合脚本会构造一个 GitHub 搜索 URL例如https://github.com/search?q“sk-”language%3Apythontypecode。然后它使用 Selenium 访问这个 URL并尝试解析页面上的代码仓库链接。页面解析与结果提取脚本使用driver.page_source获取页面完整的 HTML 源码然后利用正则表达式可能是regex库功能比标准re更强大在源码中查找符合 API 密钥模式的字符串。OpenAI 的 API 密钥通常以sk-开头后跟一串大小写字母和数字。脚本会使用一个更精确的正则模式来匹配例如rsk-[a-zA-Z0-9]{48,60}以过滤掉无效的匹配。为什么在源码里搜而不是在渲染后的文本里搜因为 API 密钥可能出现在代码注释、字符串常量、配置文件等多种上下文中。直接搜索页面源码能确保不会遗漏任何文本节点中的内容。这也是使用 Selenium 获取page_source的优势之一。4.2 密钥去重与验证机制扫描到疑似密钥的字符串后脚本并不会直接将其视为有效。它有一套简单的去重和验证流程本地去重脚本会将当前批次扫描到的密钥与一个临时集合进行比较避免在同一轮扫描中重复记录相同的字符串。数据库去重所有扫描到的密钥无论是否有效都会首先被尝试插入一个 SQLite 数据库github.db。数据库表中密钥字符串本身通常被设置为主键或唯一索引这利用了数据库的特性来实现全局去重。状态验证这是最关键的一步。对于新插入数据库的密钥脚本会调用一个验证函数。这个函数会尝试使用该密钥向 OpenAI API 发起一个非常轻量级的请求例如查询账户余额https://api.openai.com/v1/dashboard/billing/credit_grants或模型列表https://api.openai.com/v1/models。结果更新根据 API 的响应脚本会更新数据库中该密钥的状态。常见的状态包括valid密钥有效并可能附带余额信息。invalid密钥无效API 返回认证错误。rate_limited验证请求被速率限制。error网络错误或其他未知错误。重要提醒直接使用扫描到的密钥向 OpenAI 发起验证请求这一行为本身会消耗该密钥所属账户的额度虽然极少并且会使该验证请求的 IP 地址和密钥产生关联。从安全研究伦理角度极其不推荐对非自己拥有的密钥进行任何形式的验证或调用操作。项目的本意是“提醒他人保护资产”验证功能或许只是为了演示工具能力。在实际研究中更负责任的做法是仅记录泄露模式如密钥出现在什么类型的文件、什么仓库中而不去实际触碰ping这些密钥。4.3 数据存储与结果分析所有数据都存储在一个名为github.db的 SQLite 文件中。SQLite 是一个轻量级、文件式的数据库无需单独启动数据库服务非常适合这种桌面级应用。数据库表结构可能包含以下字段id: 自增主键。api_key: 密钥字符串唯一。source_url: 发现该密钥的 GitHub 代码文件链接。repository: 所属仓库。language: 代码语言。status: 验证状态如 valid, invalid。balance: 账户余额如果验证成功且能获取。created_at: 记录创建时间。checked_at: 最后一次验证时间。你可以使用任何 SQLite 浏览器如 DB Browser for SQLite或命令行工具查看结果。# 使用命令行查看 sqlite3 github.db sqlite .tables # 查看所有表 sqlite SELECT * FROM api_keys LIMIT 10; # 查看前10条记录 sqlite SELECT status, COUNT(*) FROM api_keys GROUP BY status; # 统计各状态密钥数量分析这些数据你可以得到一些有趣的洞察例如哪种语言的代码中最容易泄露密钥密钥通常出现在什么类型的文件里.env,.py,.js,.json这为制定针对性的代码安全扫描规则提供了宝贵的数据支持。5. 高级用法与参数调优5.1 命令行参数详解工具提供了一些命令行参数来定制扫描行为合理使用可以提升效率或满足特定需求。--from-iter这是最重要的参数之一用于断点续扫。扫描过程是顺序遍历关键词 × 语言的组合这个组合可以被视为一个迭代序列。如果脚本因为网络问题、程序错误或手动中断而停止你可以使用--from-iter N从第 N 次迭代开始跳过已经扫描过的组合节省时间。uv run main.py --from-iter 150--debug启用调试模式。这会打印出更详细的日志信息包括 Selenium 的操作步骤、HTTP 请求和响应详情等。当脚本运行不正常或你想了解其内部工作原理时非常有用。uv run main.py --debug-ceko, --check-existed-keys-only此模式不进行新的 GitHub 搜索而是读取数据库中所有状态为valid或未验证的密钥重新对它们进行一次验证并更新状态。这可以用来定期检查已发现密钥的有效性。uv run main.py --check-existed-keys-only-k, --keywords和-l, --languages自定义搜索关键词和语言列表。这是进行针对性研究的关键。例如如果你怀疑某公司或特定项目的密钥可能以不同前缀泄露可以自定义关键词。# 搜索包含特定模式的可能密钥 uv run main.py -k “AKIA” “SECRET_” -l python yaml # 注意搜索词需要用引号括起来多个词用空格分隔5.2 自定义搜索策略与优化默认的搜索策略是“关键词 × 语言”。但你可以通过修改代码来实现更复杂的策略。1. 扩展关键词列表深入研究main.py找到定义关键词列表的地方可能是一个叫KEYWORDS的列表。你可以添加更多与敏感信息相关的模式其他云服务商密钥AKIA[0-9A-Z]{16}(AWS),AIza[0-9A-Za-z-_]{35}(Google API),ghp_[0-9a-zA-Z]{36}(GitHub PAT)。数据库连接字符串postgresql://,mongodbsrv://。通用密码或令牌[0-9a-f]{32}(MD5?),[0-9a-zA-Z]{40}(SHA1?)。2. 调整语言列表和搜索顺序默认语言列表可能包含数十种语言。你可以根据经验调整。例如在泄露案例中JavaScript/TypeScript前端配置、Python脚本和配置、YAML/JSON配置文件是高频出现语言。可以将这些语言排在前面优先扫描。也可以移除一些极少出现泄露的语言以加快扫描速度。3. 实现深度仓库扫描进阶当前工具只扫描代码搜索的第一层结果。一个更深入的思路是对于发现密钥的仓库可以克隆该仓库然后在本地使用grep或truffleHog、gitleaks等专业工具进行全历史、全文件的深度扫描可能会发现同一个仓库内历史提交中的其他密钥。性能与伦理平衡点增加扫描深度和广度会指数级增加对 GitHub 服务器的请求压力。务必在脚本中增加合理的延迟例如time.sleep(random.uniform(2, 5))并避免并发请求。尊重平台资源是安全研究员的基本素养。6. 常见问题排查与实战经验分享6.1 运行时报错与解决方案在实际操作中你可能会遇到以下问题问题现象可能原因解决方案WebDriverException: Message: unknown error: cannot find Chrome binary系统未安装 Chrome或 Chrome 安装路径不在 Selenium 的默认查找路径中。1. 确认 Chrome 已正确安装 (google-chrome --version)。2. 在代码中显式指定 Chrome 二进制文件路径chrome_options.binary_location “/usr/bin/google-chrome-stable”SessionNotCreatedException: This version of ChromeDriver only supports Chrome version ...ChromeDriver 与 Chrome 浏览器版本不匹配。严格按照前文所述安装与 Chrome 版本号完全匹配的 ChromeDriver。使用webdriver-manager可以自动处理但需修改代码。脚本启动浏览器后停留在 GitHub 首页或登录页面无反应。页面元素加载慢或选择器失效。GitHub 前端可能更新导致 Selenium 找不到登录输入框或按钮。1. 增加显式等待时间WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.ID, “login_field”)))。2. 检查并更新代码中的元素选择器如 ID, name, XPath。登录后搜索结果显示 “No results found” 或一直停留在第一页。搜索查询构造有误或 GitHub 对自动化搜索进行了限制如触发风控。1. 使用--debug模式查看实际发送的搜索 URL。2. 手动在浏览器中访问该 URL看是否有结果。3. 在脚本中增加更长的随机延迟模拟人类操作。sqlite3.OperationalError: database is locked多个进程或线程同时尝试写入同一个 SQLite 数据库文件。SQLite 在写入时会对数据库文件加锁。确保脚本是单进程运行。如果自己修改代码加入了多线程需要实现线程锁或使用连接池来管理数据库访问。6.2 关于 GitHub Push Protection 的影响项目 README 中特别警告GitHub 已经默认对所有新的公开仓库启用了“推送保护”。这意味着当开发者尝试推送包含已知模式敏感信息如 OpenAI API 密钥的代码时会被 GitHub 主动拦截并警告。这对扫描工具意味着什么增量减少从长远看新增的、明显的密钥泄露会变少因为它们在推送阶段就被阻止了。存量挖掘工具的价值将更多体现在扫描历史存量的公开代码上。在 Push Protection 启用前已经有大量密钥被泄露并留存在 GitHub 历史记录中。模式进化开发者可能会采用更隐蔽的泄露方式如将密钥编码、拆分、放在不那么明显的文件里这就要求扫描工具的关键词和正则模式也需要不断进化。因此这个工具的研究重点可能逐渐从“发现最新泄露”转向“分析历史泄露模式”和“检测变种泄露”。6.3 安全研究与合规性再强调这是使用此类工具时必须时刻绷紧的弦。目的纯粹性仅用于授权范围内的安全研究、企业内部的代码安全审计审计自己的代码仓库、或教学演示。绝对不要用于恶意扫描、盗用他人资源或任何非法活动。数据处置扫描结果尤其是有效的 API 密钥是高度敏感的数据。在研究结束后应妥善删除github.db文件。如果用于发表研究报告必须对密钥进行脱敏处理例如只显示前四位和后四位中间用星号代替。尊重平台严格控制扫描速率添加随机延迟避免对 GitHub 服务器造成拒绝服务攻击DoS的嫌疑。最好在个人网络环境下进行避免使用公司或机构的网络出口 IP以防连累整个 IP 段被拉黑。法律风险未经授权扫描他人公开信息在不同司法管辖区可能涉及不同的法律解释。即使信息是公开的自动化大规模收集也可能违反网站的服务条款。在开展任何研究前请务必了解并评估相关风险。7. 从扫描工具到安全防护的思考研究攻击工具最终是为了更好地防御。通过分析 ChatGPT-API-Scanner 这样的工具我们可以反推出许多有效的防护措施。对开发者的建议永远不要将密钥提交到版本控制系统这是铁律。使用.gitignore文件确保.env、config.json等包含密钥的文件被忽略。使用环境变量将密钥存储在操作系统的环境变量中在代码中通过os.getenv(‘OPENAI_API_KEY’)读取。使用密钥管理服务对于团队或生产环境使用 AWS Secrets Manager、HashiCorp Vault、Azure Key Vault 等专业服务来管理密钥。定期轮换密钥定期在 OpenAI 后台作废旧密钥生成新密钥。为密钥设置使用限制在 OpenAI 后台可以为 API 密钥设置使用额度、频率限制甚至绑定到特定 IP 地址。在本地和 CI/CD 中集成密钥扫描在代码提交前使用gitleaks、truffleHog或 GitHub 原生的 Secret Scanning对于高级别仓库对代码进行扫描。对企业安全团队的启示外部攻击面管理可以借鉴此工具的思路构建自动化的监控系统定期扫描公开的代码仓库、Pastebin 等平台查找与企业域名、员工邮箱相关的敏感信息泄露。内部安全培训将此工具发现的真实案例脱敏后作为内部安全培训的素材比空洞的说教更有冲击力。完善应急响应制定清晰的密钥泄露应急响应流程。一旦发现密钥泄露立即在对应服务商后台撤销该密钥并评估泄露可能造成的影响如查看 API 调用日志。这个工具本身像一把双刃剑。它在安全研究员手中是剖析风险的显微镜但若被不当使用则可能成为滋扰的源头。我在整个研究过程中最大的体会是真正的安全始于对每一行代码、每一个配置文件的敬畏之心。自动化工具能发现“已知的”泄露模式但最终防止泄露靠的是开发者心中那根时刻紧绷的安全弦和团队里严格执行的安全流程。技术可以辅助但人才是安全链条中最关键、也最脆弱的一环。