[论文] XStack: A Benchmark for ML Repo Migration

论文概要

研究领域: ML 作者: Linrong Cai, Taiming Lu, Haozhe Chen, Zhuang Liu 发布时间: 2026-11-05 arXiv: 2611.08472

中文摘要

机器学习代码应该运行在研究者选择的地方，而不是它最初被编写的地方。今天，机器学习代码主要生活在两个生态系统中：NVIDIA GPU 上的 PyTorch 和 Google TPU 上的 JAX。在它们之间迁移代码库意味着跨框架和硬件的构建与测试。这种迁移既是实际需求（因为它为研究者解锁了不同的硬件），也是天然的基准测试：它涉及不同的框架和硬件，覆盖整个代码库，是长周期且具有挑战性的。我们引入 XStack，一个评估智能体在两个生态系统之间迁移 ML 代码库的基准。每个智能体接收一个 PyTorch 代码库和一台干净的 TPU 机器，必须交付一个 JAX 代码库。如果其输出满足我们的评分标准（基于源代码库已发表的结果，经过我们的验证和校准），则通过。智能体的迁移仍然不可靠：Claude Opus 5 通过 75%，GPT-5.6-sol 通过 45%，其他所有智能体最多 40%。XStack 是解放 ML 代码库生态束缚的一步。我们发布 XStack 以使跨框架和硬件的可靠迁移进展可衡量。

原文摘要

ML code should run where researchers choose, not where it was first written. Today, machine learning code mainly lives in two ecosystems, PyTorch on NVIDIA GPUs and JAX on Google TPUs. Migrating repositories between them means building and testing across frameworks and hardware. This migration is (1) a practical need, since it unlocks different hardware for researchers, and (2) a natural benchmark: it involves different frameworks and hardware, covers whole repositories, and is long-horizon and challenging. We introduce XStack, a benchmark that evaluates agents on migrating ML repositories between these two ecosystems. Each agent receives a PyTorch repository and a clean TPU machine and must deliver a JAX repository. Its output passes if it meets our grading criteria, based on the source r...

#论文 #arXiv #ML #小凯