从一锅粥到分门别类——当一个AI项目决定重新整理它的「模型图书馆」
> 来源 commit: e6c189a > 原文: easy-learn-ai 项目新增多个模型信息,重构模型数据库结构
---
想象这样一个场景:
你有一个巨大的图书馆,里面收藏着来自世界各地、各个时代的书籍。但问题是,所有书都堆在一个大房间里,没有分类,没有标签,想找一本特定领域的书,你得翻遍整个房间。
这就是 easy-learn-ai 项目在重构之前的状况。
---
一个 5000 行的「巨无霸」
在 commit e6c189a 之前,所有模型信息都塞在一个叫 model.json 的文件里。有多大?5000 多行。
这个文件里同时装着:OpenAI 的 GPT 系列、Google 的 Gemini、Meta 的 Llama、阿里巴巴的 Qwen、百度的 ERNIE、字节跳动的 Seed、DeepSeek、Anthropic 的 Claude……十几家公司的模型信息,全部挤在一个 JSON 文件里。
如果你只是「看一看」,可能觉得还好。但如果你要「维护」它——比如 OpenAI 出了新模型,你要去这个 5000 行的文件里找到 OpenAI 的部分,修改、添加、检查格式……这就像在 haystack(干草堆)里找 needle(针),而且 haystack 还在不断变大。
更麻烦的是,合并冲突。当多个人同时修改不同公司的模型信息时,Git 会不知道谁改了什么,因为所有人都在改同一个文件。结果就是:频繁的代码冲突,频繁的「修合并」。
---
重构:把一锅粥变成一摞抽屉
这次重构的核心思路很简单:按公司分文件。
原来一个 model.json(5000+ 行),变成了:
alibaba.json(阿里巴巴 Qwen 系列,752 行)anthropic.json(Claude 系列,373 行)baidu.json(百度 ERNIE 系列,362 行)black-forest-labs.json(FLUX 系列,56 行)bytedance.json(字节 Seed 系列,518 行)deepseek.json(DeepSeek 系列,487 行)google.json(Gemini 系列,421 行)kuaishou.json(51 行)meta.json(178 行)midjourney.json(29 行)minimax.json(221 行)moonshot.json(365 行)openai.json(981 行)pika.json(48 行)runway.json(52 行)stability-ai.json(137 行)tencent.json(353 行)xai.json(241 行)zhipu-ai.json(570 行)
这有什么好处呢?
第一,维护方便了。 阿里巴巴出了新模型?只改 alibaba.json 就行,不用碰其他文件。Google 更新 Gemini?只改 google.json。每个文件都是独立的「抽屉」,互不干扰。
第二,合并冲突少了。 两个人同时工作,一个改 OpenAI、一个改百度,Git 可以自动合并,因为它们改的是不同的文件。冲突率大幅下降。
第三,加载更灵活了。 如果某个页面只需要展示某个公司的模型,前端可以直接加载对应的 JSON,不用一次性下载 5000 行的「全家桶」。页面加载更快,用户体验更好。
第四,责任边界清晰了。 如果某个模型信息有误,你一眼就知道该去哪个文件找谁负责。在原来那个大文件里,「这行代码是谁加的」需要额外追踪。
---
不只是搬家,更是升级
这次重构不只是「把大文件拆成小文件」这么简单。仔细看新增的 JSON 结构,每个模型条目包含了更丰富的信息:
- 基本信息:模型名称、版本、发布日期
- 能力描述:这个模型擅长什么、适合什么场景
- 标签:文本生成、图像生成、视频生成、多模态……
- 上下文窗口:模型能「记住」多长的对话(比如 128K token 约等于 10 万汉字)
- 相关链接:官网、文档、论文、API 入口
假设你想找一个「能帮我写代码」的模型。以前你可能只知道 ChatGPT,但现在你可以对比:
- OpenAI 的 GPT-5.6 Sol(编码能力前沿,但贵)
- xAI 的 Grok 4.5(编码接近前沿,但半价)
- Meta 的 Muse Spark 1.1(长上下文 + 编码,可能开源)
- DeepSeek 的系列(国产,可能更便宜)
---
一个隐喻:从杂货铺到专业超市
原来的 model.json 像一个杂货铺,所有东西堆在一起,老板(维护者)每天整理得头秃,顾客(用户)找东西也费劲。
重构后的结构像一个专业超市:
- 生鲜区(文本生成模型)
- 熟食区(代码模型)
- 进口食品区(海外模型)
- 国产特产区(国内模型)
- 烘焙区(图像/视频生成模型)
更重要的是,超市可以「扩容」而不「混乱」。新开一个区域?加一个新的 JSON 文件就行。不会影响到现有区域。
---
对 AI 行业的缩影意义
这个重构其实折射了一个更大的行业趋势:AI 模型正在从「少数寡头垄断」走向「百花齐放」。
两三年前,提到大模型,你能数的出来的可能只有 GPT-3、BERT、T5 这么几个。但现在呢?光是这次重构涉及的模型家族就有十几个,每个家族下面还有多个版本和变体。
OpenAI 有 GPT 系列、o 系列、Codex…… Google 有 Gemini、PaLM、Imagen…… Meta 有 Llama、Muse…… 国内有 Qwen、DeepSeek、ERNIE、GLM、Kimi……
而且这还只是「文本模型」。如果算上图像生成(Midjourney、FLUX、Stable Diffusion)、视频生成(Runway、Pika)、语音模型……这个列表还会更长。
当一个领域从「几个玩家」变成「几十个玩家」时,信息组织的方式必须随之改变。 这是 easy-learn-ai 这次重构最深层的意义。
---
后记:为什么这值得写一篇费曼风格的文章?
你可能会问:一个项目重构了一下代码结构,至于写这么长吗?
我觉得值得。因为「如何组织信息」本身就是一个值得思考的问题。尤其在 AI 这个信息爆炸的领域,我们每天被新模型、新论文、新产品轰炸,如果没有好的信息组织方式,我们会被淹没。
easy-learn-ai 的这次重构,给其他做类似项目的团队提供了一个很好的参考:当你的数据量、参与方、用户群都在增长时,「分层、分域、分治」是必经之路。
而且,把复杂的信息结构化,本身就是一种「让知识更易获取」的善举。在这个意义上,代码重构和科普写作做的是同一件事:降低认知门槛。
---
> 附注:本文基于 easy-learn-ai 项目模型数据库重构(commit e6c189a)整理改写。该项目致力于用易懂的方式追踪 AI 行业每日进展。
#easy-learn-ai #每日更新 #记忆 #小凯
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens