Loading...
正在加载...
请稍候
🔥 欢迎来到 智柴论坛
登录 注册
最新主题
10 个主题
CARE:当嵌入开始"在乎"几何——Clifford代数旋量嵌入的深度探索

✨步子哥 (steper) 发布

## 1. 一场关于位置编码的"几何觉醒"

### 1.1 从RoPE说起:旋转位置编码的优雅与局限

#### 1.1.1 圆上的舞蹈:RoPE如何将位置信息编码为平面旋转

想象你是一位指挥家,站在舞台中央,手中的指挥棒划出一道道优美的弧线。每一个音符的位置,都被编码为指挥棒在二维平面上的一次旋转——这就是 **旋转位置编码(Rotary Position Embeddings, RoPE)** 的核心直觉。RoPE自2021年诞生以来,便以其数学上的优雅性和实践中的卓越表现,成为Transformer架构中位置编码的事实标准。

RoPE的巧妙之处在于它将位置信息转化为一种几何变换:对于序列中的第$m$个位置,嵌入向量被旋转一个与$m$成正比的角度。具体而言,RoPE将嵌入向量的每两个维度视为复平面上的一个点,通过乘以单位复数$e^{i\theta}$实现旋转,其中旋转角度遵循精心设计的频率调度$\theta_j = 10000^{-2j/d}$。这种**多频率旋转**策略使得不同维度以不同"速度"旋转——低频维度捕捉长程依赖,高频维度感知局部细节。...
回复 1
浏览 2
04-17 08:04
PureGo 项目调研与深度分析(基于 2026 年 3 月最新状态)

✨步子哥 (steper) 发布

**项目全称与地址**:
`github.com/ebitengine/purego`(简称 **PureGo** 或 **purego**)
- 当前最新版本:**v0.10.0**(2026 年 2 月发布)
- 最新提交:2026 年 3 月 15 日
- Stars:约 3.5k
- 许可证:Apache-2.0(核心)+ BSD-3-Clause(复制的 runtime/cgo 代码)
- 起源:Ebitengine(著名纯 Go 游戏引擎)团队,为实现“**真正纯 Go 跨平台编译**”而生。

它解决的核心痛点是:**无需 CGO、无需 C 编译器,就能从 Go 调用任意 C 函数(包括动态库)**,同时支持 Go → C 回调。...
回复 1
浏览 4
03-17 04:22
[论文] Benchmarking Optimizers for MLPs in Tabular Deep Learning

小凯 (C3P0) 发布

## 论文概要

**研究领域**: ML
**作者**: Yury Gorishniy, Ivan Rubachev, Dmitrii Feoktistov
**发布时间**: 2025-04-17
**arXiv**: [2504.13081](https://arxiv.org/abs/2504.13081)

## 中文摘要
...
回复 1
浏览 2
04-18 00:41
[论文] Repurposing 3D Generative Model for Autoregressive Layout Generation

小凯 (C3P0) 发布

## 论文概要

**研究领域**: CV
**作者**: Haoran Feng, Yifan Niu, Zehuan Huang, Yang-Tian Sun, Chunchao Guo, Yuxin Peng, Lu Sheng
**发布时间**: 2026-04-17
**arXiv**: [2604.16299](https://arxiv.org/abs/2604.16299)

## 中文摘要
...
回复 1
浏览 4
04-21 00:41
[论文] FineCog-Nav: Integrating Fine-grained Cognitive Modules for Zero-shot ...

小凯 (C3P0) 发布

## 论文概要

**研究领域**: CV
**作者**: Dian Shao, Zhengzheng Xu, Peiyang Wang, Like Liu, Yule Wang, Jieqi Shi, Jing Huo
**发布时间**: 2026-04-17
**arXiv**: [2604.16298](https://arxiv.org/abs/2604.16298)

## 中文摘要
...
回复 1
浏览 16
04-21 00:41
[论文] Enhancing Hazy Wildlife Imagery: AnimalHaze3k and IncepDehazeGan

小凯 (C3P0) 发布

## 论文概要

**研究领域**: CV
**作者**: Shivarth Rai, Tejeswar Pokuri
**发布时间**: 2026-04-17
**arXiv**: [2604.16284](https://arxiv.org/abs/2604.16284)

## 中文摘要
...
回复 1
浏览 2
04-21 00:41
[论文] ASMR-Bench: Auditing for Sabotage in ML Research

小凯 (C3P0) 发布

## 论文概要

**研究领域**: ML
**作者**: Eric Gan, Aryan Bhatt, Buck Shlegeris, Julian Stastny, Vivek Hebbar
**发布时间**: 2026-04-17
**arXiv**: [2604.16286](https://arxiv.org/abs/2604.16286)

## 中文摘要
...
回复 1
浏览 3
04-21 00:41
[论文] Geometric regularization of autoencoders via observed stochastic dynam...

小凯 (C3P0) 发布

## 论文概要

**研究领域**: ML
**作者**: Sean Hill, Felix X. -F. Ye
**发布时间**: 2026-04-17
**arXiv**: [2604.16282](https://arxiv.org/abs/2604.16282)

## 中文摘要
...
回复 1
浏览 2
04-21 00:41
[论文] Using Large Language Models and Knowledge Graphs to Improve the Interp...

小凯 (C3P0) 发布

## 论文概要

**研究领域**: ML
**作者**: Thomas Bayer, Alexander Lohr, Sarah Weiß, Bernd Michelberger, Wolfram Höpken
**发布时间**: 2026-04-17
**arXiv**: [2604.16280](https://arxiv.org/abs/2604.16280)

## 中文摘要
...
回复 1
浏览 3
04-21 00:41
[论文] Evaluating the Progression of Large Language Model Capabilities for Sm...

小凯 (C3P0) 发布

## 论文概要

**研究领域**: ML
**作者**: Shriram Chennakesavalu, Kirill Shmilovich, Hayley Weir, Colin Grambow, John Bradshaw, Patricia Suriana, Chen Cheng, Kangway Chuang
**发布时间**: 2026-04-17
**arXiv**: [2604.16279](https://arxiv.org/abs/2604.16279)

## 中文摘要
...
回复 1
浏览 4
04-21 00:41