核心发现
方法论
HyRo采用Poincaré球模型，将嵌入空间中的层次关系通过调整半径进行编码，同时利用正交变换实现角度的旋转以优化语义对齐。具体包括：• 以指数映射将视觉和文本特征映射到超几何空间；• 通过可学习的对角矩阵调整层次层级（半径）；• 使用参数化的正交矩阵实现角度旋转，优化跨模态语义关系；• 结合解码器进行像素级预测。该方法在保持层次结构的同时，增强了语义的细粒度区分。
关键结果
- 在ADE20K、COCO-Stuff等基准上，HyRo在A-847类别集上实现了12.0的mIoU，优于HyperCLIP的11.9，提升了0.1；在PC-459上达到了18.9的mIoU，较HyperCLIP提升0.7；在A-150和PC-59上分别获得31.2和57.3的mIoU，表现优异； Ablation显示，角度旋转贡献显著，结合半径调整效果最佳。
研究意义
该研究突破了超几何空间中层次结构与语义关系的耦合限制，通过几何变换实现更精细的跨模态语义对齐，为开放词汇语义分割提供了新思路。其技术创新在提升模型泛化能力、细粒度识别和多类别区分方面具有重要意义，推动了多模态理解和场景理解的研究进展，具有广泛的工业应用潜力。
技术贡献
提出HyRo框架，首次在Poincaré球模型中同时优化半径（层次关系）和角度（语义关系），引入参数化正交变换实现角度旋转，理论证明其在保持层次结构的同时增强语义对齐能力。该方法在细粒度语义分割任务中优于现有基于超几何空间的模型，显著提升了多类别识别的准确性和鲁棒性，为多模态嵌入空间的几何操作提供了新的理论基础和工程实现路径。
新颖性
本研究首次系统性提出在超几何空间中同时调节半径与角度以实现层次与语义的解耦，利用参数化正交变换进行角度调整，解决了HyperCLIP等方法中只关注层次关系而忽略语义角度的局限。这一创新突破了传统的嵌入空间单一尺度调整的限制，为多模态语义理解提供了全新的几何操作手段。
局限性
- 模型在极端类别不平衡或极少样本类别上表现仍有限，因训练数据多样性不足导致语义细粒度区分不充分。
- 正交变换参数化虽有效，但在高维空间中可能存在优化难度，需进一步研究更高效的参数化方案。
- 当前方法主要验证在静态图像上，动态场景或视频中的适应性和实时性仍待提升。
未来方向
未来将探索多模态空间中更复杂的几何变换，结合注意力机制增强角度调整的表达能力，拓展到视频理解和实时场景中。此外，还计划引入自监督学习策略，提升模型在少样本和零样本类别中的泛化能力。
AI 总览摘要
随着深度学习的发展，基于视觉-语言模型如CLIP的开放词汇语义分割成为研究热点。现有方法多关注高层次语义匹配，难以实现像素级的细粒度识别。本文提出HyRo，一种在超几何空间中进行层次与语义解耦的几何操作框架。通过调整Poincaré球模型中的半径，编码层次关系；利用参数化正交矩阵实现角度旋转，优化跨模态语义对齐。该方法在保持层次结构的同时，显著增强了语义区分能力。实验证明，HyRo在ADE20K、COCO-Stuff等多个公开数据集上超越了现有最优方法，达到最新的性能指标。其创新点在于结合几何变换与深度学习，有效解决了多模态嵌入空间中层次与语义的耦合问题，为未来多模态场景理解提供了理论基础和工程方案。尽管如此，模型在极端类别不平衡和动态场景中的适应性仍需优化。未来工作将聚焦于更复杂的几何变换、多模态交互机制以及自监督学习策略，推动多模态理解的边界。
深度解读
原文摘要
Open-vocabulary semantic segmentation requires adapting image-level vision-language models such as CLIP to dense pixel-level prediction, which is challenging due to the mismatch between hierarchical structure and semantic alignment in the embedding space. While recent works leverage hyperbolic geometry to model hierarchical relationships, they align embeddings across hierarchical levels but overlook semantic misalignment among embeddings within the same level. In this work, we propose HyRo, a hyperbolic fine-tuning framework that decouples hierarchical and semantic alignment in the Poincaré ball model. HyRo aligns hierarchical levels by adjusting the hyperbolic radius and refines semantic relationships through angular alignment using an orthogonal transformation that theoretically preserves the hyperbolic radius. Experiments on standard open-vocabulary semantic segmentation benchmarks demonstrate that HyRo achieves state-of-the-art performance over prior methods.