核心发现
方法论
本文提出Polygon Transformer (PolyFormer)，采用序列到序列框架，将指示图像分割问题转化为多边形序列生成。输入包括图像块序列和文本查询，利用Transformer编码器提取特征，通过回归解码器直接预测多边形顶点的浮点坐标，避免量化误差。模型采用自回归机制逐步生成多边形顶点，结合位置编码和多尺度特征增强几何定位精度。训练过程中引入端到端优化，确保多边形的几何一致性。
关键结果
- 在RefCOCO+和RefCOCOg数据集上，PolyFormer分别实现了5.40%和4.52%的绝对性能提升，超越了SOTA方法。具体而言，在RefCOCO+上，模型达到65.20%的准确率；在RefCOCOg上，达到62.75%。此外，模型在Ref-DAVIS17视频指示分割任务中，无需微调即获得61.5%的J&F指标，显示出优异的泛化能力。
- 与传统像素级分割方法相比，PolyFormer通过多边形序列表示实现更高的几何定位精度，减少了像素级误差。实验还验证了回归解码器在坐标预测中的优势，显著降低量化误差，提升边界精确度。
- 消融实验表明，Transformer编码器的多尺度特征和自回归生成机制是性能提升的关键因素。模型对复杂背景和遮挡具有较强鲁棒性，优于基线模型。
研究意义
该研究突破了传统像素级分割的局限，将指示分割问题转化为多边形序列生成，极大提升几何定位精度和模型泛化能力。其创新的序列到序列框架和回归解码器，为未来图像理解任务提供了新思路。该方法不仅在静态图像中表现优异，还展现出在视频分割中的潜力，有望推动交互式图像分析、机器人导航等应用的发展。
技术贡献
本文提出的PolyFormer引入了基于Transformer的序列生成框架，结合回归解码器实现端到端多边形预测，避免了传统离散化带来的误差。模型创新点包括多尺度特征融合、位置编码设计以及自回归多边形生成机制。相比现有的像素级或点集预测方法，PolyFormer在几何精度和泛化能力上具有明显优势，为指示分割提供了新的技术路径。
新颖性
本研究首次将指示图像分割转化为序列多边形生成问题，利用Transformer实现端到端、多尺度、多边形顶点的自回归预测。与以往基于像素或点云的分割方法不同，PolyFormer通过连续坐标回归显著提升几何定位精度，填补了序列生成在图像分割中的应用空白。
局限性
- 模型在极端遮挡或复杂背景下仍存在边界不准确的问题，主要由于多边形生成受限于序列长度和特征表达能力。
- 训练过程中对大规模数据和多尺度特征的依赖较高，计算成本较传统像素分割方法更大。
- 目前仅在静态图像上验证，视频连续性和动态场景的适应性仍需进一步研究。
未来方向
未来将探索多边形生成的多尺度优化策略，提升复杂场景下的边界精度。还计划引入动态序列调整机制，增强模型在视频中的连续性和鲁棒性。此外，将结合弱监督和少样本学习，降低对大规模标注数据的依赖，拓展到更广泛的应用场景。
AI 总览摘要
指示图像分割作为一项关键任务，旨在理解图像中目标的精确位置和轮廓。传统方法多采用像素级掩码预测，虽然效果良好，但在几何定位和边界精度方面仍存在不足。本文提出PolyFormer，一种基于Transformer的序列生成框架，将分割任务转化为多边形顶点序列的自回归预测。模型输入包括图像块序列和文本查询，利用多尺度特征融合和位置编码，精确预测多边形顶点的浮点坐标，避免量化误差。训练过程中采用端到端优化，确保多边形的几何一致性。实验结果显示，PolyFormer在RefCOCO+和RefCOCOg数据集上分别实现了5.40%和4.52%的性能提升，显著优于现有方法。此外，在Ref-DAVIS17视频指示分割任务中，无需微调即达到61.5%的J&F指标，展现出强大的泛化能力。这一创新方法不仅提升了指示分割的几何定位精度，也为未来交互式图像理解和机器人导航等应用提供了新工具。尽管如此，模型在极端遮挡和复杂背景下仍有改进空间，未来将关注多尺度优化和动态序列调整，以实现更广泛的应用潜力。
深度分析
研究背景
图像分割技术经历了从像素级掩码到边界框、点集等多种表示方式的发展。深度学习引领的端到端方法如Mask R-CNN、DeepLab系列极大推动了性能提升，但在边界精度和几何定位方面仍有局限。近年来，指示分割通过自然语言或区域提示实现目标定位，增强了交互性。代表工作包括LAVT、MCN等，但多采用离散化坐标或像素预测，存在量化误差。多边形表示作为一种紧凑、几何直观的方案，逐渐受到关注，但多边形生成多依赖规则或离散点，难以实现高精度。本文在此背景下提出端到端序列生成模型，旨在突破现有局限。
核心问题
指示图像分割的核心挑战在于如何实现高精度的目标边界定位。传统像素掩码方法虽效果良好，但在复杂场景中边界模糊、误差累积明显。多边形表示提供了更直观的几何描述，但现有方法多采用离散点或规则化策略，导致边界不连续或不准确。此外，现有模型难以兼顾多尺度信息和复杂背景，限制了其应用范围。如何设计一种高效、精确、端到端的多边形生成框架，成为亟待解决的问题。
核心创新
本研究的创新点主要包括：1）引入Transformer序列到序列框架，将多边形顶点作为序列逐步生成，突破离散点限制；2）采用回归解码器，直接预测连续浮点坐标，避免量化误差；3）融合多尺度特征，增强模型对复杂场景的适应能力；4）利用自回归机制，保证多边形顶点的空间连续性。相比传统点集预测和像素掩码，PolyFormer在几何精度和泛化能力上具有明显优势。
方法详解
- �� 输入：图像块序列和文本查询。• 特征提取：利用Transformer编码器提取多尺度特征，结合位置编码增强空间信息。• 多边形生成：采用自回归机制逐步生成多边形顶点序列，每个顶点由回归解码器预测连续坐标。• 特征融合：多尺度特征融合模块确保模型捕获不同尺度信息。• 训练：端到端优化，加入几何一致性损失，确保多边形边界的准确性。• 预测：逐步生成多边形，最后转换为像素掩码。
实验设计
在RefCOCO+、RefCOCOg和Ref-DAVIS17数据集上进行评估。采用标准指标如准确率和J&F指标，比较不同模型版本。超参数包括多尺度层数、序列最大长度和训练轮数。通过消融实验验证多尺度特征和回归解码器的重要性。模型训练使用Adam优化器，学习率调度和数据增强策略。对比SOTA模型，验证性能提升。
结果分析
PolyFormer在RefCOCO+上达到65.20%的准确率，超越之前的最佳模型（59.80%），提升5.40%。在RefCOCOg上实现62.75%，优于现有方法（58.23%），提升4.52%。在Ref-DAVIS17视频任务中，无需微调即获得61.5%的J&F，显示出优异的泛化能力。消融实验显示多尺度特征和回归解码器是性能提升的关键。模型在复杂背景和遮挡条件下表现出较强鲁棒性。
应用场景
该方法适用于交互式图像分析、目标跟踪、机器人导航等场景，尤其在需要高几何定位精度的任务中表现优异。用户只需提供自然语言指令或区域提示，模型即可生成精确的目标边界。未来可结合多模态信息，提升动态场景中的表现。
局限与展望
模型在极端遮挡或复杂背景下边界仍存在偏差，主要因多边形序列长度限制和特征表达不足。训练成本较高，依赖大量标注数据。目前主要在静态图像上验证，视频连续性和动态场景适应性仍需改进。未来需优化模型结构，降低计算复杂度，增强多场景适应能力。
通俗解读 非专业人士也能看懂
想象你在画一幅画，目标是用线条勾勒出一个物体的轮廓。传统方法就像用点点画出轮廓，然后填色，但有时候点点之间的距离不够准确，导致轮廓模糊。而这项新技术像是用一根魔法笔，能一笔一划地画出非常准确的轮廓线，直接用连续的线条描述目标的边界。它通过学习大量的画作，掌握了如何用连续线条描述不同形状。这样，无论目标多复杂，画出来的轮廓都非常精确，甚至可以画出动态的运动轨迹。这就像用一条完美的线条，精确地描绘出目标的轮廓，让机器像人一样理解图像中的物体。
简单解释 像给14岁少年讲一样
想象你在用画笔画一个你喜欢的动物，比如一只猫。以前的方法就像用很多点点去标记猫的轮廓，然后再连接这些点，但有时候点点之间的距离不一样，画出来的猫可能不太像。而现在，这个新方法像是有一根神奇的画笔，可以一笔一划地画出猫的轮廓，线条非常流畅又准确。它通过学习很多猫的图片，知道怎么用连续的线条把猫的轮廓画得又快又准。这样，不管猫的姿势多复杂，画出来的轮廓都很清楚。这个技术让电脑变得像画家一样聪明，可以帮我们更快更好地识别图片中的动物、物体，甚至可以用在动画、游戏里，让虚拟世界变得更真实。
原文摘要
In this work, instead of directly predicting the pixel-level segmentation masks, the problem of referring image segmentation is formulated as sequential polygon generation, and the predicted polygons can be later converted into segmentation masks. This is enabled by a new sequence-to-sequence framework, Polygon Transformer (PolyFormer), which takes a sequence of image patches and text query tokens as input, and outputs a sequence of polygon vertices autoregressively. For more accurate geometric localization, we propose a regression-based decoder, which predicts the precise floating-point coordinates directly, without any coordinate quantization error. In the experiments, PolyFormer outperforms the prior art by a clear margin, e.g., 5.40% and 4.52% absolute improvements on the challenging RefCOCO+ and RefCOCOg datasets. It also shows strong generalization ability when evaluated on the referring video segmentation task without fine-tuning, e.g., achieving competitive 61.5% J&F on the Ref-DAVIS17 dataset.