Link:https://arxiv.org/pdf/2411.11904Task Definition首先，定义“遥感视觉定位（visual grounding）”这个任务到底是什么，以及它为什么重要。简单来说，就是给你一张遥感图（卫星图/航拍图），再给你一句文字描述，比如“左上角靠近河流的那艘船”或者“机场跑道旁边的红色卡车”，模型要做的事情就是在图像里把这个东西找出来并定位出来。作者在回顾这个领域的发展：最早的时候，这个任务其实很简单，基本就是预测水平边界框（HBB, Horizontal Bounding Box），也就是用一个不带角度的矩形框把目标框起来。这种方法的优点是简单，但问题是遥感图像里的目标往往是有方向的，比如船是斜的、飞机是有角度的、道路是弯的，所以HBB其实表达能力不够。于是后来研究者开始升级表示方式，引入了OBB（Oriented Bounding Box），也就是带旋转角度的框，这样可以更贴合目标的方向。再往后又发展到了mask（分割掩码），直接做到像素级别，把目标的真实轮廓精细地抠出来。 这些表示方式其实不是互相替代的，而是一个层级结构（hierarchy）。HBB提供粗定位，OBB补充方向信息，mask提供形状细节。三者本质上是不同精度层次的空间表达。作者强调，在真实应用中，不同任务需要不同粒度的定位方式，因此未来系统不能只支持一种，而是要支持“dynamically output corresponding localization signals based on user requirements”。基于这个动机，作者提出了一个新的概念：multi-granularity visual grounding（多粒度视觉定位）。意思是模型不再固定输出某一种框，而是可以根据用户需求动态选择输出HBB、OBB或mask，甚至同时支持多种形式。DevelopmentMotivation首先在讲遥感领域的 referring detection 与 referring segmentation 的发展背景，但它刻意强调的一点是：这个方向本身相比 image captioning、VQA 或 retrieval 这些成熟的 multimodal 任务是明显滞后的，其根本原因并不是模型能力不够，而是任务定义本身长期处于碎片化状态。论文指出一个关键问题：这两类任务长期是被分别研究的，也就是说 detection 系统优化 detection loss，segmentation 系统优化 pixel loss，两者之间没有共享 representation，这种结构性割裂直接阻碍了整个领域的统一进展。然后第二小节 Grounded VLMs 切换到更现代的视角，即 Vision-Language Model 进入遥感任务之后带来的变化。这里论文承认 VLM 在 image-level tasks（比如 classification、captioning、VQA）上已经比较成熟，但在 object-level grounding 上仍然非常弱，而自然图像领域的一些工作如 Shikra、LISA、NExT-Chat 试图弥补这一点，但它们的核心路