📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2026/01/10/information-driven-imaging/
原文作者：BAIR Blog
编码器（光学系统）将物体映射为无噪图像，随后噪声将其转化为测量数据。我们的信息估计器仅利用这些含噪测量数据和一个噪声模型，来量化测量数据区分物体的能力。
许多成像系统产生的测量数据是人类无法直接观测或解读的。例如，智能手机在输出照片前会通过算法处理原始传感器数据；MRI扫描仪收集频域测量数据，必须经重构后医生才能查看；自动驾驶汽车则利用神经网络直接处理摄像头和激光雷达数据。
在这些系统中，核心关键不在于测量数据看起来如何，而在于它们包含多少有效信息。即便信息以人类无法理解的方式编码，AI 依然能够将其提取出来。
然而，我们很少直接评估信息含量。传统的度量标准如分辨率和信噪比，通常将质量的各个方面分开评估，导致难以比较在这些因素之间权衡的系统。而常见的替代方案——训练神经网络进行重构或分类——则将成像硬件的质量与算法的质量混为一谈。
我们开发了一个能够根据信息含量对成像系统进行直接评估与优化的框架。在我们的 NeurIPS 2025 论文中，我们证明了该信息指标可以预测四个成像领域的系统性能。优化该指标所产生的设计，在匹配最先进的端到端方法的同时，所需内存和计算资源更少，且无需特定任务的解码器设计。
为什么选择互信息？
互信息量化了测量数据减少物体不确定性的程度。两个具有相同互信息的系统，其区分物体的能力是等效的，即使它们的测量数据看起来截然不同。
这一单一数值综合了分辨率、噪声、采样及所有影响测量质量因素的共同影响。一张模糊但保留了区分物体所需特征的含噪图像，其所含的信息量可能高于一张丢失了关键特征的清晰无噪图像。
信息量统一了传统上分离的质量指标。它将噪声、分辨率和光谱灵敏度综合考虑，而非将其作为独立因素。
此前将信息论应用于成像的尝试面临两个问题。第一种方法将成像系统视为无约束的通信信道，忽略了镜头和传感器的物理限制，导致估计极不准确；第二种方法需要被成像物体的显式模型，限制了通用性。我们的方法通过直接从测量数据中估计信息，规避了这两个问题。
从测量中估计信息
在高维变量间估计互信息极其困难。样本需求随维度呈指数级增长，且估计结果容易出现高偏差和高方差。然而，成像系统具有的特性使得将这一难题分解为更简单的子问题成为可能。互信息可写为：
I(X; Y) = H(Y) - H(Y | X)
第一项 H(Y) 测量的是来自物体差异和噪声的测量数据总变异；第二项 H(Y | X) 仅测量来自噪声的变异。成像系统具有特征明确的噪声（如泊松分布的光子散粒噪声、高斯分布的电子读出噪声）。基于此，我们可以直接计算 H(Y | X)，仅需从数据中学习 H(Y)。
对于 H(Y)，我们将概率模型（如 Transformer 或其他自回归模型）拟合到测量数据集上，以学习所有可能测量数据的分布。该方法提供了真实信息的上限；任何建模误差只会高估，不会低估。
四个成像领域的验证
如果信息估计能捕获系统性能的瓶颈，那么它就应该能预测解码器的性能。我们在四个成像应用中测试了这种关系：
信息估计能够预测彩色摄影、射电天文学、无透镜成像和显微成像中的解码器性能。
- 彩色摄影：信息估计正确排序了不同滤镜设计（Bayer 模式、随机、学习式）的性能，匹配了神经网络去马赛克的结果，且无需重构算法。
- 射电天文学：信息估计预测了不同望远镜配置的重构质量，无需进行昂贵的图像重构即可完成选址。
- 无透镜成像：在各种噪声水平下，信息估计准确预测了不同掩膜设计的重构精度。
- 显微成像：信息估计与神经网络预测蛋白质表达的准确率相关联，无需昂贵的荧光标记实验即可进行评估。
使用 IDEAL 设计系统
我们的 IDEAL（基于信息的编码器分析学习）方法，利用信息估计的梯度上升来优化成像系统参数。与端到端优化不同，IDEAL 仅通过优化编码器本身，规避了通过解码器反向传播带来的内存限制和优化困难，且最终效果可与端到端优化媲美。
意义与前景
基于信息的评估为成像系统的严格评估开辟了新路径。它提供了一种仅从测量数据出发的客观、统一的指标。IDEAL 的计算高效性使得设计以往无法处理的系统成为可能。该框架有望扩展至电子、生物和化学传感器等任何可建模为具有已知噪声特征的确定性编码系统。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区