技术文章

ALIKED:通过可变形变换实现更轻量的关键点和描述符提取网络 文章翻译

图像关键点和描述符在许多视觉测量任务中起着至关重要的作用。近年来,深度神经网络已被广泛用于提高关键点和描述符提取的性能。然而,传统的卷积操作无法提供描述符所需的几何不变性。为了解决这个问题,我们提出了稀疏可变形描述符头(SDDH),它学习每个关键点的支持特征的可变形位置,并构建可变形描述符。此外,SDDH在稀疏关键点处提取描述符,而不是生成密集的描述符图,从而能够高效提取具有强表达能力的描述符。另外,我们将神经重投影误差(NRE)损失从密集形式放宽到稀疏形式,以训练提取的稀疏描述符。实验结果表明,所提出的网络在各种视觉测量任务(包括图像匹配、三维重建和视觉重定位)中既高效又强大

ALIKE: 准确且轻量的关键点检测与描述符提取 文章翻译

—现有方法以不可微分的方式检测关键点,因此无法通过反向传播直接优化关键点的位置。为解决此问题,我们提出了一个部分可微分的关键点检测模块,可输出准确的亚像素关键点。接着提出了重投影损失来直接优化这些亚像素关键点,并提出了分散峰值损失以进行精确的关键点正则化。我们还以亚像素方式提取描述符,并使用稳定的神经重投影误差损失对其进行训练。此外,设计了一个轻量级网络用于关键点检测和描述符提取,该网络在商用 GPU 上对 640x480 图像可达到 95 帧/秒的运行速度。在单应性估计、相机姿态估计和视觉(重)定位任务上,所提方法达到了与最先进方法相当的性能,同时大大减少了推理时间

SuperPoint: 自监督兴趣点检测与描述文章翻译

本文提出了一种自监督框架,用于训练适用于计算机视觉中多视角几何问题的兴趣点检测器和描述符。与基于图像块的神经网络不同,我们的全卷积模型在全尺寸图像上运行,并在一次前向传播中联合计算像素级兴趣点位置及相关描述符。我们引入了**单应性适应**(Homographic Adaptation),一种多尺度、多单应性方法,用于提升兴趣点检测的可重复性并实现跨领域适应(例如,从合成到真实)。我们的模型在 MS-COCO 通用图像数据集上使用单应性适应进行训练后,能够比初始未适应的深度模型及任何其他传统角点检测器更丰富地重复检测兴趣点。最终系统在 HPatches 数据集上的单应性估计结果优于 LIFT、SIFT 和 ORB。

卡尔曼滤波的推导

本文详细推导卡尔曼滤波算法

LPIPS:Learned Perceptual Image Patch Similarity

LPIPS是一种**感知图像相似度(perceptual similarity)**的度量方法,由 Richard Zhang 等人在 2018 年提出(论文:“The Unreasonable Effectiveness of Deep Features as a Perceptual Metric”,CVPR 2018)。LPIPS 衡量两张图像在深度特征空间中的“感知距离”,比传统的 L2 或 SSIM 更符合人眼主观感受。

Owesome 3DGS papers

总结一些3DGS论文

Structural similarity index measure(SSIM)

结构 相似性 指数(SSIM)是一种用于预测数字电视和电影画面以及其他类型数字图像和视频的感知质量的方法。它也用于衡量两幅图像之间的相似度。SSIM 指数是一种完全参考度量;换句话说,图像质量的测量或预测是基于初始的未压缩或无失真图像作为参考的。 SSIM 是一种基于感知的模型,它将图像退化视为结构信息的感知变化,同时还纳入了重要的感知现象,包括亮度掩蔽和对比度掩蔽项。这与其他技术(例如均方误差(MSE) 或峰值信噪比(PSNR))不同,后者估计的是绝对误差。结构信息是指像素之间存在很强的相互依赖性,尤其是在空间上接近时。这些依赖性包含有关视觉场景中物体结构的重要信息。亮度掩蔽是指图像失真(在此上下文中)在明亮区域往往不太明显,而对比度掩蔽是指图像中存在显著活动或“纹理”的区域失真不太明显

3D Gaussian Splatting for Real-Time Radiance Field Rendering

3D 高斯溅射:实时辐射场渲染方法文章翻译

NeRF:将场景表示为用于视图合成的神经辐射场

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 经典论文翻译

Poisson 表面重建的核心思想以及与有限元方法(FEM)的关系

Poisson 表面重建的本质是一种有限元离散化的 Poisson 方程求解。Kazhdan 等人使用八叉树与局部基函数形式实现了自适应的 FEM 求解,使其成为连接 PDE 与几何重建的典型案例。本篇文章详细介绍了 Poisson 表面重建与有限元方法之间的关系。

关于Poisson重建∂符号的理解

初次看到Poisson重建这篇文章的时候,看到他用∂M表示表面,当时很困惑,为什么偏导数表示表面? 这里我觉得有一个概念理解错误的问题。 作者使用∂M表示“集合 M 的边界”,而不是“偏导数”。 具体说来, ∂其实是**数学记号上的“边界符号”**(boundary operator),不是偏导数。

Poisson表面重建--B-spline核函数和box filter

本篇文章详细介绍了 Poisson 表面重建文章里面使用的基函数B-spline与box filter之间的关系

Poisson 表面重建文章翻译

本文翻译了经典的Poisson表面重建文章:Poisson Surface Reconstruction

Matplot 显示中文字体

Matplot 设置显示中文字体

Fixing the RANSAC Stopping Criterion

Fixing the RANSAC Stopping Criterion 论文总结

Sampson 误差

Sampson 误差的详细解释

Markdown 渲染测试

测试本博客的Markdown渲染效果