关于iReal 3D Mapping

简介

iReal 3D Mapping（以下简称为小熊猫贴图软件），是思看科技专门为三维扫描仪（适配各类品牌）配套开发的一款独立的3D智能贴图软件。它将通过智能化、半自动化的流程，将手机/单反拍摄的多角度照片映射到3D扫描模型上，得到高精度、高清晰度、真彩色的三维模型。软件结合了摄影测量、AI图像识别、纹理融合、镶嵌线编辑技术，实现了更精准、更快速的贴图映射，为用户在文物数字化、三维展示、VR电商、游戏数字资产制作、物品3D数据库建立（收藏品、珍贵样品等）、物品真实三维信息记录（损伤3D检测、现场信息保留等）等真彩色三维需求场景提供更加智能、更加精准的解决方案。

小熊猫贴图软件半自动化的处理流程，使得操作简单易上手，对工程师的专业技能要求相对较低。贴图算法的智能化，让贴图流程更加有效率。常规物品的贴图处理时间平均缩减至0.5小时/个，而传统处理流程通常需要半天到数天不等，且需要更为专业的3D艺术家才能做。此外，由于大部分处理流程都是自动化进行，所以一个工程师可以配备多台电脑，同时处理多个模型，这使得高精度彩色三维模型的制作效率有着显著提升，制作成本大大降低。

功能体系

● 小熊猫贴图软件服务方向包括文博数字化、艺术品数字化、非遗数字化、NFT数字资产等

● 小熊猫贴图软件涵盖数十项优秀算法模块，支持专业摄影测量采集和非摄影测量采集方式，提供完整一体的高度自动化的三维模型贴图解决方案。

● 小熊猫贴图软件支持所有市面上白光、蓝光、激光扫描仪以及倾斜摄影模型数据的贴图处理。

● 小熊猫贴图软件具备模型贴图流程化功能，提供便捷高效的工作流。

数据准备

拍摄建议说明PPT下载地址：

彩色三维数字化拍摄要点说明-思看科技

特征垫图片下载地址：

特征垫图片-思看科技

测试数据：

测试数据-思看科技

主流程图

导入模型和照片

主体检测

相对定向

绝对定向

精配准

镶嵌线编辑

纹理融合

特色功能

业务流程蓝图

根据不同的业务需求，小熊猫贴图软件为用户提供多种流程蓝图模板，并且用户可以在软件中自定义流程蓝图模板，为处理团队规范化处理流程。

流程蓝图提供可视化的处理步骤提示和项目自动保存功能。步骤提示：从左到右，每处理完一个功能模块，下一个功能模块会自动点亮，提示用户点击处理；自动保存：处理过程中的中间文件和结果文件都会自动存储到工程目录下，用户无需手动保存。

为了用户更快速学习软件、规范操作、理解功能，目前版本下，小熊猫贴图软件提供3种流程蓝图模板，分别是：扫描贴图流程（通用）、扫描贴图流程（iReal）、照片建模流程。

扫描贴图流程（通用）：

扫描贴图流程，通用型，扫描模型（stl/obj/off…）由不限扫描仪品牌获取，数码照片（jpg/png/tiff…）由单反/手机拍摄，最终输出高精度（原始面数）贴图模型以及中等精度（30-100万面）贴图模型。

第一阶段：高模中模正规化

导入扫描模型（可支持上亿面数模型），对扫描模型进行坐标摆正、中心点归零和清理网格后，获得高模数据（保持扫描模型同等精度结构），对高模进行简化处理到30万到100万面，并进行网格清理和展UV，获得中模数据（用于贴图）。

第二阶段：反求相机位置

导入照片集，对照片集进行AI主体检测、相对定向，计算照片与照片之间的相对位置；再使用绝对定向功能，模型尺寸和位置不变的情况下，反求取照片集的绝对位置；根据点云（相对定向步骤生成）和模型的精配准进一步缩小照片集与模型的映射误差。

第三阶段：映射贴图

有三种模式可选：映射编辑、像素融合、手动贴图。在映射编辑模式下，自动识别照片中大部分模糊、光斑等失真纹理区域，降低失真区域权重，生成相机纹理映射到模型的镶嵌线区域，通过可视化的编辑器，可进一步优化调整；在像素融合模式下，实现了多角度影像在3d区域的高动态范围融合成像；手动贴图模式下，用户可自定义编辑不同相机的映射区域，更适合再次调整或补拍的情况。

第四阶段：纹理精修

纹理精修使用第三方软件进行辅助，包括PhotoShop以及Blender，软件可以自动联动，实现动态的编辑和更新，以及针对UV边缘的再次匀色，确保模型UV边缘无接缝。

第五阶段：纹理与法线烘焙

在完成中模贴图后，进而使用UV传递模块，将中模的UV传递到高模，这样无需再对千万级或者亿级面数的高模再次展UV，最后，既可使用Marmoset Toolbag插件一键烘焙，将中模的纹理烘焙到高模输出纹理贴图，高模的结构烘焙到中模输出法线贴图。

扫描贴图流程（iReal）：

扫描贴图流程，iReal型，扫描模型（stl/obj）以及扫描纹理（map）由iReal 2E/M3扫描仪获取，数码照片（jpg/png/tiff…）由单反/手机拍摄，最终输出照片自动置换扫描纹理的贴图模型。

第一阶段：模型导入

导入扫描模型，对扫描模型进行网格清理。

第二阶段：照片置换

在照片仓库中，导入扫描纹理（map），导入数码照片，使用扫描纹理作为基准，自动计算数码照片的内外参数，获得相机位置。

第三阶段：映射贴图

同扫描贴图流程（通用）。

第四阶段：纹理精修

同扫描贴图流程（通用）。

照片建模流程：

照片建模流程，数码照片（jpg/png/tiff…）由单反/手机拍摄，最终输出由照片自动计算构建的贴图模型。（由于未加入分块计算策略，所以仅适合中小型器物模型构建）

第一阶段：照片对齐

在照片仓库中，导入拍摄照片，对照片完成主体检测处理，接着进行相对定向（照片对齐）。

第二阶段：构建模型

使用照片仓库中稠密重建功能，自动构建三维模型，并且会根据主体结果对模型网格完成自动化清洁和补洞。

第三阶段：映射贴图

同扫描贴图流程（通用）。

第四阶段：纹理精修

同扫描贴图流程（通用）。

轻交互AI主体检测

小熊猫贴图软件AI主体检测功能，基于交互式语义分割AI模型，能够在复杂场景下提取目标主体，并且由于其交互学习的特性，适用于各类目标的提取和分割，包括但不限于文物、艺术品、工件、人体、生物医药、鞋子服饰、现代产品等等。

用户进入到主体检测界面后，可以通过单张照片图像的点击交互选中主体区域，再使用传播功能，即可自动为照片集每一张照片提取主体区域。

案例名	深溪小院
照片数	200张
处理方式	处理时间	单位处理时间	说明
小熊猫AI主体检测（小熊猫抠图）	153秒	0.765秒/张	模型加载→单张选中主体→传播→输出抠图
PS主体检测批处理（PS抠图）	786秒	3.930秒/张	设置动作：背景为黑色的主体检测

相比于PS抠图的优势：

（1）速度更快：照片数量越多，提升越明显，可达5倍-10倍的处理效率

（2）精度更高：

**（3）适用性更广：**PS抠图在部分情况下（背景复杂/部分类型物品/局部拍摄）无法正确提取主体

扫描模型尺寸不变下，反求相机位置

小熊猫贴图软件是基于扫描模型不变的前提下，对照片进行相对定向、绝对定向、精配准处理构建与扫描模型对准的空间序列相机。

处理方式	处理流程	结果影响
小熊猫贴图	相对定向：计算照片与照片的相对位置；绝对定向：计算照片集与模型的绝对位置；精配准：通过配准稀疏/稠密点云和模型，进一步缩小照片集与模型的映射误差；	模型结构精度不变
扫描模型对准照片建模贴图	照片建模：通过照片构建缩小尺度的模型；扫描模型配准照片建模模型：把扫描模型尺度缩小到照片建模尺度并对准；替换模型：用扫描模型替换照片建模模型；贴图模型：相机位置不变情况下，扫描模型尺度减小，进行贴图；	尺度变换产生误差对准精度产生误差

多种单张照片与模型对准策略

二三维结构对准

在绝对定向模式下，先手动粗略对准三维模型与照片的位置，点击使用结构对准功能，即可在数秒内完成三维模型和照片数据的位置对准。

图：手动对准

图：结构对准

**技术原理：**通过三维模型生成模型结构图以及轮廓图，迭代匹配照片抠图图像的边缘轮廓。

图：三维模型

图：结构图

图：轮廓图

图：照片图像

图：抠图单色图

二三维特征匹配

在绝对定向模式下，在三维已有初始纹理的情况下（1-部分扫描仪可以获取到低分辨率纹理，2-已经进行一次贴图处理，补拍数据的对准），点击使用图像匹配功能，即可在数秒内完成三维模型和照片数据的位置对准。

图：照片和模型粗对准

图：模型匹配同名点

图：照片匹配同名点

图：同名点对准

二三维同名点刺点

在绝对定向模式下，可以使用手动刺点方式选中三维模型和照片的同名点，当同名点数量≥6时（应均匀分布），即可将照片对准模型。

图：模型手动刺点

图：照片手动刺点

图：同名点对准

基于单张照片的照片集与模型对准

通过单张照片与三维模型的对准（二三维结构对准、二三维特征匹配、二三维同名点刺点），即可将整个照片集（相对定向结果）与模型进行一键自动化对准，无需反复对准每一张照片。

可视化相机映射区域编辑（映射编辑模式）

软件提供基于Qt+OpenGL的快速可视化三维镶嵌线编辑功能，其中每个面片代表不同相片的纹理，用户可以选中指定相片后，使用框选方式完成镶嵌区域的替换编辑；同时具有相片映射显示功能、映射相片透明度调整功能、最优角度相片切换功能等，为用户提供快捷、直观、流畅的编辑环境。

上图为镶嵌线编辑可视化图例，黑色边框区域代表不同相机映射到模型上的纹理区域，绿色边框区域代表用户选中区域；可以通过多边形框修改不同相机映射到模型上的纹理区域，每次修改在1-2秒内完成更新，保证流畅编辑；可通过可视化编辑方式，进一步剔除掉光斑、模糊等失真纹理。

高清晰三维HDR像素融合（像素融合模式）

基于二维图像的高动态范围(High-Dynamic Range,简称HDR)算法，软件提供了三维HDR像素融合模式，无需编辑镶嵌线，在同一个区域对多角度图像进行HDR融合处理，可在一定程度上对光斑、失焦、重影等问题。

以下分别使用小熊猫贴图软件、Metashape软件、RealityCapture软件进行相同贴图区域对比。

图：小熊猫贴图软件（8K贴图）

图：Metashape软件（8K贴图）

图：RealityCapture软件（8K贴图）

图：小熊猫贴图软件（8K贴图）

图：Metashape软件（8K贴图）

图：RealityCapture软件（8K贴图）

软件	清晰还原度	颜色还原度	颜色均衡度。
小熊猫贴图	优。最大程度还原照片细节清晰。	优。最大程度还原照片的颜色。	差。暂无法很好处理高光和色差，需要拍照质量良好。
Metashape	差。有重影，不能很好处理失焦区域。	良。有重影，颜色失真。	良。整体颜色均衡。
RealityCapture	良。整体均衡，但是细节清晰度略差。	差。颜色均衡后容易偏色，与照片颜色不同。（青砖偏红）	优。整体颜色均衡效果最好，最为平滑。

极速UV生成、重组

总结：小熊猫贴图软件展UV功能，对比市面上其他软件，能够实现UV自动分割重组，无需编辑分割线，速度最快，重叠率最低，但是分割形状没有手动拆分UV的软件好。


案例：深溪小院（30万面）			总结：小熊猫贴图软件展UV功能，对比市面上其他软件，能够实现UV自动分割重组，无需编辑分割线，速度最快，重叠率最低，但是分割形状没有手动拆分UV的软件好。
展UV软件	自动	耗时	UV图/UV重叠图	评价
小熊猫贴图（分割）	是	20秒		重叠面：3/300000重叠率：0.001%UV分割岛较为碎片化，不利于修图。
小熊猫贴图（分割+重组）	是	2分58秒		重叠面：3/300000重叠率：0.001%UV岛重组过后，利于修图。
Zbrush （不分多边形组）	是	13分23秒		重叠面：29454/300000重叠率：9.818%重叠率过高，会导致纹理错误。
Zbrush （分多边形组）	否	11分1秒		重叠面：21/300000重叠率：0.007%需要手动拆分多边形，利于修图。
blender （智能投射）	是	26秒		重叠面：1430/300000重叠率：0.477%重叠率较大，会导致错误纹理；UV岛较碎，不利于修图。
RizomUV （默认）	否	8-10分		重叠面：3025/300000重叠率：1.008%重叠率较大，会导致错误纹理；UV岛平整，利于修图。
RizomUV （避免重叠）	否	8-10分		重叠面：99/300000重叠率：0.033%重叠率较小，但也会在局部导致错误纹理；UV岛平整，利于修图。

不同网格结构下的模型UV传递

当千万级、亿级三角面模型需要展UV都需要消耗较长时间，软件提供“UV传递”功能，可以将已经展UV的低模数据的UV信息传递到高模上，一般情况下，仅需1分钟内即可完成（以深溪小院为例，耗时15秒，将30万面模型UV传递到300万面高模），极大的节省了高模展UV的时间。

图：低模（30万面）三维UV

图：低模（30万面）二维UV

图：高模（300万面）三维UV

图：高模（300万面）二维UV

Photoshop联动修图

二三维联动定位

在软件修图模式下，用户可以指定修图区域，即可自动跳转到Photoshop相同区域并且框选区域，方便查找问题纹理区域。

一键重载纹理

当在Photoshop软件修改完纹理保存到本地后，在小熊猫贴图软件使用快捷键shift即可一键重载所有纹理，方便实时修改查看。PS修改项包括但不限于：盖章、局部减淡、局部加深、局部锐化、Camera Raw滤镜等。

UV边界匀色

使用Photoshop软件修图时，难以避免对UV边界的纹理进行调整，导致边界颜色对应不上，小熊猫贴图软件提供对UV边界匀色的功能，完成编辑后即可一键匀色输出。

图：修改前

图：修改后（提亮纹理），UV边界差异明显

图：匀色后，减少UV边界色彩差异

高分辨率正射图/拓片渲染

小熊猫贴图软件内置图像渲染工具，可以输出高分辨率正射图像以及高分辨率拓片。

方案对比

方案	主要优劣势
激光扫描+ 小熊猫贴图方案总结	一、主要优势： 1.物品适应性好：能满足绝大多数、各类物品的彩色三维模型制作需求； 2.简单易上手：自学即可上手，对技术人员技能及经验要求低；人工成本低（无需人人都是高级工程师）； 3.高效率制作：大多数流程可进行智能化、自动化处理，30分钟内即可完成贴图制作及贴图精修工作（常规模型）； 4.一站式处理：当局部贴图需要精修时，无需使用多个专业复杂的第三方商业软件，工程师可通过小熊猫软件里的镶嵌线编辑、单张照片映射替换、一键匀色、Photoshop联动精修等智能化模块，在小熊猫软件里可一站式轻松处理； 5.高质量：此方案可以制作得到高精度（模型高精度、贴图映射高精度）、高精细度、真彩色的三维模型，最适合高要求的客户（比如各类古文物、收藏品、纪念品、孤品等）：需要1:1还原物品上的每一处真实纹理。二、主要缺点：前期软硬件配套成本比较高（但，后期制作成本低，配套人员成本低，制作效率高，且能满足各类物品彩色建模）。
照片建模方案总结	一、主要优势： 1.纯照片建模，前期配套成本低； 2.对三维模型精度、贴图精度没有要求的客户，纯照片建模方案比较有优势：在这个要求下，对于哑光、有丰富且不重复纹理特征、不具备复杂结构（没有镂空、深孔等）的物品，照片建模方案的优势最为明显（能满足需求且成本最低）。二、主要缺点： 1.物品适应性低：对于纹理特征少、高反光、薄壁件等物品，照片建模可能会失败/局部建模有问题； 2.人员要求高：拍照要求高；当模型局部有问题时，后期修模型、修贴图时，技术人员需要掌握专业的第三方商业软件（对人员技能和经验要求高），进行专业调整和精修； 3.制作成本高：高精细度的照片建模需要更多数量、高像素的照片、高配置的工作站以及更长的计算时间（短者2-3个小时）。当局部贴图需要精修时，操作繁琐，耗时长。
扫描模型+ 手工刷图方案总结	一、主要优势： 1.不需要满足摄影测量方式采集照片； 2.传统刷图方式，可以使用非商用软件完成。二、主要缺点： 1.耗时长：需要手动对准每一张照片，手动将照片纹理画刷到模型上，当处理几十张上百张多角度影像时，需要数天时间才能完成单模型贴图处理； 2.精度差：由于大多数处理工作依靠技术人员目视判断，对技术人员经验要求较高，容易出现接缝错位，贴图与模型对应不准确的问题； 3.还原低：对于结构较为复杂的器物，手刷贴图会造成缺漏以及色彩不均等问题。

安装iReal 3D Mapping

Windows安装包下载地址：iReal 3D模型纹理贴图_高清彩色文物三维扫描 - 思看科技 (ireal3dscan.cn)

运行环境

软件环境：

序号	名称	要求	推荐
1.	Windows	10/11/server2008/server2012	10/11
3.	显卡驱动	支持CUDA11.0以上	最新版本驱动

硬件环境：

序号	名称	要求	推荐
1.	CPU	CPU：I5/I7/I9	I7
2.	内存	16G或以上	32G
3.	显卡	GTX1060以上	RTX3060 12G

安装步骤

（1）双击iReal3DMapping安装包。

（2）选择安装语言，点击“确定”。

（3）选择安装路径，点击“下一步”。

（4）选择是否创建桌面快捷方式，点击“下一步”。

（5）点击“安装”。

更新步骤

（1）打开软件时，有版本更新提示，点击“立即更新”。

（2）等待更新下载完成。

（3）点击“立即安装”。

（4）安装完成后会自动重启软件，即可使用。

申请许可

在指定软硬件环境条件下，直接安装软件安装包即可。软件分为社区版、试用版、限时正式版和永久正式版。

版本	社区版	试用版	限时正式版	永久正式版
获取方式	免申请试用	“帮助→许可”中申请	购买尝鲜月版（仅一次）购买年版	购买永久版
使用时限	动态调整	10天	月版：1个自然月年版：1个自然年	永久
支持离线	否	否	否	是（加密狗）
转移许可	否	否	联系管理员	是（加密狗）
贴图分辨率	单张4K	单张4K 单张8K 单张16K 多张贴图	单张4K 单张8K 单张16K 多张贴图	单张4K 单张8K 单张16K 多张贴图
拓片分辨率	单倍	无限制	无限制	无限制