作者：木东来源：ISP Tuning原文：https://mp.weixin.qq.com/s/9qOqxBoKWqdhF7AUvmTnRw
随着工作时间越长，对这个岗位的认识较之前也有了一些更深刻的理解，这里整理总结一下。
一方面是当做现阶段的思考记录，一方面可以给到刚入行或者即将入行的小伙伴以参考。
下面会从如下几个问题去描述：Camera Tuning岗位是做什么的？怎样才能做好Tuning的工作？关于Camera Tuning的岗位前景如何？
1、Tuning岗位是做什么的？结合我平常的工作任务来看，总结一下其实就两点：解决图像效果相关的问题、调试出符合产品需求的图像效果。
1） 解决图像效果相关的问题在平常工作中遇到的各种各样的效果问题有很多，从光源–>镜头–>滤光片–>coms sensor–>isp–>编码–>显示，
整个成像系统过程中，每个环节都有可能会出问题。
我们的工作就是得先排查出是哪个模块导致的问题（如果经验足够丰富，可能一眼就知道是哪里的问题，但也不排除会遇到各种稀奇古怪的问题）。
然后再基于该模块，具体问题再去具体分析，能自己解决的就自己解决，涉及到其他模块的，那就需要收集信息，整理分析总结，或者提供建议，推进相应的负责人去解决。
以我自己为例，我是在平台厂工作，负责平台的ISP调试，和我们相关的就是ISP中的各个模块的调试参数、底层配置的sensor驱动、ISP驱动、mipi驱动、还有ISP算法(包含3A)，这当中会涉及到和算法组、驱动组的同事联调分析。
另外还包括编码、显示的问题，同样的也是要给出分析结论，推进相应的同事去解决。
如果是sensor的问题，或者是镜头的问题，那就联系客户找sensor厂和镜头厂支持。
很多做Tuning的工程师只是工作在成像系统中某个环节，所以测重点会有所不同，比如工作在sensor厂，那可能会更关注sensor 相关的问题，镜头厂则会更关注镜头导致的效果问题。
2） 调试出符合产品需求的图像效果首先要了解目标产品的应用需求，这个产品是做什么的，要用在哪里。这决定了成像系统的硬件选型，及后续图像调试的目标。
其次是根据产品的应用需求做好硬件的选型，包括sensor、镜头、滤光片的选型。
这决定了成像系统的指标与局限，比如动态范围、解析力、信噪比，如果本身输入的信息就很糟，光靠后端处理来达到一个好的效果是比较困难的。
如果是在整机厂，也会考虑到平台的选型，不同平台ISP、编码处理性能差异也比较大，是需要重点考量的。
完成上述任务后，接着就是图像效果的调试了，以满足产品需求或者客户需求为标准调试就可以了。
思考：AI ISP的发展是否可以超越硬件本身的限制，达到更好的图像效果呢？
好的镜头，好的sensor决定了获取到的有效数据（比如高分辨率的镜头、高感光度的sensor），越好的硬件，获取到的有效数据就越多，AI ISP处理出来的效果肯定就越好。
和目前用的比较多的生成式AI不一样，在实际应用中，相机是绝对不能无中生有的，因为它本身就是用于记录/采集外部信息的。
目前AI ISP用的比较多的就是是替代ISP中的降噪模块，但图像噪声本来就是拍摄过程中带来的错误的、额外的信息。所以和传统ISP一样，肯定还是要基于硬件本身的。
另外同样的一套硬件，有AI的加持，处理的效果肯定是要比传统ISP要好的，但好多少，成本增加多少，是现阶段需要考量的。
2、怎样才能做好Tuning？上文聊到了Tuning是做什么的 —— 解决图像效果相关的问题、调试出符合产品需求的图像效果；
那我们需要思考的就是如何提升自己处理/解决图像效果相关问题的能力，及如何调试出符合产品需求的图像效果；
1） 如何提升自己，处理/解决图像效果相关问题的能力
a、构建对影像系统的整体认知，这个永远都不嫌多。b、入行时及入行后保持好奇心。c、求知若渴，多问几个为什么，但同时要学会如何提问。d、更新知识，对新知识要持怀疑态度，多途径去验证，也可以通过多写几行代码去验证。e、贴近用户，用户才是真正买单的人，永远不要尝试指点用户。
2）如何调试出符合产品需求的图像效果如何调试出符合产品需求的图像效果，他需有个流程：
了解目标产品的应用需求 —> 根据应用需求做好器件选型 —> 基于对图像的理解，进行效果调优。
a. 了解目标产品的应用需求应用场景不同的相机，对图像效果的需求是不一样的，比如车载相机对色彩的要求可能就没那么高（只要红绿灯，路上的标识线颜色不偏就可以了）,手机相机对肤色就要求比较高，安防类相机对锐度、通透度、低照度下的噪声/拖影会比较在意，这是我们器件选型及Tuning的目标。
b. 根据应用需求做好器件选型上文说过，包括sensor、镜头、滤光片、ISP、编码、显示，他们一同构成了一个成像系统，也决定了该成像系统的指标与局限。
比如 sensor datasheet 中定义的动态范围是60dB，但需求是要达到80dB，这是不合理的。
所以在项目立项时，最好就要参与进去，了解当前硬件的指标和局限。
但目前的现状很多都是选型已经完成了，然后就把设备给到Tuning工程师，你就去调吧，需求合理还好说，要是超出硬件本身的限制就很无奈了。
但这又是不可避免的，这和所在的公司相关，如果是整机厂的Tuning工程师，那就要参与整个器件的选型，他要对后续的图像质量负责。
如果是在sensor厂，平台厂，模组厂，可能就会涉及到，客户给到你，你就调的尴尬境地。
另外也会因为成本，供货问题从而影响到选型，没办法选择性能更好的器件（比如高感光度，高动态范围的sensor、高解析力，大光圈值的镜头等等）导致产品达不到更好的性能指标，这是没有办法改变的，也是可以理解的。
我们能做的就是基于技术指标，去规避掉一些因为选型失误导致的效果差的问题，比如lens和sensor CRA不匹配导致的shading/迷宫格问题，选择了type3类型的pdaf sensor，ISP又不支持补偿，导致有明显坏点/清晰度差的问题。
c. 基于对图像的理解，进行效果调优关于 PS(photoshop)，一个强大的图像后处理软件，可以通过PS编辑处理（图像的亮度、清晰度、颜色、对比度等等）一张图像。
Tuning的工作其实也是类似的，通过调试ISP中开放的寄存器参数、及软件的3A参数来达到一个好的图像效果。
差异的点应该是调试的目标不同，摄影师通过PS做后期，可能更偏向于艺术感。而我们 Tuning 更多是以 “真实还原” 外界场景为目标（前提是以人眼视觉为评判标准的相机产品）。
其实做Tuning的话，学习一下摄影还是很有必要的，因为很多时候我们看不出图像怎样调是最好的，这时需要有摄影家的眼力，可以有助于我们调试出更好的作品。
但在做项目的过程中，更多的是客户会提供一个竞品机，要求按照竞品机的风格去调优，但对于画质来说“没有最好，只有更好”，如果调的和竞品机一模一样还有什么竞争力呢？
其实这两者也并不冲突，正确的流程应当是，我们要在满足其真实还原的前提后，再去参照竞品微调一下风格即可。
另外在图像调优过程中，也会遇到需要相互权衡的问题， 比如亮度和对比度的调整，除了会使得画面更通透外，可能也会导致图像高亮处过曝，那此时就得看具体产品的使用场景，及拍摄主体是什么了，如果过曝不影响主体的识别，我觉得问题是不大的。
3、Tuning岗位的前景？聊一个岗位的前景如何，肯定是要基于这个行业去看的（Camera Tuning 工程师可以归属于影像行业）。然后再从两个方面去考量，现阶段市场对影像行业的需求如何？影像行业的发展是否已接近天花板？
这两个问题的答案这里就不详细描述了，大家可以自行去网上调研了解。
调试的未来其实很宽广，从硬件设计到影像终端系统都可以做，最重要的是不能仅仅把自己局限在只是一个调参的岗位。
