You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

20 KiB

RKSWPQ SDK Release Note

coming next version

v0.14.4.4090 Release Note | 2024.12.18

  • [ALL] OpenCL库增加/system/lib/libOpenCL-system.so搜索路径

v0.14.3.4088 Release Note | 2024.12.18

  • [MSSR] 更新SR通路支持4kRGB输入时整数帧不输出、非整数帧输出

v0.14.2.4086 Release Note | 2024.12.17

  • [MSSR] 更新MSSR2通路非标准4kNV12输入分辨率时的帧拷贝性能和效果修正
  • [ALL] OpenCL库增加/system/lib/libGLES_mali.so搜索路径

v0.14.1.4082 Release Note | 2024.12.16

  • [MSSR] 新加RK356X平台支持暂只支持部分功能
  • [MSSR] 新加支持非标准分辨率NV12格式输入输出2048x10802560x14404096x2160

v0.14.0.4068 Release Note | 2024.12.12

  • [MSSR] 更新Apirkpq_mssr_cfg新加bEnableHDMI参数,rkpq_sr_cfg新加nSRStrength参数,用于区分codechdmi不同输入及相关参数配置
  • [MSSR] 修正CPU绑核失败导致GPU跑挂的问题
  • [ALL] 将OpenCL缓存二进制文件名区分32位和64位使得同一环境可以切换调用32位和64位算法库

v0.13.12.4049 Release Note | 2024.12.10

  • [MSSR] 调整MSSR2通路部分log等级

v0.13.11.4048 Release Note | 2024.12.06

  • [MSSR] 更新SR通路支持1080pNV24输入输出、4kRGB输入输出的50fps或60fps处理通路

v0.13.10.4045 Release Note | 2024.12.05

  • [MSSR] 更新MSSR2通路增加支持NV24、RGB输入输出
  • [MSSR] 更新MSSR2通路更新ME模型
  • [MSSR] 优化4kRGB处理通路性能优化大运动场景效果
  • [MSSR] 调整MSSR2-1080p-HDMI通路的DC处理策略调整DC默认效果参数
  • [MSSR] 更新MSSR2通路调整DC时序优化整体性能

v0.13.9.4026 Release Note | 2024.11.29

  • [DFC] 新加BlockDFC处理通路支持ROI配置处理区域、锐化后处理、NV24或RGBA输出
  • [SD/DD/DHW] 修正YUV2RGB的错误转换系数
  • [MSSR] 更新MSSR通路支持属性配置走解码通路还是HDMI通路HDMI通路增加属性配置效果参数、Api输出运动状态参数
  • [MSSR] 在RK3588平台改用RGA3解决RGA2内存访问超4G的问题
  • [MSSR] 重新调整MSSR-HDMI通路的DC处理策略、输出SD数据策略

v0.13.8.3999 Release Note | 2024.11.21

  • [MSSR] 更新parseME降低带宽优化性能的激活条件
  • [MSSR] SR通路增加DC的激活条件

v0.13.7.3994 Release Note | 2024.11.19

  • [MSSR] 修改SR、MEMC部分默认参数

v0.13.6.3992 Release Note | 2024.11.18

  • [MSSR] 更新parseME降低带宽优化性能
  • [MSSR] 修复MSSR4K通路RGB输入输出dump功能

v0.13.5.3972 Release Note | 2024.11.12

  • [AUTH] 增加对rkauth_config.json授权配置文件的授权支持;rkpq_set_cache_path()接口增加对该文件的路径指定功能。

v0.13.4.3966 Release Note | 2024.11.12

  • [MSSR] 修正NV24输入输出时UV通道出现错位的问题

v0.13.3.3958 Release Note | 2024.11.08

  • [MSSR] MSSR4K通路支持NV12、NV24、RGB格式输入时不传RGB2和RGB1关闭外部RGA相应处理改由内部GPU生成
  • [DCI_ACM] 修正 DCI_ACM 模块对 DCI/ACM 模块的相关继承用法,解决崩溃问题
  • [MSSR] 更新schemeIdx={0,1}的X4的ME模型优化个别视频运动画面破图问题
  • [MSSR] MSSR和MSSR4K通路小运动闪烁问题进一步优化。
  • [MSSR] 修正DC+HWPQ效果异常问题
  • [MSSR] 更新场景切换检测
  • [MSSR] 更新部分ME模型
  • [RKNN] RKNN SDK支持版本提升至 v2.2.0

v0.13.2.3917 Release Note | 2024.10.31

  • [MSSR] SR通路支持1080pNV24输入输出

v0.13.1.3915 Release Note | 2024.10.30

  • [MSSR] 修正DC效果问题简化parseDC计算优化性能

v0.13.0.3910 Release Note | 2024.10.29

  • [MSSR] MSSR4K通路增加支持RGB输入输出此时输入只需要配3帧RGB数据不再需要配RGB2和RGB1两帧小分辨率数据
  • [MSSR] MSSR通路增加支持1080p输入时可选DC模型
  • [MSSR] SR通路支持4kNV24输入输出
  • [LD] 新增RKPQ_MODULE_LD模块支持Local Dimming相关处理

v0.12.6.3901 Release Note | 2024.10.23

  • [MSSR] 更新DC支持自动处理不同的输入range
  • [IO] 进一步增强对非对齐内存的自适应支持

v0.12.5.3898 Release Note | 2024.10.22

  • [MSSR] HDMI通路DC优化range改成Full2Full优化随机噪声逻辑小运动闪烁问题优化

v0.12.4.3896 Release Note | 2024.10.22

  • [MSSR] MSSR、MSSR2通路增加支持1080pNV24输入输出
  • [MSSR] NV24输出通路增加动静判决的MC优化性能
  • [MSSR] MSSR4K通路增加支持4k输入时可选DC模型

v0.12.3.3888 Release Note | 2024.10.18

  • [IO] 修正IO buffer缓存数量超过上限后的会将所有缓存都清除的错误行为该错误会导致输入数据异常并可能造成程序退出

v0.12.2.3885 Release Note | 2024.10.17

  • [MSSR] MSSR4K通路增加属性控制MSSR4K整数帧输出方式
  • [MSSR] MSSR4K通路增加属性控制4kDC使用的模型
  • [MSSR] MSSR2通路增加支持1080p输入时可选DC模型
  • [DFC] NV12->RGBA输出通路增加演示功能可通过属性配置各种演示模式
  • [MSSR] 修正MSSR4K通路DC结果异常问题
  • [MSSR] MSSR4K通路增加支持NV24输入输出

v0.12.1.3873 Release Note | 2024.10.11

  • [MSSR] 调整MSSR4K通路处理时序优化处理性能
  • [MSSR] 调整MSSR4K通路的DC处理减少带宽使用
  • [DFC] 修改默认走通路sendFrmN1默认使用model11支持Sharp后处理结果送n-1帧

v0.12.0.3870 Release Note | 2024.10.09

  • [MSSR] Api修改rkpq_mssr_initflag增加RKPQ_MSSR_INIT_FLAG_MSSR4K参数用于初始化MSSR4K通路
  • [MSSR] 增加初版MSSR4K通路支持
  • [RKNN] RKNN符号的动态加载由即时加载改为延迟加载未调用AI模块时不会主动加载librknnrt.so文件的符号
  • [IO] 修正在某些情况下计算输出图像平均亮度会失败的问题
  • [DFC] 支持model11的异步并行处理RK3576平台性能模式1080pNV12->RGBA处理耗时约30ms算法处理接口约15ms内提前返回

v0.11.2.3856 Release Note | 2024.09.29

  • [MSSR] MSSR4K通路部分RGA处理改成GPU处理优化带宽分布
  • [MSSR] 修正SR解析结果写出到输出虚宽大于实宽时出现的花图问题
  • [MSSR] 修正调用rkpq_deinit报错问题

v0.11.1.3843 Release Note | 2024.09.25

  • [MSSR] 重新调整输出SD数据只有场景发生切换时输出场景类型及相关数据才能变化
  • [MSSR] 修改异步线程wait机制避免wait启动失败的线程
  • [MSSR] 更新watermark_type=4的定制水印
  • [MSSR] 修正v0.10.3.3828引入的720p打开logD会闪退的问题

v0.11.0.3836 Release Note | 2024.09.24

  • [ALL] 恢复并修改RKPQ_FLAG_CALC_MEAN_LUMA的值使其重新生效,结合新增的RKPQ_QUERY_MEAN_LUMA_OUTPUT可以获取输出图像的平均亮度值
  • [MSSR] 优化AIPQ处理效果只有在场景发生切换时场景类型才能发生变化保持同一场景的AIPQ处理效果时域一致避免在同一场景时出现效果跳变

v0.10.3.3828 Release Note | 2024.09.23

  • [MSSR] 重新支持接口'nSchemeIdx=2'的配置降低NPU-ME耗时优化GPU-MC性能

v0.10.2.3824 Release Note | 2024.09.20

  • [BLR] 修正nBlurChannelnBlurMode从api传参失败的问题

v0.10.1.3819 Release Note | 2024.09.19

  • [MSSR] 修改MSSR通路支持4k输入、4k输出的MEMC处理通路
  • [MSSR] 修正输出虚宽大于实宽时出现的花图问题
  • [BLR] BLR模块配置参数rkpq_blr_cfg新加参数:nBlurChannel用于配置指定模糊的通道,nBlurMode用于配置模糊处理是在指定区域内还是指定区域外,详见rkpq_blr_cfg

v0.10.0.3812 Release Note | 2024.09.18

  • [IO] 增加了rkpq_init_params::nMaxIoBufCacheNum用于设置 IO buffer cache 的上限数量(对应Android属性为persist.vendor.rkpq.io.cache.limit)并将默认上限数还原为32个
  • [DCI_ACM] 新增RKPQ_MIXTURE_DCI_ACM混合模块支持DCI+ACM合并处理减少耗时新增对应的集成示例(rkpq_demo_dci_acm.cpp)
  • [ALL] 取消SHP_ACMDCI_ACM两个模块的授权要求
  • [ALL] 优化了pipeline最后一级是单通道处理模块SHP/DCI时的copy操作该情况下性能和带宽略有优化
  • [ALL] 部分Android属性名称变更test.vendor.rkpq开头的属性名称去掉test.前缀避免因SELinux权限问题导致属性读取失败而频繁报错 (最新的属性名称见开发文档 Rockchip_Developer_Guide_SWPQ_cn.md)
  • [DHW] 模型文件更新,解决出图结果有多块大面积团状黑斑的问题
  • [MSSR] 增加针对文字区域的ME优化新加支持X5模型支持帧率x2、x2.4、x2.5、x4等倍数
  • [MSSR] 调整算法处理步骤时序优化SR通路性能

v0.9.1.3784 Release Note | 2024.09.10

  • [MSSR] 修改CMCC定制水印AI-SRAI_DC关联一个水印AI-SR
  • [IO] 修改FD映射表上限64改成256

v0.9.0.3782 Release Note | 2024.09.10

  • [ALL] 初始化参数rkpq_init_params增加参数aModSetupFlags[]用于配置配置对应算法模块的初始化处理,当前支持CSCMSSR模块,MSSR模块的配置详见rkpq_mssr_initflag
  • [ALL] 性能优化当pipeline中最后几级的模块只处理Y通道或UV通道时在一定条件下可以省去未处理通道的拷贝过程
  • [ALL] rkpq_set_cache_path()接口加入pPath参数的空指针检验,防止传入空指针导致程序崩溃
  • [RKNN] RKNN自定义模型路径的访问权限由读写改为只读
  • [CGC] 支持纹理不重复的 full resolution 的类纸纹理叠加的算法实现
  • [DHW] 上传正式的模型文件;支持开关文档外观增强功能;取消输出格式必须和输入一致的限制
  • [MSSR] 修正SD数据与输出帧序不一致问题
  • [MSSR] 配置参数rkpq_mssr_cfg增加参数nProcFlag,用于rkpq_proc()调用时配置算法模块各步骤的开关,具体配置详见rkpq_mssr_procflag,各算法步骤开关属性配置仍沿用旧版
  • [MSSR] 增加CMCC定制水印persist.vendor.rkpq.watermark_type 4
  • [MSSR] 修正切换到FE通路出现人脸跳闪问题

v0.8.0.3756 Release Note | 2024.09.03

  • [MSSR] 修正场景切换结果数据冲突问题
  • [MSSR] 增加针对文字区域的ME优化暂只支持X4模型支持帧率x2或x4倍数。
  • [MSSR] 增加一个API参数aDstHistIdx[16]用于输出对应帧的直方图序号,aDstHistIdx[k]=x表示输出的第k帧使用输入的n-x帧对应的直方图数据

v0.7.4.3732 Release Note | 2024.08.23

  • [DHW] 修正对 YUV4xxSP 和 Y8 格式的输入输出支持运行错误
  • [RKNN] RKNN符号动态加载的预设路径扩充增加对/system路径下的librknnrt.so文件符号加载尝试

v0.7.3.3724 Release Note | 2024.08.21

  • [MSSR] 修改部分效果调试参数默认值与属性配置建议值一致
  • [RKNN] RKNN符号动态加载的预设路径扩充库加载后将尝试从/vendor/usr等路径下寻找librknnrt.so文件的符号;

v0.7.2.3719 Release Note | 2024.08.20

  • [MSSR] 优化Decontour处理之后PQ处理会把色带阶梯再次强化的问题需要配合PQ的修改

v0.7.1.3714 Release Note | 2024.08.17

  • [DD] 在 RGB系列格式基础上增加了对 YUV4xxSP 和 Y8 格式的输入输出支持
  • [DHW] 在 RGB系列格式基础上增加了对 YUV4xxSP 和 Y8 格式的输入输出支持去手写模型由RGB输入改为黑白图像输入输出的RGB图像会丢失颜色信息
  • [MSSR] RK3576-Linux-NVR修正概率跑挂问题
  • [MSSR] 增加输出DC_Score到接口数组中rkpq_mssr_cfg::pSDConfig->aSDResult场景数涨到9每帧前8个数据与旧版一致最后1个数据存储每帧的DC_Score用于后端PQ优化效果

v0.7.0.3703 Release Note | 2024.08.14

  • [MSSR] 增加支持属性配置选择SR模型persist.vendor.rkpq.iptv_sr_enable0表示投影SR模型1表示盒子SR模型
  • [Auth] 授权文件夹创建权限由700提升至755;
  • [RKNN] 将RKNN符号改用动态加载使算法库脱离对librknnrt.so文件的依赖;
  • [DD] 文档检测后处理操作升级,增强鲁棒性
  • [DHW] 增加文档增强的前处理,提升擦除效果(非正式版本); 增加 rkpq_dhw_cfg::nDocEnhanceLevel 属性参数(暂不生效)
  • [ALL] API修改
    • RKPQ_FLAG_HIGH_PERFORM flag 生效建议在CPU负载比较低时开启使程序效率增加。
    • RKPQ_FLAG_CIRCULAR_BUF_INRKPQ_FLAG_CIRCULAR_BUF_OUT flag 生效,仅在输入/输出缓冲区显示指定为 ring-buffer 机制时才开启内部的 buffer-cache 功能,节省零拷贝的映射耗时;
    • 增加 rkpq_init_params::bLazyInit 属性参数,用于指明 pipeline 内各模块执行延迟初始化操作默认为0;
    • 增加 rkpq_proc_params::bEnableIncreaseCpuUtl 属性参数用于开关子线程以控制CPU利用率仅在RKPQ_FLAG_HIGH_PERFORM flag 指定时生效。

v0.6.2.3680 Release Note | 2024.08.06

  • [MSSR] RK3576-Android平台更新540p/720p/1080p->1080p通路增加Decontour算法处理

v0.6.1.3666 Release Note | 2024.08.02

  • [MSSR] RK3576-Linux-NVR增加支持水印定制

v0.6.0.3663 Release Note | 2024.08.01

  • [MSSR] RK3576-Android-IPTV更新1080p-4k的SR通路增加Decontour算法处理
  • [DFC] 使用新的训练模型优化算法效果
  • [DHW] 增加AI-DHW模块,用于文档增强应用中的手写擦除场景
  • [DD] 增加一个API参数用于表明当前帧输出是否有效
  • [SD] 修正水印开启后读取无效SD模块信息导致的程序闪退问题
  • [ALL] 修正当输入帧号无效时会存在dump无限帧数的问题
  • [ZME] 修正对RGB系列图像任意倍率缩放结果偏差一个像素的错误
  • [CSC] 修正YUV601L_TO_YUV601L, YUV601L_TO_YUV709L, YUV709L_TO_YUV709L三种色彩空间转换的系数错误

v0.5.9.3625 Release Note | 2024.07.19

  • [MSSR] RK3576-Linux-NVR初版串联集成库

v0.5.8.3618 Release Note | 2024.07.15

  • [SD] 增加RK3576平台支持需要RKNN 2.0版本)
  • [SD] 增加AIPQ通路请参考rkpq_demo_aipq.cpp修正PQTool调试不生效的问题

v0.5.7.3596 Release Note | 2024.07.10

  • [MSSR] RK3576-Android-IPTV增加支持1080p-4k的SR通路
  • [MSSR] RK3576-Android-IPTV增加支持客户配置水印标题
  • [CGC] 新增RGBA格式输入和输出支持在模块中配置nR(G/B)gain参数以进行色温调整

v0.5.6.3519 Release Note | 2024.06.20

  • [MSSR] RK3576-Android-IPTV更新SR模型

v0.5.5.3507 Release Note | 2024.06.19

  • [MSSR] 修复FE通路下人脸边界跳变明显问题
  • [MSSR] 修正FE通路帧序跳变时跑挂问题
  • [MSSR] 修复部分变量未初始化问题

v0.5.4.3493 Release Note | 2024.06.17

  • [MSSR] 修正RK3576人脸增强处理的bug

v0.5.3.3490 Release Note | 2024.06.17

  • [MSSR] 修改演示水印:显示输入输出的分辨率、帧率,各种开关状态
  • [CGC] 新增类纸功能,使用bEnablePaperMode进行功能开关,nTextureStrength进行纹理强度模配置;强度越大纹理越明显

v0.5.2.3476 Release Note | 2024.06.11

  • [MSSR] SR模型修改默认用USM效果修复文字边缘瑕疵
  • [MSSR] 新加支持1080pNV12输入输出的SR通路
  • [MSSR] 人脸增强通路改为异步默认走384x384通路

v0.5.1.3453 Release Note | 2024.06.05

  • [MSSR] Linux平台人脸增强通路集成跑通
  • [MSSR] ProjectorSR通路颜色拖影问题修正

v0.5.0.3445 Release Note | 2024.06.03

  • [MSSR] MEMC性能优化
  • [MSSR] 增加支持人脸增强通路,接口增加bEnableFE参数控制是否打开人脸增强功能

v0.4.0.3437 Release Note | 2024.05.30

  • [MSSR] 关闭MEMC的SR通路输出场景检测结果数据。
  • [MSSR] 优化720pSR的效果
  • [MSSR] 接口增加MEMC强度参数nMEMCStrength
  • [CGC] 增加CGC模块

v0.3.0.3378 Release Note | 2024.05.17

  • [MSSR] 增加支持三套ME金字塔分辨率方案由api新增参数nSchemeIdx指定并传入相应数据
  • [MSSR] 优化540p和720p的SR处理性能满足30fps输入的SR+MEMC性能要求

v0.2.1.3349 Release Note | 2024.05.11

  • [MSSR] 输出场景检测结果
  • [MSSR] 优化720pSR性能

v0.2.0.3333 Release Note | 2024.05.09

  • [ALL] 增加新的接口rkpq_clear_caches()用于清除旧的输入输出缓存buffer
  • [MSSR] 重新打开授权功能
  • [MSSR] 支持前后两帧输入不同的分辨率

v0.1.2.3280 Release Note | 2024.04.24

  • [ALL] 取消对 vendor_storage 端口的写权限要求,改为只读权限;
  • [ALL] RKNN模型和授权文件的默认读取路径在Android下统一设为: /vendor/etc/, 在Linux下统一设为/etc/
  • [MSSR] 性能优化; RKNN模型升级到2.0.0b

v0.1.1.3264 Release Note | 2024.04.22

  • [ALL] 授权功能增加 vendor_storage 验证,授权验证全面开启
  • [ALL] pipeline实时开关模块的功能支持通过api_config的bEnableXXX参数可控制子模块实时开关
  • [ACM] 修正ACM子模块的api_config参数传递不生效问题

v0.1.0.3210 Release Note | 2024.04.11

  • [DD] 文档检测子模块完成fp16零拷贝适配性能优化至35fps(on RK3588)
  • [ALL] OpenCL缓存加入版本信息防止Mali库版本变化后缓存失效造成程序无法正常运行
  • [ALL] 重要API大调整
    • 增加新的模块,rkpq_module枚举名称和对应数值调整并划分为3个子类别每个类别对应的模块如下
      1. 通用的非AI模块: CVT(暂不支持)/CSC/DCI/ACM/ZME/SHP/MLC(新增,暂不支持)
      2. 通用的AI模块: AI_SR/AI_SD/AI_DM/AI_DFC(新增)/AI_DD(新增)/AI_DE(新增)
      3. 特定优化的混合模块: SHP_ACM/FE(新增)/MSSR(新增)
    • 增加新的图像格式
      1. 单通道格式: Y8
      2. 双通道格式: UV88,VU88(暂不支持)
      3. 三通道紧凑RGB格式RGB565/BGR565(MSB顺序即对于RGB565来说高5位为R低5位为B)
    • 接口调整
      1. 增加rkpq_set_inputs(),rkpq_set_outputs()接口,用于支持多输入多输出的模块(MSSR)
      2. 增加rkpq_set_cache_path()接口用于用户自定义缓存路径具体包含3种OpenCL缓存文件路径、RKNN模型文件路径、许可文件路径
      3. 增加rkpq_set_target_platform()接口(暂不支持)

v0.0.8.3074_alpha Release Note | 2024.03.04

  • [DD] 增加文档检测(DocDetection, DD)子模块

v0.0.7.3057 Release Note | 2024.02.28

  • [CSC] CSC子模块增加 R2R 通路,并支持色温调节功能

v0.0.6.3040 Release Note | 2024.02.23

  • [ALL] 增加非对齐数据导致零拷贝失效情况下的程序鲁棒性
  • [ALL] 增加对不同平台不同版本的OpenCL对齐条件不一致的适配
  • [SR] AISR子模块文字模型效果修正

v0.0.5.3012 Release Note | 2024.02.04

  • 修正Linux系统下零拷贝功能不支持的问题
  • 增加Linux系统环境变量的读取功能以修改日志等级等一系列属性

v0.0.4.2986 Release Note | 2024.01.17

  • rkpq_set_loglevel()日志等级设置可以不用指定特定的pq_context, 支持在调用pq_init()之前设置

v0.0.3.2865 Release Note | 2023.12.01

  • 增加非零拷贝即不带 fd buffer 的支持

v0.0.2.2829 Release Note | 2023.11.16

  • 恢复 DCI/ACM/DM 模块的支持
  • SR/DM 模块增加了对 ROI 支持
  • ZME 模块增加了对 RGBA 格式图像的缩放支持
  • SR 模块增加了在 RK356X 平台上分辨率从 960x540 -> 1920x1080 的通路支持
  • RKNN 依赖版本提升到 v1.5.2

v0.0.0.2534 Release Note | 2023.07.21

  • 新的处理框架,支持用户自定义的 pipeline 形式
  • 支持模块: CSC/SD/SR/DM/ZME/SHP