[Paddle] ERNIE-Layout 使用测试 - 文心多语言跨模态布局增强文档智能大模型

介绍

  近期遇到需要从电子文档中进行内容提取的需求，突然想到 Paddle 的 ERNIE-Layout 模型，对其进行分析和测试。

  采用此方法，避免了很笨的 OCR + 正则匹配 的思路。

应用场景

1. 电子文档

2. 对表格类的文档进行内容提取（发票、票据、简历）

3. 对文档进行问答

使用方法

1. 安装：

2. paddlepaddle环境安装
   

3. 如果是 GPU 环境的话，执行 nvidia-smi、nvcc -V 两个命令，根据结果进行不同命令的安装；

4. 如果是 CPU 环境的话，可直接进行安装；

5. 执行如下命令： pip install --upgrade paddleocr pip install --upgrade paddlenlp

6. 官方示例代码，执行官网示例代码验证环境安装是否成功；图片无法正常查看的话， 访问
   

7. 

8. 针对具体业务图片进行信息提取测试(部分字段被隐藏，但是不影响去理解当前模型可以针对此格式的图片进行信息提取)，使用非官方图片，图片无法正常查看的话， 访问
   

9. 

10. 测试结果，图片无法正常查看的话， 访问
    

11. 

12. 应用

13. 可以外面包一层 django 框架进行服务化；

14. https://github.com/PaddlePaddle/FastDeploy 当前当前未看到关于 ERNIE-Layout 部分的介绍；

问题解决

1. ImportError: cannot import name '_registerMatType' from 'cv2.cv2'

2. https://github.com/opencv/opencv-python/issues/591
   

3. ERROR: After October 2020 you may experience errors when installing or updating packages. This is because pip will change the way that it resolves dependency conflicts.We recommend you use --use-feature=2020-resolver to test your packages with the new resolver before it becomes the default.

4. 本文在安装和测试的过程中，忽略了此问题；

5. 根据官方介绍，可以在 pip install 命令后添加 --use-feature=2020-resolver 去解决；

相关参考

1. https://github.com/opencv/opencv-python/issues/591
   

2. https://www.matpool.com/ 注册过程中可用邀请码： r6LeEKPs7ivbaLy

3. https://developer.nvidia.com/cuda-11-7-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=runfile_local
   

4. https://www.paddlepaddle.org.cn/
   

5. https://aistudio.baidu.com/aistudio/modelsdetail?modelId=23