作业帮是一款以“拍照搜题”为核心功能的在线教育产品,该功能的实现主要运用了OCR和深度学习技术。拍照搜题功能,从技术的实现角度上来看,主要有两种方式。
第一种方式是以图搜图。即平台中的题库同样按照图片方式存储,则当平台处理一个用户拍摄上传的解题需求时,算法通过计算用户题目图片的特征,并进行搜索排序,从题库中找到对应的最相似特征的图片,则该图片即为用户所搜索的题目。这种方案本质上是基于计算机视觉特征与机器学习算法的匹配检索技术。
第二种基于OCR技术和深度学习结合的技术方案。OCR(Optical Character Recognition),指的是电子设备(如扫描仪或数码相机)检查纸上的字符,通过检测暗、亮的模式确定其形状,而后利用字符识别方法将形状翻译成计算机文字描述的过程。
通俗地讲,就是针对印刷体字符,采用光学方式,将纸质文档中的文字转换为黑白点阵的图像文件,并通过识别软件将图像中的文字转换成文本格式,供文字处理软件进行加工的一项技术。