下面是我做过的一些比较有代表性的项目。有一些是出于硕士研究方向,有一些出于兴趣驱动。

INS实例搜索系统

角色: 独立开发

INS是一款为实例检索而生的图像检索系统。该系统可用于检索相同物体、近似重复物体以及拷贝检测。开发该系统纯粹出于兴趣,并在空余时间开发完成。后面会持续的对其进行改进。

Technologies: CNN, C++, QT, OpenCV,Query Expansion

SeetaFaceLib

角色: 独立开发

Code: SeetaFaceLib

SeetaFaceLib是一个在SeetaFaceEngine基础上构建的一个人脸检索与识别项目。为了使SeetaFaceEngine能够在Mac OS系统下工作,我对它做了些小修改使得它能够在Xcode下工作,更重要的是,我在此基础上为其构建了一个基于QT的人脸检索系统。

Technologies: SeetaFaceEngine, FALCONN, OpenCV, C++, QT

PupilTracker

角色: 主要开发者

pupilTracker是一个瞳孔跟踪模块,并且它还包含了瞳孔中心到屏幕的映射模块,它能够用在视觉追踪系统中。

所用技术: Image Proccessing, OpenCV, C++

Oxford Screenshot

DuplicateSearch

搜索结果: Duplicate Search

角色: 单独开发

卷积神经网络对于同类搜索能够取得很不错的效果,但对于Duplicate Search任务表现不佳,而实际商业应用对同款搜索应用价值更大,比如搜索衣服、鞋子等,我们希望的是从很大的衣服或鞋子中搜同款。结合开源资源以及对基于关键点结合词包模型的研究,经过一段长时的实现,再经过不断的验证,DuplicateSearch能够取得很好的效果,在oxford building数据库上平均检索精度达到83.35%。在15万大数据上检索结果见上面搜索结果。

所用技术: SIFT, BoVW, Image Retrieval

对应博文: BoF, VLAD and FV for image retrieval (Chinese)

PicSearch Screenshot

PicSearch

在线演示: CNN for CBIR (已下架)

视频: nature images, medical images

代码: feature extraction, search online

角色: 单独开发

经过一年对CBIR的研究,出于兴趣驱动,小白菜决定开发一个图像搜索引擎演示系统. 卷积神经网络近几年在计算机视觉社区得到了广泛的发展,并且在很多任务上取得了很好的效果. 所以在平时的空闲时间,利用对阅读的文献的理解进行编码开发。PicSearch原型所用数据库是Caltech256, 该数据库包含有29780幅图像。目前该原型发布的代码只支持库内查询,借助Keras很容易完成在线上传搜索功能。

所用技术: 卷积神经网络, Python, 图像检索

对应博文: Image retrieval using MatconvNet and pre-trained imageNet (Chinese)

HABIR Screenshot

HABIR

项目主页: Hashing Baseline for Image Retrieval

角色: 单独开发

在2013年初我就开始研究图像检索技术,其中我主要的任务之一就是设计有效的哈希算法,使得语义相似的图片对应的特征经过映射后具有相似的编码。使用哈希方法进行图像检索有两个主要的优势,即节省内存空间以及更高效的匹配速度。为了方便后来人关注于哈希算法的设计,我已经将一些经典的以及最近几年的哈希方法做成了一个对比框架,希望能对后来者有些许帮助。

所用技术: Matlab, 哈希, 图像检索

PCVwithPython Screenshot

PCVwithPython

项目主页: Programming Computer Vision with Python(Translate to Chinese)

角色: 主要译者之一

Python粉,并且一直认为Python是我知道的最优雅的编程语言之一。Python作为一门强大的编程语言已经用到了很多地方,比如脚本、Django开发web应用以及科学计算等。在我第一次瞄见这本书的时候,我被这本书里的内容深深吸引了。该书内容非常丰富且实战性强,我忍不住想要分享这本书让更多人,所以在空余时间,我沉入这本书中并和另外一个小伙伴翻译它。此外,我还对这本书中的代码进行了整理。

所用技术: Python, Jekyll, Markdown

Interested? Here's my Github and resume, let's get in touch.