Wu Liu's Homepage
  • English
  • 中文
  • Links

刘 武

博士,  Senior Researcher

京东AI研究院
计算机视觉与多媒体实验室

Email: 
username -at- domain
where username = liuwu,
domain = live.cn

北京市朝阳区北辰西路北辰世纪中心A座 100105

我们长期招聘正式员工和实习生,请将简历发至我的邮箱。
​News
  1. 2019.9 受邀在中国多媒体大会多媒体检索与推荐论坛作题为《Vehicle Re-identification: Past, Present and Future》的报告。
  2. 2019.7 被 IEEE ICCV 2019 接收论文 2 篇。
  3. 2019.7 被 ACM MM 2019 接收 Oral 论文 4 篇。
  4. 2019.7 入选 THE Multimedia Systems and Applications (MSA) Technical Committee (TC) of the IEEE Circuits and Systems Society (IEEE CASS) Member.
  5. 2019.7 论文 Xinchen Liu, Wu Liu, Tao Mei, Huadong Ma: PROVID: Progressive and Multimodal Vehicle Reidentification for Large-Scale Urban Surveillance. IEEE Trans. Multimedia 20(3): 645-658 (2018) 荣获 IEEE Trans. on Multimedia 2019 Best Paper. 
  6. 2019.7 荣获 IEEE ICME 2019 Outstanding Service Award.
  7. 2019.7 在 IEEE ICME 2019 主持 Tutorials Human Behavior Understanding: From Human-Oriented Analysis to Action Recognition [3 Hours] 
  8. 2019.7 在 IEEE ICME 2019 主持 Special Session Multimedia Technologies Empowering Retail Experiences
  9. 2019.5 被 IJCAI 2019 接收论文 1 篇。
  10. 2019.4 被 IEEE CVPR 2019接收l论文 1 篇。
  11. 2019.3 被选为 ACM MM 2019 Area Chair.
  12. 2019.1 被 AAAI 2019 接收论文 1 篇。
 
简历
  • 2018.07~至今          京东AI研究院          Senior Researcher 计算机视觉与多媒体实验室
  • 2015.07~2018.07    北京邮电大学          硕导            计算机学院
  • 2009.09~2015.06    中科院计算所          硕博连读     计算机应用      博士导师:李锦涛, 课题组长:张勇东
  • 2014.12~2015.04    美国罗切斯特大学   交流访问     多媒体计算      指导老师:罗杰波
  • 2013.01~2013.09    微软亚洲研究院       实习            多媒体计算      实习导师:梅涛
  • 2005.09~2009.07    山东大学                  本科            软件工程
研究方向
  • Computer Vision: People/Vehicle Re-Identification, Human Behavior Analysis 
  • Multimedia: Mobile Video Search, Video Content Understanding;
  代表论文 (My Google Citations)
​    带星号*的表示为通讯作者 .
  1. Yu Sun, Yun Ye, Wu Liu*, Wenpeng Gao, Yili Fu, Tao Mei, "Skeleton-disentangling based Self-attention Temporal Network for Human 3D Mesh Recovery from Monocular Video", ICCV 2019, Accepted. (CCF A)
  2. Lingxiao He, Yinggang Wang, Wu Liu, He Zhao, Zhennan Sun, Jiashi Feng, "Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification", ICCV 2019, Accepted. (CCF A)
  3. Xinchen Liu, Wu Liu*, Meng Zhang, Jingwen Chen, Lianli Gao, Chenggang Yan, Tao Mei, "Social Relation Recognition from Videos via Multi-scale Spatial-Temporal Reasoning", CVPR 2019, Accepted. (CCF A)
  4. Weijian Ruan, Wu Liu*, Qian Bao, Jun Chen, Yuhao Cheng and Tao Mei, "POINet: Pose-Guided Ovonic Insight Network for Multi-Person Pose Tracking", ACM MM 2019, Oral paper. (CCF A)
  5. Xinchen Liu, Meng Zhang, Wu Liu*, Jingkuan Song and Tao Mei, "BraidNet: Braiding Semantics and Details for Accurate Human Parsing", ACM MM 2019, Oral paper. (CCF A)
  6. Meiyu Liang, Junping Du, Wu Liu, Zhe Xue, Yue Geng and Congxian Yang, "Fine-grained Cross-media Representation Learning with Deep Quantization Attention Network", ACM MM 2019, Oral paper. (CCF A)
  7. Xiangpeng Li, Lianli Gao, Xuanhan Wang, Wu Liu, Xing Xu, Jingkuan Song and Heng Tao She, "Learnable Aggregating Net with Divergent Loss for Video Question Answering", ACM MM 2019, Oral paper. (CCF A)
  8. Jingkuan Song, Xiaosu Zhu, Lianli Gao, Xin-shun Xu, Wu Liu, Hengtao Shen: Deep Recurrent Quantization for Generating Sequential Binary Codes, IJCAI 2019, Accepted.  (CCF A)
  9. Wan-Jin Yu, Zhen-Duo Chen, Xin Luo, Wu Liu, Xin-Shun Xu: DELTA: A deep dual-stream network for multi-label image classification. Pattern Recognition 91: 322-331 (2019)
  10. Meng Zhang, Xinchen Liu, Wu Liu, Anfu Zhou, Huadong Ma, Tao Mei, "Multi-Granularity Reasoning for Social Relation Recognition from Images", ICME 2019, Accepted. 
  11. Kun Liu, Wu Liu*, Huadong Ma, Wenbing Huang, Xiongxiong Dong: Generalized zero-shot learning for action recognition with web-scale video data. World Wide Web 22(2): 807-824 (2019)
  12. Lianli Gao, Pengpeng Zeng, Jingkuan Song, Yuan-Fang Li, Wu Liu, Tao Mei, Heng Tao Shen, "Structured Two-stream Attention Network for Video Question Answering",AAAI 2019, Accepted. (CCF A)
  13. Xinchen Liu, Wu Liu*, Tao Mei, Huadong Ma: PROVID: Progressive and Multimodal Vehicle Reidentification for Large-Scale Urban Surveillance. IEEE Trans. Multimedia 20(3): 645-658 (2018)  (Best Paper Awards)
  14. Huadong Ma, Wu Liu*: A Progressive Search Paradigm for the Internet of Things. IEEE MultiMedia 25(1): 76-86 (2018)
  15. Wu Liu*, Cheng Zhang, Huadong Ma, Shuangqun Li: Learning Efficient Spatial-Temporal Gait Features with Deep Learning for Human Identification. Neuroinformatics 16(3-4): 457-471 (2018) (SCI, IF:3.200)
  16. Liang Liu, Wu Liu*, Yu Zheng, Huadong Ma, and Cheng Zhang, "Third-Eye: A Mobilephone-Enabled Crowdsensing System for Air Quality Monitoring", UbiComp 2018, Accepted. (CCF A)
  17. Minghui Zhang, Wu Liu*, Huadong Ma: Joint License Plate Super-Resolution and Recognition in One Multi-Task Gan Framework. ICASSP 2018: 1443-1447
  18. Shuangqun Li, Wu Liu*, Huadong Ma, Shaopeng Zhu: Beyond View Transformation: Cycle-Consistent Global and Partial Perception Gan for View-Invariant Gait Recognition. ICME 2018: 1-6
  19. Wu Liu*, Xinchen Liu, Huadong Ma, Peng Cheng: Beyond Human-level License Plate Super-resolution with Progressive Vehicle Search and Domain Priori GAN. ACM Multimedia 2017: 1618-1626 (Full paper, CCF A)
  20. Jinna Lv, Wu Liu*, Meng Zhang, He Gong, Bin Wu, Huadong Ma: Multi-feature Fusion for Predicting Social Media Popularity. ACM Multimedia 2017: 1883-1888 (CCF A)
  21. Jingkuan Song, Lianli Gao, Zhao Guo, Wu Liu, Dongxiang Zhang, Hengtao Shen, "Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning", IJCAI, 2017: pp. 2737-2743 (CCF A)
  22. Wu Liu, Huadong Ma, Heng Qi, Dong Zhao, Zhineng Chen, "Deep learning hashing for mobile visual search", EURASIP J. Image and Video Processing, 2017: 17 (SCI, IF: 1.74)
  23. Peiye Liu, Wu Liu*, Huadong Ma, “Weighted sequence loss based spatial-temporal deep learning framework for human body orientation estimation,” IEEE ICME, 2017, pp.97-102 (Oral Paper)
  24. Xinchen Liu, Wu Liu*, Tao Mei, and Huadong Ma, "A Progressive Deep Learning-based Approach to Vehicle Re-identification for Urban Surveillance", ECCV, 2016, pp. 869-884
  25. Xinchen Liu, Wu Liu*, Huadong Ma, Huiyuan Fu, "Large-Scale Vehicle Re-Identification in Urban Surveillance Videos", IEEE ICME, 2016, pp.1-6 (ICME 2016 Best Student Paper)
  26. Cheng Zhang, Wu Liu*, Huadong Ma, Huiyuan Fu, "Siamese Neural Network Based Gait Recognition for Human Identification", ICASSP, 2016, pp. 2832-2836
  27. Yihong Gao, Huadong Ma, Wu Liu, and Shui Yu, "Cost Optimal Resource Provisioning for Live Video Forwarding across Video Data Centers", BIGCOM 2016, pp.27-38 (最佳论文亚军奖, Oral Ppaer)
  28. Wu Liu, Tao Mei, Yongdong Zhang, Cherry Che, Jiebo Luo, "Multi-Task Deep Visual-Semantic Embedding for VideoThumbnail Selection", IEEE CVPR, 2015, pp. 3707-3715  (CCF A, 单篇引用超过100 次)
  29. Wu Liu, Tao Mei, Yongdong Zhang. "Instant Mobile Video Search with Layered Audio-Video Indexing and Progressive  Transmission," IEEE Trans. on Multimedia, vol.16, no.8, pp.2242-2255, 2014 (SCI, IF:2.949)
  30. Wu Liu, Tao Mei, Yongdong Zhang, Jintao Li and Shipeng Li, "Listen, Look, and Gotcha: Instant Video Search with Mobile Phones by Layered Audio-Video Indexing",Proc. of ACM Multimedia, 2013, pp. 887-896. (Full paper, CCF A)
  31. Wu Liu, Yongdong Zhang, Sheng Tang, Jinhui Tang, Richang Hong and Jintao Li, "Accurate Estimation of Human Body Orientation From RGB-D Sensors," IEEE Transactions on Cybernetics, vol.43, no.5, pp.1442-1452, 2013 (SCI, IF:3.236)
  32. Wu Liu, Feibin Yang, Yongdong Zhang, Qinghua Huang and Tao Mei, “LAVES: An Instant Mobile Video Search System Based on Layered Audio-Video Indexing,” Proc. of ACM Multimedia, 2013, pp. 409-410. (CCF A)
  33. Yicheng Song, Yong-Dong Zhang, Juan Cao, Tian Xia, Wu Liu, Jin-Tao Li, "Web Video Geolocation by Geotagged Social  Resources", IEEE Trans. on Multimedia, 14(2): pp. 456-470, 2012 (SCI, IF:2.949)
    代表专利
  1. 专利:马华东,刘武,刘鑫辰,张海涛,傅慧源,《Method and Device for Vehicle Search》2016-09-08,国际专利,已授权
  2. 专利:马华东,刘武,刘鑫辰,张海涛,《一种车辆搜索方法及装置》2016-08-31, 中国专利
  3. 专利:马华东,刘武,傅慧源,张诚,《Method and Device for Gait Recognition》2017-4-25,国际专利,已授权
  4. 专利:马华东,刘武,傅慧源,张诚,《一种基于时空联合深度神经网络的步态识别方法》2015-11-24,中国专利
  5. 专利: 梅涛,李世鹏,刘武,《Mobile Video Search》,2013-04-20, 国际专利,已授权
  6. 专利:夏添,刘武,万吉,张勇东,李锦涛,《一种检测运动物体相互靠近和/或接触的方法和系统》,中国专利, 已授权​

获奖情况
  • 2019年,IEEE Trans. on Multimedia 2019 Best Paper Awards.
  • 2019年,IEEE ICME 2019 Outstanding Service Awards.
  • 2018年,京东AI平台与研究部技术创新奖
  • 2018年,CVPR 2018 LIP 人体姿态估计挑战赛 单人和多人姿态估计任务 两项冠军
  • 2018年, ECCV 2018 WIDER Pedestrain Detection Challenge 亚军
  • 2017年,微软青年学者“铸星计划”获得者
  • 2017年,CCF-腾讯“犀牛鸟”基金优秀奖、优秀专利奖
  • 2016年,IEEE ICME 2016最佳学生论文(CCF推荐B类会议)
  • 2016年,IEEE BIGCOM 2016 最佳论文亚军奖​
  • 2016年,中国计算机学会CCF-腾讯“犀牛鸟”基金奖获得者
  • 2016年,中国科学院优秀博士学位论文奖(省部级)
  • 2015年,中国科学院院长特别奖 (省部级,中科院学生最高奖)
  • 2014年,国家奖学金
  • 2013年,中科院计算所“夏培肃”奖(中科院计算所学生最高奖,每年仅2名)
  • 2013年,国家奖学金​
  • 2009年,山东省优秀毕业生 (前5%)
  • 2008年,北京奥运会火炬传递护跑手

社会工作


  • 担任CCF计算机视觉专委会委员,CCF多媒体技术专委会委员 
  • 担任ACM未来计算分会创始会员(全球仅48人)
  • Machine Vision and Applications 客邀编辑
  • Multimedia Tools and Applications 客座编辑
  • 曾在以下国际会议任职:
    • ACM MM 2019 Area Chair
    • IEEE ICME 2019, Web Chair, Chair of Special Session: Multimedia Technologies Empowering Retail Experiences;
    • IEEE BIGMM 2018, Publicity Chair;
    • IEEE GlobalSIP 2017, Technical Co-Chairs of Symposium on Deep Learning for Intelligent Multimedia Analytics & Security;
    • IEEE BIGMM 2017, Organizer of the Workshop: Big Data Analytics in Multimedia Sensor Networks
    • PCM 2016, Chair of Special Session: Leveraging Crowd-sourced and User-generated Data for Multimedia Applications
    • ICIMCS 2016, Chair of Special session: Multimedia Computing in Smart City
    • Session Chair: IEEE ICIP 2017, IEEE CCIS 2016
    • PC Member: CVPR 2019, IJCAI 2019, ICCV 2019, ICMR 2019, ICME 2018;
  • 担任以下期刊审稿人:
    • IEEE Transactions on Pattern Analysis and Machine Intelligence, since 2018
    • IEEE Transactions on Multimedia, since 2015
    • IEEE Transactions on Cybernetics, since 2013
    • ACM Transactions on Multimedia Computing, Communications, and Applications,since 2016
    • ACM Transactions on Intelligent Systems and Technology, since 2013
    • Multimedia Tools and Applications - Springer, since 2014
    • Neurocomputing - Elsevier, since 2014

项目成果

1. 车辆搜索&重识别 (2015-Now)

​项目主页: https://vehiclereid.github.io/VeRi/

 在国际上率先研究了面向物联网中的物理实体搜索技术,提出了渐进式搜索模式及其应用框架,提高了对象检索的精度及速度。相关成果发表在ACM Multimedia 2017,IEEE Transaction on Multimedia 2019, ECCV 2016,ICME 2016等,获得了IEEE ICME 2016最佳学生论文奖和BIGCOM 2016最佳论文亚军奖。申请相关专利9项。发布车辆搜索公开数据集一个,目前已被230多家国内外知名研究机构下载使用,成为了车辆搜索研究的标准数据集之一。成果在首发集团、浙江大华、亿阳通信、中国电信等开展应用推广。
Picture
Picture
Picture
Picture
2. 京东AI智能结算台 (2018-Now)

​​新闻介绍


智能结算台打破传统条形码识别的局限,顾客在结算时可以多件商品、任意角度摆放,一次性完成商品的识别和结算,单次识别小于1秒,平均结账效率提升30%以上,此前的试运营阶段,在顾客的结算效率和体验上均有明显提升。​

智能结算台应用门槛也非常低,具备大规模应用的基础。京东AI提供了上新品的入库拍照系统,该系统配合自动旋转台,360度拍照,采集入库商品的多个面信息,将采集的图片信息通过AI识别算法增量式地添加到现有的识别系统模型中,短时间内就可以实现一批新商品的入库和建模,识别系统便可以基于更新后的模型支持新商品的实时识别。这样,一个普通的店员,只需几步简单操作即可实现一批新商品的快速入库过程。

​
京东AI与冯氏零售集团在香港召开合作成果发布会。会上双方发布了联合打造的人工智能产品智能结算台,目前该产品已在冯氏集团旗下Circle K位于长沙湾和铜锣湾的旗舰店投入使用,这也是京东与冯氏两家零售巨头于去年签署战略合作之后首次发布的商用产品。
Picture
Picture
Picture
3. 人体分析项目(2017-Now)
​

​在 点(人体检测)--> 线(姿态估计)--> 面(人体解析)--> 3D (人体3D模型重建) --> 时空(人体重识别)五个角度对人体进行全面的分析。获得CVPR 2018 LIP 人体姿态估计挑战赛 单人和多人姿态估计任务两项冠军、人体解析任务亚军; ECCV 2018 WIDER 人体检测任务亚军; 在京东Nuehub平台上线API 2个。

人体姿态估计API http://neuhub.jd.com/ai/api/body/pose
人体检测API http://neuhub.jd.com/ai/api/body/detect
​
Picture
Picture

4. 移动视频搜索技术 (2012-2015)
  1. 率先提出了一种基于多模态融合的紧凑视频签名生成与渐进式传输算法,通过充分挖掘不同模态特征间的互补性来提高检索精度,同时减少了33.5%的传输延迟,解决了移动端视频签名的实时提取与传输问题。加州大学的Sung-Mo Kang教授(IEEE, ACM, and AAAS Fellow)评价该方法“提高了移动数据传输的效率”。
  2. 提出了一种多模态特征分层哈希索引与视频子序列匹配方法,实现了大规模视频的实时检索与结果动态更新,显著提高了用户的搜索体验。IEEE T-MM审稿人认为该视频实时检索方法“解决了多媒体领域的一项重大挑战”。
  3. 率先提出了一种基于多任务深度学习的多模态语义关联挖掘方法,通过将多模态特征映射到相同的隐含语义空间,解决了不同特征间的相似度计算问题,从而有效应对用户的多种查询输入。中弗罗里达大学的Mubarak Shah教授(IEEE, AAAS, and IAPR Fellow)、伦敦城市大学的Artur Garcez教授(BCS Fellow)等评价该方法促进了视频内容的语义知识提取研究。
  4. 相关研究成果发表在ACM MM 2013长文,IEEE Transaction on Multimedia 2014和IEEE CVPR 2015上等国际顶级学术会议和期刊。共同研发的移动视频搜索系统获得了ACM MM 2013 Best Demo提名奖,申请专利4项,并在微软2014技术节上展览,获得好评。相关技术在微软Bing视频搜索中实现了规模化应用。

Picture
5. 移动智能生活 (2015-2016)
 
与ZEPP公司联合发布"Standz Basketball"智慧篮球场APP和"北看台"智慧运动场APP,在ITUNES体育类APP日下载排名第85位。提出了基于时空3D卷积神经网络的精彩视频内容分析技术,以及基于知识迁移对抗学习的深度神经网络加速技术,使得基于深度学习的精彩视频内容分析技术可以在手机端实时运行。
发表论文7篇,投稿AAAI 2017、WWWJ 论文3篇,联合申请专利4项,标注并公开数据集2个,在CVPR 2017、ACM MM 2017等相关比赛中取得较好名次。相关技术也应用在虎扑智慧运动场项目中。


Picture
其他项目情况:
  • 国家自然科学基金项目,有限语义标注的视频场景自动理解技术研究(22万元),2017年1月 – 2019年12月(进行中),主持
  • CCF-腾讯犀牛鸟科研基金,移动视频检索关键技术研究(12万元),2016年10月 –  2017年10月(进行中),主持
  • 北京邮电大学青年科研创新计划专项,智能交通系统中车辆渐进式检索技术研究(12万元),2015年10月 – 2017年10月(已结题),主持
  • 横向项目,基于机器学习的运动视频分析技术研究(10万元),2015年10月 – 2016年10月(已结题),主持
  • 国家自然科学基金项目重点国际合作项目,智能感知网络及其在智慧城市中应用研究(260万元),2017年9月 – 2022年12月(进行中),第五参与人
  • 国家高技术研究发展计划(863计划)项目,基于深度学习的大数据语义分析技术(125万元),2014年7月 – 2016年12月(已结题),第二完成人
  • 国家高技术研究发展计划(863计划)项目,异构媒体数据的关联与挖掘研究(333万元),2014年1月 – 2016年12月(已结题),第五完成人
  • 国家自然科学基金项目,基于跨域迁移学习的网络视频检索技术研究(57万), 2012年1月 – 2015年12月(已结题), 第二完成人​

Powered by Create your own unique website with customizable templates.