登录大科技·创新世界

X
第三方登录

注册

X
第三方登录
您当前位置:首页 > 创业邦 > 创新·发明

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本

2018-08-23 09:08:04 | 标签:人工智能 , 自动跟踪 | 作者:虞涵棋 | 编辑:周秦 | 阅读数量:1541 | 文章来源:澎湃新闻

马的四蹄会不会同时离地?130多年前,英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门,马匹跑过时自动触发拍照,由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。

  马的四蹄会不会同时离地?130多年前,英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门,马匹跑过时自动触发拍照,由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。


  如今,基于视频记录的动作捕捉技术已经广泛应用于动画制作、体育训练、人机工程等领域,其核心是将运动物关键部位的动作处理成计算机数据。不过,这要么需要人力费时费力地逐帧标记,要么需要在研究对象上放置标记物,实用场景十分有限。


  当地时间8月21日,英国《自然-神经科学》期刊上发表的一篇论文,介绍了一种经过深度学习训练后,实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻,以及小鼠每一个脚趾的轨迹。


跟踪果蝇


  值得一提的是,开发者已经将DeepLabCut放在了开源网站GitHub上,其他研究人员可以免费下载,经过几小时的简单标记后,就能定制软件捕捉特定动物,乃至人类的运动。


  开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为,需要在视频里对小鼠鼻头进行标记跟踪。然而,他们没有找到现成的便捷工具,神经科学家常用的闪光标记物也难以用在微小的鼠头上,由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架,改造到动物身上。


  Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练,教会系统如何区分不同动物,并识别具体的身体部位,比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。


  接着,他们教会系统不仅是跟踪某一个身体部位,而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。


  最后,团队进行了跨物种的检验和校准,在论文中演示了对果蝇和小鼠两种物种的动作跟踪。


跟踪小鼠


  如果你要利用这个软件捕捉你家猫的动作,只需要在视频中选取几帧或几十帧,点击鼠标标注猫头、猫尾巴和每只猫爪的位置,深度学习算法就会自动覆盖整个视频的每一帧。


  目前,该软件已经应用于其他团队的动物研究。DeepLabCut网站上列举了一些案例:


  密歇根大学的Daniel Leventhal团队跟踪大鼠受训抓取的动作。过程中人工标记了180帧。


哥伦比亚大学的Nate Sawtell实验室跟踪小鼠在踏板上的动作。旁边放置了一块镜子,算法同时捕捉两个视角上的轨迹。



Nate Sawtell实验室还跟踪了电鱼的游泳动作。



  在同期发表的一篇评议文章中,北京大学心理学系教授魏坤琳与宾夕法尼亚大学Konrad Kording肯定了这项研究的价值。DeepLabCut理论上可以处理任何视频中的动作,现在互联网上的海量视频数据,将成为科学家们的富矿。


  进一步展望未来,原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。


  譬如,现在只有顶级运动员才能享受动作捕捉技术,且需要专业人士进行配套的分析。在未来,也许每个人在健身房里就可以在软件的指导下更科学、更有效地锻炼。


  同理,物理治疗和医疗康复项目中的动作捕捉技术十分昂贵,一些医生只能靠肉眼观察进行主观判断。普适而便捷的视频动作分析将掀开精准医疗史上全新的一页。


  Mathis夫妇表示,他们已经收到了一些意想不到的邮件,比如科学家希望研究章鱼等软体动物以研发手术机器人,体育界人士希望分析棒球运动员的投球动作,甚至有一家公司希望用他们的软件分析赛马的胜率。
分享到:

我有话说

全部评论(0)

没有更多内容了
点击加载更多

猜你喜欢

新闻热榜


双创版版微信


双创版微博

  • 政府部门

  • 高新园区

  • 合作媒体

  • 友情链接

海南省人民政府 海南省科学技术厅 海南省知识产权综合服务平台 海口国家高新区 海南省发展和改革委员会 海南省旅游发展委员会 海南省农业农村厅 海南省财政厅 海南省人力资源和社会保障厅 海南省教育厅 海南省文化广电出版体育厅 海南省公安厅 海南省司法厅 海南省民族宗教事务委员会 海南省交通运输厅 海南省商务厅 海南省海洋与渔业厅 海南省林业局 海南省国有资产监督管理委员会 海南省工商行政管理局 海南省质量技术监督局 海南省食品药品监督管理局 国家税务总局海南省税务局 海南省人民政府政务服务中心 海南省地质局 海南省政府金融工作办公室 海口市人民政府 三亚市人民政府 儋州市人民政府 三沙市人民政府 五指山市人民政府 万宁市人民政府 东方市人民政府 定安县人民政府 澄迈县人民政府 屯昌县人民政府 临高县人民政府 保亭黎族苗族自治县人民政府 琼中黎族苗族自治县人民政府 白沙黎族自治县人民政府 昌江黎族自治县人民政府 乐东黎族自治县人民政府 陵水黎族自治县人民政府 洋浦经济开发区
海南大科技杂志社有限公司©版权所有  地址:海南省海口市海府路89号海南省科技厅  备案号:琼ICP备17001763 技术支持:创想传媒

微信

微博

返回
头部