2015/7/13 下午12:06:19 星期一
当前位置: 主页 > 厉兵秣马 >

数学和编程能力,马维英说365体育:这是字节跳动AI Lab招人的首要准则
时间:2019-05-31 18:56

摘要:数学足够好是做AI 研究的基础。

在开放日上,现场Demo 展现了很多熟悉而又炫酷的应用。你知道怎样利用聚类算法和CNN 从短视频从抽取最好看的小姐姐么?你知道怎样用单摄手机拍出柔顺的背景虚化图么?这些可能用耳熟能详的算法就能完成,只不过实验室会将它们做到极致并嵌入到APP 中。

逛完Demo 展示后,马维英介绍了很多实验室的具体信息,包括实验室的目标、发展情况和突出成果等。马维英表示AI Lab 的目标是为今日头条和抖音等产品提供核心技术支持,并满足现在到未来2-5 年的产品和业务发展需要。

有这么优秀的科学家和资源,你想不想来场面试?马维英随后就介绍了AI 实验室的招人经验,所以你的数学和代码都准备好了么?

数学足够好是做AI 研究的基础

从微软到今日头条,马维英的「看人」技能非常纯熟,他会比较特别地观察应聘者的各项素质。在开放日上,他也分享了AI Lab 及个人面试的择人准则。马维英表示首先会考虑应聘者的数学基础是不是非常好,是不是能深入了解问题的本质。因此应聘者的数学功底要好,对数学模型有比较好的直觉和理解。也就是说应聘者不能只是会简简单单地应用,把模型或算法当作一个黑箱进行调参,而不了解具体过程。如果有比较好的数学基础,那么模型的理论过程、最优化方法、损失函数调优等都可以结合实际问题进行修正,从而获得更好的性能。

其次马维英会比较看重工程实践能力,所以AI Lab 这边也会考虑应聘者的编程能力。马维英表示我们常常会有非常好的想法,但很可能没有实践能力,这是不够的。最后,马维英还会考察应聘者的态度,比如说团队合作、人际沟通和表达能力等,365体育投注开户,这是一些和软素质比较相关的东西。

而从个人角度来看,马维英说:「其实我这么多年招了这么多人,在面试中会非常重视眼神的交流。在面试过程中,我大概通过十多分钟就能判断面试者的思维是不是比较敏捷、回答过程中是不是比较坦诚等。因为有大量的经验,我通过对话可以看到面试者不太容易看到的一面。」

炫酷的算法应用

有数学还不够,你需要把它做成产品,所以你可以先看看AI Lab 做出来的Demo。其实它们很多都已经应用到实际产品中,例如2018 年世界杯期间接入了今日头条直播间的视频分析、接入抖音的视频内容审核、嵌入西瓜视频的封面生成等,不过这里只重点介绍了视频理解与背景虚化两种应用。

曾经背景虚化只是单反的专利,通过大光圈获得像奶油般柔滑的背景。当然现在手机也可以借助双摄像头完成背景虚化,但如果只有单摄像头或单张图片,又如何借助算法实现背景虚化呢。字节跳动AI 实验室展示了这样一种算法,它可以预测高清图像的「深度信息」,也就是从近到远区分前景与背景。有了这种深度信息,我们就能很自然地生成对应的背景虚化图像。

如下所示,直观而言模型首先会将高清图压缩为低清输入图,然后使用深度残差网络抽取到深度图,这里先压缩为低清图再做卷积运算可以大大降低计算力。然后我们可以根据深度图和低清输入图渲染低清背景虚化图,并在最后利用高清原图、低清输入图、深度图和低清背景虚化图构建高清背景虚化图。这里在训练过程中起到监督作用的是深度图,模型会尽可能正确预测整张图的深度信息,后面根据深度信息和原图生成背景虚化图就只是合成过程了。

数学和编程能力,马维英说这是字节跳动AI Lab招人的首要准则

其实预测深度图有点类似于图像分割任务,只不过这种逐像素的分类问题预测的是所有像素离镜头的距离。具体而言如上图绿色的Depth Prediction 模块所示,模型不仅会使用全连接网络直接预测深度,同时还会使用额外的前景分割任务获得更准确的分割边界线。字节跳动AI 实验室在现场展示了这一方法的实际效果,虽然不能说完美,但一般人是看不出问题的。

除了图像,视频处理也有非常有意思的应用。一般在上传视频到抖音或西瓜视频后,我们希望能有一张好看的封面,因为漂亮的事物总是能吸引别人点开视频。但是机器学习系统能帮我们挑选出最漂亮的封面吗?答案是可以的,字节跳动实验室展示的这个应用甚至可以从视频中选出最好看的视频帧,并裁剪为合适的大小。