2018 年最流行的 AI 技术

最流行的模型:BERT, vid2vid 和 graph_nets

BERT

10月,Google AI 团队提出了一种深度双向 Transformer 模型 (BERT),并发表了相关的论文。该模型在 11 个NLP 任务上取得了目前为止最佳的性能,Stanford Question Answering (SQuAD) 数据集也引起了学术界的强烈关注。随后,Google AI 进一步开源了项目代码,并在当月获得了最多 Stars 数量,可见其热门程度。

论文链接:https://arxiv.org/abs/1810.04805

GitHub 链接:https://github.com/google-research/bert

vid2vid

Nvidia 的 video-to-video synthesis 研究同样是下半年一大热点。该研究提出了一种新颖的生成模型 (GAN) 并在视频合成任务中取得惊人的效果。众所周知,GAN 是过去几年里最受欢迎的深度学习模型之一,该研究团队利用一种新颖的顺序生成器架构,以及一些前景和背景先验 (foreground-and-background priors) 等设计特征,解决了当前视频合成研究中时间不连贯的问题,进而提高了最终的性能。同样地,该项目代码也被 Nvidia 团队开源,并成为今年下半年第二大最受欢迎的项目。

论文链接:https://arxiv.org/abs/1808.06601

GitHub 链接:https://github.com/NVIDIA/vid2vid

graph_nets

Google DeepMind 团队关于图网络 (graph_nets) 的最新研究。该研究得到广泛关注的原因是,因为它为解决结构化数据提供了一种新的方向。该开源项目是 2018 下半年排名第三位的受欢迎项目。

论文链接:https://arxiv.org/abs/1806.01261v3

GitHub 链接:https://github.com/deepmind/graph_nets

最受欢迎的项目:DeOldify, BERT 和 Fast R-CNNs

DeOldify

这是一项使用生成对抗网络 (GAN) 来修复黑白旧照片并为其重新上色的研究,在深度学习领域引发了极大的兴趣和关注。该项目的作者是 Jason Antic,他借鉴了几种 GAN 模型的实现,包括 self-attention GANs (SA-GANs)、progressively growing GANs (PG-GANs),来构建自己的模型,并采用两种时间跨度的原则,最终得到了有意思的结果。

GitHub 链接:https://github.com/jantic/DeOldify

BERT 的 pytorch 实现

BERT 的 pytorch 实现,作者是 Junseong Kim。该项目的代码基于 The Annotated Transformer,代码风格简单易懂。

GitHub 链接:https://github.com/codertimo/BERT-pytorch

Mask R-CNN 的 Keras/TensorFlow

Mask R-CNN 的 Keras/TensorFlow 实现,作者 Waleed Abdulla,这是今年下半年第三个热门 GitHub 项目。在结构上,Mask R-CNN 基于特征金字塔网络 (FPN) 和 ResNet101 为模型骨干,它可用于许多诸如 3D 建筑物重建,自动驾驶中的目标检测,检测地图中的建筑物类型等应用。

GitHub 链接:https://github.com/matterport/Mask_RCNN

最活跃的领域:NLP 和 GANs

通过查看 GitHub 上 Top50 的开源发现, 当前最热门、最活跃的研究领域是自然语言处理 (NLP) 和生成对抗模型 (GANs)。在 GitHub 上,GANs 领域最受欢迎的开源项目有 vid2vid,DeOldify,CycleGAN 以及 faceswaps,而最热门的 NLP 开源项目包括 BERT,HanLP,jieba,AllenNLP 以及 fastText。

results matching ""

    No results matching ""