1.Video-to-Video Translation - vid2vid

Pytorch实现我们的高分辨率(例如2048x1024)照片级真实感视频到视频转换的方法。

用于高分辨率(例如2048x1024)照片级真实感视频到视频转换的Pytorch实现。它可以用于将语义标签地图转换为照片真实视频,合成人们从边缘地图说话,或从姿势生成人体运动。视频翻译的核心是图像到图像的翻译。我们在那个空间的一些工作可以在pix2pixHD和SPADE中找到。

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(1)

vid2vid Body

2.线稿着色 - style2paints

该项目旨在为线稿着色。 AI 可以根据既定的颜色样式在草图上绘制、或在草图上创建绘制自己的颜色风格、亦或者将现有的风格转换至另一种风格。

有一些值得一看的新的功能,例如色彩锚和图像过渡。

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(2)

3.一键将文本转为mp3文件 - Text2Speech

语音合成助手主界面:

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(3)

如果你只是想使用这个小工具,可以直接下载windows可执行文件压缩包。

解压后是一个exe可执行文件,直接打开即可使用。这也是写这个小工具的契机。

使用说明

1 点击 合成语音 按钮后,会自动在本地创建一个audio文件夹,转换完成的mp3文件就在这里,命名格式为:当前时间 文本的前10个字.mp3,例如2020-02-25_22-29-37欢迎使用百度语音合成.mp3

2 使用的是百度语音合成api,最多只能转换512个汉字(1024个字节)

4.Image-to-image translation in PyTorch

该项目有两个组成部分,CycleGAN 和 pix2pix 。基于 PyTorch ,它们可以实现用于未配对和成对的图像到图像转换。 乍看之下,它仿佛只是一种相当普通的风格转移解决方案,事实上,它跟其他应用不一样。比如它能将图片里普通的马转换为斑马或从实景照片转换为莫奈风格的画作。并且它的处理速度快到足以在实时视频上应用。

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(4)

5.StarGAN in PyTorch

StarGAN 是这篇文章中提到的一个 PyTorch 应用:Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation。它可以将源图像转换成不同的发型、皮肤类型、年龄、性别和不同的情绪。

一个好的图像到图像的转换模型应该在满足以下特性的同时学习不同视觉域之间的映射:

1)生成图像的多样性

2)跨多个域的可伸缩性。

现有的方法解决了这两个问题中的任何一个,对所有域都具有有限的多样性或多个模型。

我们提出了StarGAN v2,这是一个可以同时解决这两个问题并在基线上显示出显著改进的结果的单一框架。在CelebA HQ和一个新的动物脸数据集(AFHQ)上的实验验证了我们在视觉质量、多样性和可扩展性方面的优势。为了更好地评估图像到图像的转换模型,我们发布了AFHQ,一个高质量的具有较大域间和域内变化的动物脸。代码、预训练模型和数据集将被发布以获得可重复性。

StarGAN v2可以将源图像转换为反映给定参考图像的样式(例如发型和化妆)的输出图像。其他高质量的视频可以看下图示意。

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(5)

6.Fast Style Transfer

使用 TensorFlow CNN 实现,这可能是图像样式传输的最佳示例之一,顾名思义,它的完成速度非常快。 该项目基于 Gatys 的艺术风格的神经算法, Johnson 对实时样式转换和超分辨率的感知损失以及 Ulyanov 的实例规范化的组合 。

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(6)

7.FastPhotoStyle

另一个十分好用的图片风格转换工具,基于Python实现的 FastPhotoStyle。它提供了简单的API来合并样式和源图像。 令人印象深刻的图像样式转移工具。

给定内容照片和样式照片,代码可以将样式照片的样式转换为内容照片。代码背后的算法细节在我们的arxiv文件中有记录。如果您的出版物中使用了此代码库,请引用本文。

A Closed-form Solution to Photorealistic Image StylizationYijun Li (UC Merced), Ming-Yu Liu (NVIDIA), Xueting Li (UC Merced), Ming-Hsuan Yang (NVIDIA, UC Merced), Jan Kautz (NVIDIA)

在线机器学习框架实现技术教程(7个辅助自媒体创作的开源机器学习)(7)

,