随着互联网的飞速发展,我们进入了一个信息爆炸的时代。图文、视频、聊天、直播等互动内容已经成为人们日常工作、生活不可或缺的部分。然而,在这些日益增长的内容中却充斥着各种不良言论、垃圾广告、涉黄等网络垃圾。这些流窜在互联网中的垃圾内容,不仅极大程度影响了用户体验,也让不少企业倍感困扰。

面对日益复杂的安全形势,企业该如何“祛污”,守护内容安全?在11月6日至7日举办的首届腾讯 Techo 开发者大会云安全技术与应用专场上,腾讯安全业务安全总监杨红围绕《新时代的内容风控实践与创新》,针对文本、图片、音频等载体的内容安全,从现状分析、算法选择、对抗过程及实践效果等方面着手,全景呈现了腾讯安全天御在守护内容安全上的实践经验。

色情AI识别模型,毫秒级识别不良音频

音频是现阶段网络上发展最快的信息载体。当下,游戏内语音交流已成常态,无论是手机游戏中的音频传输,还是通过语音及时通讯工具传输的音频内容,都是音频垃圾内容的灾区,但音频内容时间短、信道复杂,难以识别,成为内容安全监管中的难点。

在海量的音频识别中,“鉴黄”无疑挑战巨大。相较标准AV音频的识别,色情音频在内容、时长和信道维度都有其特点,比如存在静音、噪声干扰大,存在较大的背景音乐,而且时间较短,编码格式多样和采样率不统一等特点,这都为识别造成一定困难。针对这一问题,腾讯安全基于AI设计了一套色情音频识别流程,通过相应技术去掉静音内容,对音频进行分段识别,最后根据每个片段的得分和时长汇总得到整条语音内容的识别结果。针对音频样本搜集与标注的难点,腾讯安全天御大量综合网友举报,通过多类型、多标签标注,已实现音频鉴黄的准确率达到82%、召回率达到90%以上。

而针对网络谩骂,腾讯安全天御构建了高性能多语种语音关键词系统,通过特征提取、声学建模和解码等技术加持,可毫秒级识别不良音频。

线上打击 离线主动收集标注,恶意文本无处藏身

网络文本是网络中最大的信息载体,几乎所有互联网平台都面临文本安全问题。网络文本类垃圾消息通常含有特殊符号、变异字、多音字、形近字干扰,而传统的文本策略抗干扰能力弱,常常会导致误杀。

腾讯安全天御对此专门建立了一套垃圾文本识别模型——TextCNN文本分类算法,通过在线实时打击和离线主动收集标注让恶意文本无处藏身。在线模型训练中,补充了拼音和结构信息用于训练,对训练数据添同音字和拆字,提升抗干扰性。对于线上模型不能覆盖的新类型恶意垃圾,腾讯安全天御设计了离线样本主动收集流程,让学习算法主动提出要对哪些数据进行标注,增量训练分类模型进行实时打击。

在这套算法的支撑下,腾讯安全天御提升了至少50%以上的识别覆盖范围,准确率和召回率分别达到90%和80%以上。

多标签学习 细粒度识别,扫荡网图黑暗角落

图片是仅次于文本的第二大信息载体,其面临的识别挑战比文本更大,腾讯安全天御针对性地提出了多标签的图像识别算法,支持多标签输出、多种标签预测,这意味着在一定颗粒度下,给图片配上“身份证”以便识别。

腾讯安全天御丰富的数据积累是这套算法得以运行的关键。目前腾讯安全天御积累了各种涉黄图片数据500多万,每张图片有5个主要标签和10个细粒度标签。在标签识别中,不同的标签数量差距大、样本不平衡,各维度标签响应不同、统一阈值召回低的情况普遍存在,这也成为图片识别中的难点,腾讯安全天御采取标签级动态采样,使低频标签召回率提升15%;对维度标签问题,则使用验证集进行阈值搜索,设置多阈值。

与此同时,腾讯安全天御自研的logo元素识别算法,能够做到做到不同位置、尺度、分辨率、透视视角、遮挡干扰情况下具备良好的识别效果,准确率和召回率分别达到90%以上。

企业在接入腾讯安全天御内容风控的能力上非常便捷。腾讯安全天御不仅提供API接口,还可以协同腾讯云等产品接入企业的内容风控系统,帮助企业零开发、快速识别平台中可能存在的违规内容。

目前,腾讯安全天御的内容风控通过腾讯云和微信小程序已服务超过5万家开发者。行业渗透率达90%,审核效率提升20倍以上,业务健康程度达到99.89%,守护数万家客户的内容安全,保障业务健康开展,守卫互联网的清朗绿色。

人工智能安全风口有哪些(Techo开发者大会腾讯安全天御精准识别音)(1)

,