当前位置:首页 > 企业新闻 >

技术帖:每天被今日头条推送文章背后的算法技术是什么?【亚博下载官网】

编辑:亚博APP注册【下载官网】 来源:亚博APP注册【下载官网】 创发布时间:2021-03-21阅读78148次
  

【亚博APP注册】1月11日,在北京今日头条总部,查询算法和建议算法的“使算法公开发布半透明”共享将不会进行。仔细观察,包括BAT在内的多家科技公司的算法工程师、产品经理等100余人参加了现场辩论。

亚博下载官网

中国科学技术大学高级算法架构师曹欢欢博士现场讲解了今天头条介绍的算法原理。曹欢欢回应说,今天的头条信息推荐系统,本质上解决的是用户、环境、信息的问题。为了超越这种效果,其算法推荐系统输出三维变量:一、内容特征、图形、视频、UGC视频、解说、微头条等。每个内容都有很多特点,必须单独提取;第二是用户特征,包括兴趣标签、职业、年龄、性别、型号等。

以及很多模型所刻画的用户的隐藏利益;三、环境特点,不同的时间,不同的地点,不同的场景(工作/通勤/旅行等)。),用户对信息的偏好也不同。

结合这三个维度,今天的头条推荐模型可以做出一个估计,这个内容在这个场景下是否适合这个用户。为了超越好的结果,算法推荐必须解决这四个特征:相关性特征、问题解决内容和用户给出;环境特征、解决问题的基本特征及给出;热特性,冷启动非常有效;协同特征,考虑到相似用户的兴趣,在一定程度上解决了所谓算法越推越广的问题。

但曹欢欢回应说,点击率、读者时间、崇拜、评论、投放都可以分析。而大型的转诊系统,服务用户多,很难用指标来评价。

引入数据以外的元素也很重要。有些算法可以完成,有些算法还比较接近,比较差,需要内容介入。

总之,没有一套局限于所有引用场景的标准化模型架构,头条一定还是一个非常灵活的算法实验平台。这个算法敢马上引用另一个算法,本质上是各种算法的简单组合。

据了解,西瓜视频、火山视频、短声视频、悟空解说都是用头条作为推荐系统,但很明显每个系统架构不同,必须大力推广。基于上面提到的重复训练转诊的必要性,今天的头条有一个全球范围内的大型在线训练转诊模型,其中也包括数百亿个特征和数十亿个向量特征。但是,几乎依靠模型引入的成本太低。

所以今天的头条也有修改策略的辞退模式。它基于解雇策略,将一个庞大的、不可企及的内容库变成一个相对较小的、可实现的内容库,然后转移到推荐模型。

这有效地平衡了计算成本和效果。曹欢欢回应说,在今天头条工作的前三年,系统上线后用户收到的问题之一是——。

“杨家怎么给我复读了?”曹欢欢解释说这叫重复,每个人的定义都不一样。昨天有人看到一篇关于巴萨的文章,今天又看到两篇。

也许他们真的忘了。但是对于一个铁杆球迷来说,比如巴萨球迷,有可能迫不及待的想看完所有的报道。要解决这个问题,必须准确提取文本特征,比如哪些文章讲的是同一件事,哪些文章基本相同。

亚博下载官网

文本特征对于推荐的独特价值在于,推荐引擎没有文本特征就不能工作,文本特征的粒度越粗,冷启动能力越强。语义标签的效果是检验一个公司自然语言处理的试金石。最重要的产品功能,如渠道、利益沟通等,必须有一个定义明确、易于解读的文字标签系统。在隐含语义特征已经可以很好地辅助推荐的情况下,语义标签必须比隐含语义特征多得多,语义标签仍然必须做好。

除了用户的自然标签,推荐还必须考虑很多简单的情况:1)过滤噪音:过滤停留时间短的页面,压制标题方;2)惩罚热点:用户对热门文章的行为受制于降权;3)时间波动:随着用户动作的减少,杨的特征权重不会随时间波动,新动作贡献的特征权重不会更大;4)惩罚表示如果介绍给用户的文章没有被分页,特征(类别、关键词、来源)的权重不会被惩罚;5)考虑全球背景:考虑同等功能的人均页面比例。现实中影响转诊效果的因素很多。要完善评价体系,不能只看点击率、留存率、收益或对话等单一指标,还要看很多指标的综合评价:兼顾短期指标和长期指标,兼顾用户指标和生态指标,注重协同效应的影响,有时还得完全孤立统计数据。那么,这些指标能否组成一个唯一的公式呢?“我们努力探索了几年,但还没有成功。

”曹欢欢回应道。而且曹欢欢称之为,目前很多公司的算法都很差,这不是人的问题,而是实验平台的问题。比如每次A/B Test的数据都是错的,无法连线,最后这件事就废了。一个强大的实验平台可以每天同时在线搭建数百个实验,高效管理和分配实验流量,降低实验分析成本,提高算法递归效率。

据(微信官方账号:)介绍,头条现在享有完善的内容安全机制,不仅包括人工审核团队,还包括技术鉴别,包括风险内容鉴别技术、数千个图片样本集的黄色鉴别模式、数百万个样本库的淫秽模式和辱骂模式、绿色低质内容鉴别技术,曹欢欢特别强调。允许禁止发表的原创文章。

以下是发布通知。。

本文来源:亚博APP注册【下载官网】-www.zxlpx.com

0369-333224438

联系我们

Copyright © 2010-2014 湖州市亚博APP注册【下载官网】有限公司 版权所有  浙ICP备74624047号-1