隐私计算助力打通数据孤岛 腾讯正式发布自研第四代数智融合计算平台


隐私计算助力打通数据孤岛 腾讯正式发布自研第四代数智融合计算平台

腾讯数据平台部总经理蒋杰

数字经济毫无疑问是当下发展的重点,让海量数据真正发挥作用,隐私保护是避不开的一个问题。

“数据孤岛一方面有人为原因,比如竞争导致的孤岛、对技术不信任导致的孤岛;也有技术本身导致的,比如存储介质不一样,还有原数据定义不一样。”腾讯数据平台部总经理蒋杰说,隐私计算的发展将有望打消疑虑,为数据安全开放提供更多可行性。

4月18日腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”。蒋杰表示:“作为新型基础设施的重要组成部分,大数据产业将迎来发展的新阶段。此次发布的第四代数智融合计算平台,将以安全的方式打通数据孤岛,桥接多方数据,以统一的数据处理引擎更高效地挖掘数据价值,以智能化的方式驱动整个数据处理闭环,为开发者、企业、以及政府的数字化、智能化升级打下坚实基础。”

打通“数据孤岛”

“数字经济是在农业经济和工业经济之后,以新一代信息技术和产业为依托的主要经济形态。其中,数据是重要要素,网络是载体和平台,而信息技术的应用就是最为核心的推动力。”中国科学院院士梅宏说。

早在2015年,国务院就发布了《促进大数据发展行动纲要》,党的十八届五中全会更是将大数据上升为国家战略,习近平总书记指出,大数据是信息化发展的新阶段,要构建以数据为关键要素的数字经济,这为我国发展大数据开启了新的篇章。

今年3月全国人大审议通过的“十四五”规划纲要强调要加快发展数字经济,推动新一代信息技术和实体经济的深度融合,推动数字产业化和产业数字化,打造具有国际竞争力的数字产业集群。

“但我们也应该清醒的看到,发展数字经济我们仍不可避免的面临着不少困难,其中数据的共享开放便是首当其冲的难题。”梅宏院士说,放眼全球也是同样的情况,不同系统、不同组织之间的数据共享开放程度普遍较低,由此也带来了信息孤岛问题,海量的数据相互阻隔,难以进一步融合碰撞释放潜能。造成这一现状的原因,有法律法规和政策方面的问题,有观念认识方面的问题,也有技术问题,还有出于数据安全和隐私保护方面的考虑。

为打破数据孤岛实现数据协同,数据安全是重中之重。“腾讯大数据-天工”采用自研隐私计算技术,从机器学习到大数据分析为各个场景提供全方位保护,去中心化的架构则能避免单点隐私泄露风险。目前,“腾讯大数据-天工”可以支持千亿级规模的海量数据训练,性能参数领先业界5倍,在此基础上,提供3072bit业界最高强度加密和TEE硬件双保险,最大限度确保数据安全。

凭借该技术,腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军,安全性能领冠全球。据了解,金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。

万亿级数据分析将实现“自动驾驶”

腾讯自身即拥有海量的数据规模,目前腾讯大数据平台日接入消息量超过55万亿,日实时计算量超过65万亿,平台整体算力超过500万核,日分析任务达到1500万。蒋杰表示,腾讯云已经成为国内算力最强的云厂商,同时也是日实时计算量最大的公司。

自2009年开始,腾讯就开始深耕海量大数据处理领域,其第一代大数据平台依托Hadoop生态,围绕离线计算模式化构建出能够稳定支撑小时/天级别的计算任务数据处理平台,该平台在2016年取得世界排序冠军佳绩;2012年前后,腾讯第二代大数据平台通过引入Spark、Storm等实时计算处理框架,让大数据平台处理性能迈入毫秒级别,当时已是国内实时计算量规模第一。

2015年,腾讯第三代大数据平台朝着机器学习发展,其自研机器学习框架Angel成为国内第一个从Linux基金会毕业的顶级AI项目,并推动国内大数据处理正式进入机器学习时代。从2020年开始着手规划的第四代数智融合计算平台“腾讯大数据-天工”。

从离线计算、实时计算再到机器学习,大数据智能化是第四代数智融合计算平台规划的必由之路,腾讯正在构建平台大脑,推动万亿级大数据分析逐步实现“自动驾驶”。从快速发现大数据运行问题到主动发现问题,再到主动解决问题,平台大脑预计可让数据中心研发效率提升60%,运营效率提升50%,平台服务质量提升80%。

但大数据智能化这条路还有很长一段要走。腾讯数据平台部AI平台部总监陶阳宇说,下一步演化的方向是改进易用性,“我们希望隐私计算能够被集成到大数据流程里面去,大家意识不到它的存在就说明它已经很成熟了,我们现在也在朝易用性方面去作,包括我们提供一键化的部署,提供微服务化基于docker云原生的部署,我们都可以支持一键化部署。为什么我们要做全栈?就是希望能够把使用门槛降低,从最初的部署到特征模型到模型训练、发布、预测希望把底层的东西能够做成一个透明化,就像使用Excel一样使用联合计算,我们希望达到这样的地步。

18日当天腾讯还发布了《腾讯隐私计算白皮书》,白皮书由腾讯大数据联合腾讯研究院等内部多部门共同撰写,从隐私计算发展背景、技术体系、重点应用行业和场景、数据安全合规、未来发展前景等多角度全方位探索隐私计算,通过与业界凝聚共识,共同推动隐私计算技术的发展。

①本站所有CMS源码、杰奇CMS模板、PTCMS源码模板、YGBOOK源码模板、帝国CMS源码模板等仅用于学习和交流,勿用于商业。
②本站资源有安装及使用文档,安装使用请自行探索,如您对购买的程序或是模板无法胜任安装工作,请点击付费安装。
③本站资源来源网络或者用户投稿,切勿私自传播于网络,否则将追究法律责任。且仅供学习交流之用,如有侵权请联系删除。
④如果资源失效或下载链接错误请联系站长。
蓝大富博客 » 隐私计算助力打通数据孤岛 腾讯正式发布自研第四代数智融合计算平台

发表评论