www.teandq.com
晓安科普

网络多媒体的探索:网络多媒体的探索与发展

2025-03-02Aix XinLe

我认为今后20年,多媒体智能技术将大大提高人机物一体化分析技术的智能水平,朝着多媒体认知方向发展。

网络多媒体的探索:网络多媒体的探索与发展

 

朱文武朱文武,CCF会士,CCF多媒体专委会主任清华大学教授,信息科学与技术国家研究中心副主任,大数据算法与分析国家工程实验室副主任,清华大学人工智能研究院大数据智能中心主任国家973项目首席科学家、国家基金委重大项目负责人、科技创新2030—“新一代人工智能”重大项目负责人、教育部人工智能科技创新专家组专家。

ACM/AAAS/IEEE/SPIE Fellow、欧洲科学院院士朱文武的研究领域包括网络多媒体计算、大数据分析等他在上述领域发表高水平国际论文 380余篇,曾10次获得ACM和IEEE等国际最佳论文奖,撰写国际专著5本,拥有发明专利 100余项。

现任IEEE Transactions on Multimedia指导委员会主席,曾任该刊主编曾获 2012年、2018年国家自然科学二等奖近日,CCCF 对朱文武教授进行了专访,他在访谈中回顾了自己如何走上多媒体计算和大数据分析的研究之路,并进一步展望了未来20年多媒体智能领域可能出现的理论突破与技术革新,以及亟待解决的挑战等。

问:能谈谈您的主要工作经历和主要研究工作吗?朱文武:1996年我博士毕业于纽约大学;1996~1999年,在美国贝尔实验室做研究员;1999~2004年,在微软亚洲研究院任主任研究员;2004~2008年,任英特尔中国研究院首席科学家、总监;2008~2011年,我再次回到微软亚洲研究院任高级资深研究员;2011年进入清华大学工作至今。

我一直致力于大数据分析与网络多媒体计算方面的研究在跨空间大数据关联表征研究中,大数据异构性强、维度高、关联复杂,为其表达和分析带来了巨大挑战而传统方法局限于单一空间的表征与分析,难以揭示大数据跨空间关联的作用机理。

我带领团队深入研究了异构大数据的关联作用机理,提出了结构保持的异构网络嵌入非线性表征理论方法,在理论上证明了网络结构相似性指标对异构性的保持,建立了世界上首个结构保持的网络深层非线性关联表征模型随着信息技术的迅猛发展,多媒体网络资源计算面临着异构网络环境下须满足大规模用户对海量多媒体内容高动态、高并发需求的巨大挑战。

然而传统的多媒体网络资源计算方法仅在网络域对资源进行独立优化于是我们尝试打破传统用户行为与网络环境的时空无关假设,揭示网络环境下用户与媒体内容的交互行为机理,建立用户-媒体协同的交互行为量化模型,进一步发现媒体信息动态传播的时间、空间和用户三类局部性规律,最后建立一种跨域协同的网络资源配置理论模型,实现了网络资源配置从被动固化到主动感知的跨越。

目前这两项工作都取得了一定成果,我们提出的跨空间大数据关联表征理论方法和大规模多媒体的资源跨域协同计算理论方法,在国际上引领了这两个方向的发展问:您在大数据分析与网络多媒体计算等研究领域发表高水平国际论文高达380余篇,在这些学术论文中,哪一篇对您来说最有意义呢?。

朱文武:我们团队发表在ACM KDD 2016上的“Structural Deep Network Embedding”一文对我们的研究工作具有非常重要的意义当时我正在承担国家973项目“三元空间大数据计算理论与方法”。

三元空间是指人类社会空间、信息空间、物理空间构成的复杂关联空间,在社会治理等国家重大战略领域有很大应用,其核心技术之一是如何对三元空间中的异构实体以及复杂关联关系进行有效的统一表达这篇文章从关联表征学习的角度研究这个问题,提出了世界首个深层网络嵌入表征方法,极大提升了关联表征学习的预测能力,解决了传统深度学习模型对复杂关联拓扑难以适用的问题,得到了学术界和工业界的广泛关注,几年来引用量超过2500次。

这篇文章为我们课题组的后续发展奠定了重要基础,启发并激励了我们对图机器学习、自动机器学习等国际学术前沿进行研究,并先后获AAAI 2021、NeurIPS 2021自动机器学习国际挑战赛冠军,发布了世界首个图自动机器学习开源库智图。

(AutoGL),撰写了该领域内两篇综述性文章,得到广泛引用我先后7次受邀在该领域做Tutorial,受施普林格(Springer)出版社邀请出版了多媒体领域首本自动机器学习与元学习方向的英文专著,引领了该方向的发展。

问:多媒体计算与大数据分析领域的研究现状如何?在未来20年内,您认为该领域的发展趋势和可能面临的挑战是什么?朱文武:目前多媒体计算和大数据智能已呈现深度融合的趋势,许多机器学习方法广泛应用于多媒体计算,使多媒体计算取得了长足的进展,正从多媒体分析时代迈入多媒体智能时代。

随着信息空间、物理世界、人类社会的进一步深度融合,由此涌现出的文本、图像和视频等不同类型媒体数据及用户行为信息将更加紧密地混合在一起,给多媒体计算带来巨大的挑战我认为今后20年,多媒体智能技术将大大提高人机物一体化分析技术的智能水平,朝着多媒体认知方向发展。

我们应着重研究如何进一步根据数据本身以及人类认知机理设计最优的机器学习方法,像人一样进行自主学习和推理;研究如何实现从数据驱动到知识驱动再到认知驱动的多媒体计算多媒体智能理论创新与应用落地前路漫漫,还有很多挑战和机会在等着我们。

目前大数据与多媒体的交叉正逐渐演化为人工智能和多媒体的交叉(也被称为多媒体智能),前者关注对内容的分析和理解,后者关注对内容的推理和认知多媒体和人工智能相互作用和影响,形成一个良性循环,不断促进彼此发展。

一方面是多媒体促使人工智能朝着更具可解释性的方向发展,我们可以利用多媒体语义与知识增强机器学习的可解释能力;另一方面是人工智能反过来为多媒体研究注入新的智能思维方式,我们可以利用人工智能的理论方法研究多媒体推理和认知。

多媒体智能未来发展一个有意思的例子是动态、开放、真实环境下的多媒体图灵测试,即在来自真实世界的多种媒体模态数据上进行图灵测试,比如视觉图灵测试大数据驱动的自主机器学习也具有很光明的发展前景在许多场景中,真实测试数据相对训练数据的分布变化,即算法的分。

布外(Out-Of-Distribution,OOD)泛化问题,是一个核心难题不同于传统机器学习算法采用的独立同分布(IID)假设,OOD泛化问题假设训练数据和测试数据的分布不一样如何在机器学习模型中识别变化与不变信息并实现分布外泛化成为一个有待解决的问题。

为此,我们提出自主驱动的机器学习,以解决OOD问题我在AI Open上发表了题为“Self-directed Machine Learning”的文章,从人类的自主学习中汲取灵感,引出了自主机器学习(Self-Directed Machine Learning,SDML)的基。

础概念,并提出了可行的实现框架自主机器学习的目标是实现高度自治,包括自主任务选择、自主数据选择、自主模型选择、自主优化策略选择以及自主评估指标选择,而不需要人类手动进行这些选择我相信自主机器学习是实现从当前弱人工智能到未来强人工智能的跨越之路,而通过大数据建模与人类知识相结合的方式,训练出有效的自主机器学习模型,是当前大数据分析从数据科学迈向数据智能的有效途径,值得我们进一步深入研究。

传统机器学习方法在静态、封闭环境下进行学习、推理和决策,模型相对固化,难以泛化,无法在动态、开放、真实环境下进行环境自适应学习、推理和决策如何突破现有机器学习理论方法的局限,实现从静态、封闭环境的学习到动态、开放环境的自适应学习认知的跨越,是发展新一代人工智能理论方法的重要核心。

针对在开放、动态、真实环境下学习、推理与决策的认知复杂性和推理决策不确定性两个本质困难,深入研究动态环境自适应的自主学习与推理,以及融合常识直觉与因果推理的认知决策是跨空间大数据与多媒体计算的未来研究方向。

通过对环境的主动感知与探索学习,并结合自我学习状态,可以实现对环境的自适应学习其中在不确定环境下进行因果推理是一个非常重要的研究路径,虽然目前有一些研究关注神经逻辑推理,但仍难以实现因果可回溯推理、因果结构发现以及因果知识发现。

如何在复杂网络关系语义下进行因果元知识发现与推理是未来的一个重要研究问题问:您加入CCF会员多年,长期活跃于CCF平台,您对CCF和CCCF有什么意见和建议?朱文武:加入CCF以来,我参加了很多活动,通过CCF结识了很多中国计算机领域知名专家学者,聆听了很多院士、专家的精彩报告,受益颇多。

CCCF发表了很多高质量的文章,几乎每期我都会看这本刊物,就像创刊主编李国杰院士所说,“是让计算机科技工作者和关心计算机发展的各类人士更全面更深刻地了解相关技术发展趋势”的刊物,建议CCCF进一步加强与学会各专委会活动的联动性,吸引更多读者和会员关注及投稿,提升业界影响力。

特别声明:中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权,未经CCF允许,不得转载本刊文字及照片,否则被视为侵权。对于侵权行为,CCF将追究其法律责任

CCF推荐【精品文章】CCCF精选|新时代的可视化CCCF精选|大数据近似计算研究与探索CCCF精选|计算机图形学将是未来智能的入口CCCF精选|AI与安全的交叉创新CCCF精选|我与移动互联网一同前进的岁月

CCCF精选|做有工匠精神的创新CCCF精选|从群体感知到群智计算CCCF精选|互联网体系结构研究与探索CCCF精选|新型存算分离架构技术展望CCCF200期卷首语 | 猛志逸四海,骞翮思远翥CCCF精选|内生智能驱动物联网的变革

CCCF精选 | 李德毅:机器如何像人一样认知——机器的生命观李国杰:为计算机科学技术的大变局立言——祝贺CCCF出刊200期CCCF精选 | 探索推荐系统智能化的研究者与实践者

点击“阅读原文”,查看更多CCCF文章。

免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186

探索网络多媒体的探索:网络多媒体的探索与发展

2025-03-02Aix XinLe62

网络多媒体的探索:网络多媒体的探索与发展我认为今后20年,多媒体智能技术将大大提高人机物一体化分析技术的智能水平,朝着多媒体认知方向发展。…

知识学校消防培训知识:学校消防培训知识点总结

2025-03-02Aix XinLe149

学校消防培训知识:学校消防培训知识点总结安全是生命之本,为了进一步增强教职工消防安全意识,提高防控火灾能力,2024年4月26日上午,春晖学…

探索探索发现考古视频最新:探索发现考古视频最新版本

2025-03-02Aix XinLe90

探索发现考古视频最新:探索发现考古视频最新版本我个人的思路是把老三本,即《中国考古通论》(张之恒)、《中国博物馆学基础》(王宏钧)、《文物学概论》(李晓东),这三本书全文背诵下来(具体的切实可行的背诵方法也在之前的推文中说过),再通过互联网最大程度摄取其他知识。…

知识禁毒知识竞赛活动方案:禁毒知识竞赛活动方案视频

2025-03-02Aix XinLe20

禁毒知识竞赛活动方案:禁毒知识竞赛活动方案视频珍爱生命,远离毒品…

探索视界奇闻探索:C位看奇闻探索

2025-03-02Aix XinLe4

视界奇闻探索:C位看奇闻探索看电影:实践范式下的媒介理解及其想象力…