美媒:研究人员开发新软件令大数据分析速度快百倍
2017年11月03日 08:16:44
来源:参考消息网
计算机学研究人员此前已为机器学习和大数据分析中最常用的一些张量运算编写了内核。但可能用到的内核数量是无限的:例如,用于三个张量相加的内核与用于四个张量相加的内核是不同的。
许多张量运算需将某个张量中的一项与另一个张量中的一项相乘。如果其中一项是0,那么结果也会是0,而计算大型稀疏矩阵的程序会浪费大量时间来对0进行相加和相乘。
针对稀疏张量的人工优化代码能识别0项并精简涉及0项的运算。这能大大提高张量运算的速度,但需要程序员完成大量工作。
例如,针对两个矩阵相乘(矩阵是形式较简单的张量,像图表一样只有两个维度),如果是完全矩阵的话(即其中没有一个项能被省略),可能需要12行代码。但如果是稀疏矩阵的话,同样的运算可能需要100行甚至更多的代码以跟踪被省略的部分。
报道称,Taco系统能将多出来的所有代码自动合在一起。程序员只需指定一个张量的大小、是完全张量还是稀疏张量以及用于导入数值的文件位置即可。对于任何特定的两个张量的运算,Taco系统都能绘制出一张分级图,首先表明来自两个张量的哪些配对项是非0项,然后表明来自每个张量的哪些项是与0配对的。它会把所有的0项对剔除出去。
标签:研究;大数据;分析
责任编辑:杨静涛
热点新闻
相关阅读
版权和免责申明
- 上海消费“新贵”边走边买 泛“90后”成消费主力军
- 赌城枪击案嫌犯作案动机是什么?科学家拟解剖嫌犯大脑寻答案
- 中国科学家在一维量子液体研究领域获重要进展
- 狗狗为啥通人性?原来它能通过面部表情与人类沟通
微信分享
看浙江新闻,关注浙江在线微信
凡注有"浙江在线"或电头为"浙江在线"的稿件,均为浙江在线独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"浙江在线",并保留"浙江在线"的电头。