云计算与大数据有什么联系
发布时间：2022-10-31 11:22:05 所属栏目：云计算 来源：
导读： 以下是我个人以前在美国研究机构做数据分析和后来在公司开发云端数据挖掘系统的一些体会，希望对你有一些帮助。
最开始的时候，我也是使用单机分析数据，当时购买的是联想w510的图形工作站。后来我们分析
最开始的时候，我也是使用单机分析数据，当时购买的是联想w510的图形工作站。后来我们分析
|
以下是我个人以前在美国研究机构做数据分析和后来在公司开发云端数据挖掘系统的一些体会，希望对你有一些帮助。 最开始的时候，我也是使用单机分析数据，当时购买的是联想w510的图形工作站。后来我们分析的数据文件的尺寸从最开始的几十MB进入到后面7GB到后期的10GB+, 哪怕是w510也觉得力不从心，很容易就出现内存溢出的错误。所以研究所联系了大学的高能计算中心，当时他们分配给我们的服务器的内存最高可达128GB。但是当时因为各种原因，用户体验并不好，主要是连接的速度太慢，特别是远程使用MATLAB难以使用图形界面。 而后来在我们开发数据挖掘系统的时候，我们在验证各种技术期间，是在本地搭建了ubuntu服务器, 然后利用花生壳映射到公网，但是访问速度非常慢，又受到停电，断网等影响。所以我们在推出测试版后，变采用Amazon 公司的弹性云集算系统 （Elastic Compute Cloud, EC2）. 虽然我们仅仅是采用的免费版本，按照Amazon自己的描述，速度属于“很慢 ”， 但是与我们自己的搭建的服务器相比，速度已经远不是一个数量级。 事实上，很多的大公司，著名高校都采用了 Amazon的EC2系统而不是自己服务器来处理数据云计算与大数据，以前在大学需要几个月运算出来的结果，在Amazon EC2的商业级应用上上仅需一个小时。而且Amazon EC2 提出的按使用量付费的思想，能够让企业的每一分钱都用在刀刃上， 而自建服务器往往会产生巨大的浪费 。 简而言之，大数据的核心是服务，而云计算则是这些服务赖以生存的基础设施。中国的很多IT巨头和地方ZF也在大量地上云计算服务，这跟30年前要致富先修路是一个道理。 （编辑：PHP编程网 - 金华站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330481号