storm是什么类型(storm三种运行环境是什么)

storm是什么类型(storm三种运行环境是什么)

首页维修大全综合更新时间:2024-06-28 18:11:39

storm是什么类型

"Storm"是一种开源的分布式计算框架,它被设计用来处理高速大规模数据流。它的主要目的是对实时数据流进行MDA(处理、分析和实时)操作。

Storm大大简化了实时数据处理和分析的复杂性,它可以在云计算和大数据环境中处理无限大小的数据源,并且可以安全可靠地存储大量数据。

除此之外,它提供了可扩展的实时计算的语言——"Spouts"和"Bolts",以及快速、可靠、动态的分布式计算运行时环境。所以可以说,"Storm"属于实时数据处理的领域,具有灵活、高可用、高扩展性等特点。

一、Storm概述

Storm是一个分布式的、可靠的、零失误的流式数据处理系统。

它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件,而Spout又把读取的数据传递给叫Bolt的组件。

Bolt组件会对收到的数据元组进行处理,也有可能传递给下一个Bolt。我们能够把Storm集群想象成一个由bolt组件组成的链条集合。数据在这些链条上传输。而bolt作为链条上的节点来对数据进行处理。

Storm和Hadoop集群表面看上去非常类似,可是Hadoop上面执行的是MapReduceJobs,而在Storm上执行的是拓扑topology,这两者之间是非常不一样的,关键差别是:MapReduce终于会结束,而一个topology永远会执行(除非你手动kill掉),换句话说。Storm是面向实时数据分析,而Hadoop面向的是离线数据分析。

如果有这么一种情形。当你看政论类节目的时候。他们会常常提到一些人名和一些热门话题。如果我们把当中人名和话题的反复次数都记录下来,结果应该是一件非常有趣的事情。

因此,想象在Storm环境下,我们能够把辩论者说的话作为输入流,spout组件来读取这些数据,然后把每一句话发送给bolt1组件,bolt1组件负责把这一句话拆分成一个个单词。再把这些单词发送到bolt2组件。bolt2组件负责统计每一个单词的数量然后把这些信息存储到数据库中。辩论者在不断的说话。而storm不断的实时刷新数据库中结果,当你想查看这些结果时,你仅仅需查询数据库就可以。

如今,你能够想象假设能够把这些spout和bolt均衡分布到整个集群中,而且能够方便地做无限制的扩展,厉害吧?这就是Storm的威力!

大家还看了
也许喜欢
更多栏目

© 2021 3dmxku.com,All Rights Reserved.