Azure HDInsights. Como aproveitar a plataforma para analisar dados.

Cristiano Joaquim – MTACConsultor BI / Big Data

Quem sou eu?Cristiano Joaquim

Formado em Ciência da Computação pela Universidade de Guarulhos (UnG), Pós Graduado em BI pela Faculdade IBTA.Com 19 anos (até o momento) trabalhando com TI, atuou em diversos ramos de atividades: Financeiras, Seguradores, Logística, Gestão de Meio de Pagamentos e Atacarejo (Varejo e Atacado).Palestrante em diversas comunidades e criador dos grupos Data Analytics BR e SQL Server – Database & BI.

Pai do Nathan, Isabelle e esposo da Kátia

O que é o Azure HDInsight

1

O que é o Azure HDInsight

2

Arquitetura do Hadoop no Azure

HDInsight

3

Cenários de uso do Azure HDInsight

O que é o Azure HDInsight?

• O HDInsight do Azure é um serviço de análise totalmente gerenciado, completo e de fonte aberta para empresas.

• É uma distribuição em nuvem dos componentes do Hadoop da HDP (Hortonworks Data Platform).

• O Azure HDInsight torna mais fácil, rápido e econômico processar grandes quantidades de dados. Você pode usar as estruturas de código aberto mais populares, como Hadoop, Spark, Hive, Kafka, Storm, R e muito mais. Com essas estruturas, você pode habilitar uma grande variedade de cenários, como extração, transformação e carregamento (ETL), data warehouse, aprendizado de máquina e IoT.

Vamos falar um pouco sobre Apache Hadoop

• Quando falamos do Azure HDInsight, não podemos deixar de destacar a estrutura doframework de processamento distribuído e análise de Big Data de Big Data em Clusters.

• Os softwares que compõem a pilha de tecnologias do Framework Hadoop são asseguintes:

- Apache Hive- Hbase- Spark- Kafka- Zookepper

• E muitos outros.

• O Hadoop inclui dois componentes principais:

- O HDFS (Sistema de Arquivos Distribuído Hadoop), que fornecearmazenamento;

- O YARN (Yet Another Resource Negotiator), que fornece processamento.

• Para um entendimento rápido, o YARN coordena o processamento dedados em Hadoop, possuindo dois serviços principais que são executadosem processos em nós nos Clusters.

• São eles:- ResourceManager, que concede recursos de computação de cluster para

aplicativos como trabalhos MapReduce.- NodeManager, que são nós onde os aplicativos realmente executam.

Arquitetura de Hadoop no Azure HDInsight

• O Hadoop inclui dois componentes principais:

- O HDFS (Sistema de Arquivos Distribuído Hadoop), que fornece armazenamento;- O YARN (Yet Another Resource Negotiator), que fornece processamento.

• Para um entendimento rápido, o YARN coordena o processamento de dados em Hadoop,possuindo dois serviços principais que são executados em processos em nós nosClusters.

• São eles:- ResourceManager, que concede recursos de computação de cluster para aplicativos

como trabalhos MapReduce.- NodeManager, que são nós onde os aplicativos realmente executam.

Cenários de uso do Azure HDInsight

Processamento em lotes (ETL)

• Extração, transformação e carregamento (ETL) é um processo em que os dadosestruturados ou não estruturados são extraídos de fontes de dadosheterogêneas.

• Em seguida, ele é transformado em um formato estruturado e carregado norepositório de dados.

• Você pode usar os dados transformados para ciência de dados ou datawarehousing.

Cenários de uso do Azure HDInsights

•Data warehousing

• É possível usar o HDInsight para executar consultasinterativas em escalas petabyte sobre dados estruturados ounão estruturados em qualquer formato. Também é possívelcriar modelos conectando-os a ferramentas de BI.

Cenários de uso do Azure HDInsight

Internet das coisas (IoT)

• Você pode usar o HDInsight para processar os dados de streaming recebidos em tempo real de uma variedade de dispositivos.

Meus contatos:E-mail:cristiano.Joaquim@gmail.comcristiano.Joaquim@mtac.org.brcristiano@codelinq.com.br

LinkedIn:https://www.linkedin.com/in/cristiano-joaquim-50956623/

Facebook:https://www.facebook.com/cristianojoaquimsantos

Quer aprender a trabalhar com BI?Acesse meu Canal:https://www.youtube.com/cristianojoaquim