azure hdinsight - db4 · 2019-05-15 · title: microsoft powerpoint - azure hdinsight - db4.pptx...
Post on 27-Jul-2020
12 Views
Preview:
TRANSCRIPT
Azure HDInsights. Como aproveitar a plataforma para analisar dados.
Cristiano Joaquim – MTACConsultor BI / Big Data
Quem sou eu?Cristiano Joaquim
Formado em Ciência da Computação pela Universidade de Guarulhos (UnG), Pós Graduado em BI pela Faculdade IBTA.Com 19 anos (até o momento) trabalhando com TI, atuou em diversos ramos de atividades: Financeiras, Seguradores, Logística, Gestão de Meio de Pagamentos e Atacarejo (Varejo e Atacado).Palestrante em diversas comunidades e criador dos grupos Data Analytics BR e SQL Server – Database & BI.
Pai do Nathan, Isabelle e esposo da Kátia
O que é o Azure HDInsight
1
O que é o Azure HDInsight
2
Arquitetura do Hadoop no Azure
HDInsight
3
Cenários de uso do Azure HDInsight
O que é o Azure HDInsight?
• O HDInsight do Azure é um serviço de análise totalmente gerenciado, completo e de fonte aberta para empresas.
• É uma distribuição em nuvem dos componentes do Hadoop da HDP (Hortonworks Data Platform).
• O Azure HDInsight torna mais fácil, rápido e econômico processar grandes quantidades de dados. Você pode usar as estruturas de código aberto mais populares, como Hadoop, Spark, Hive, Kafka, Storm, R e muito mais. Com essas estruturas, você pode habilitar uma grande variedade de cenários, como extração, transformação e carregamento (ETL), data warehouse, aprendizado de máquina e IoT.
Vamos falar um pouco sobre Apache Hadoop
• Quando falamos do Azure HDInsight, não podemos deixar de destacar a estrutura doframework de processamento distribuído e análise de Big Data de Big Data em Clusters.
• Os softwares que compõem a pilha de tecnologias do Framework Hadoop são asseguintes:
- Apache Hive- Hbase- Spark- Kafka- Zookepper
• E muitos outros.
• O Hadoop inclui dois componentes principais:
- O HDFS (Sistema de Arquivos Distribuído Hadoop), que fornecearmazenamento;
- O YARN (Yet Another Resource Negotiator), que fornece processamento.
• Para um entendimento rápido, o YARN coordena o processamento dedados em Hadoop, possuindo dois serviços principais que são executadosem processos em nós nos Clusters.
• São eles:- ResourceManager, que concede recursos de computação de cluster para
aplicativos como trabalhos MapReduce.- NodeManager, que são nós onde os aplicativos realmente executam.
Arquitetura de Hadoop no Azure HDInsight
• O Hadoop inclui dois componentes principais:
- O HDFS (Sistema de Arquivos Distribuído Hadoop), que fornece armazenamento;- O YARN (Yet Another Resource Negotiator), que fornece processamento.
• Para um entendimento rápido, o YARN coordena o processamento de dados em Hadoop,possuindo dois serviços principais que são executados em processos em nós nosClusters.
• São eles:- ResourceManager, que concede recursos de computação de cluster para aplicativos
como trabalhos MapReduce.- NodeManager, que são nós onde os aplicativos realmente executam.
Cenários de uso do Azure HDInsight
Processamento em lotes (ETL)
• Extração, transformação e carregamento (ETL) é um processo em que os dadosestruturados ou não estruturados são extraídos de fontes de dadosheterogêneas.
• Em seguida, ele é transformado em um formato estruturado e carregado norepositório de dados.
• Você pode usar os dados transformados para ciência de dados ou datawarehousing.
Cenários de uso do Azure HDInsights
•Data warehousing
• É possível usar o HDInsight para executar consultasinterativas em escalas petabyte sobre dados estruturados ounão estruturados em qualquer formato. Também é possívelcriar modelos conectando-os a ferramentas de BI.
Cenários de uso do Azure HDInsight
Internet das coisas (IoT)
• Você pode usar o HDInsight para processar os dados de streaming recebidos em tempo real de uma variedade de dispositivos.
Meus contatos:E-mail:cristiano.Joaquim@gmail.comcristiano.Joaquim@mtac.org.brcristiano@codelinq.com.br
LinkedIn:https://www.linkedin.com/in/cristiano-joaquim-50956623/
Facebook:https://www.facebook.com/cristianojoaquimsantos
Quer aprender a trabalhar com BI?Acesse meu Canal:https://www.youtube.com/cristianojoaquim
top related