Introdução
Os dados estão em todos os lugares; na verdade, estamos agora no universo de "grandes dados", onde os sistemas de computação precisam lidar com imensa quantidade de dados para determinar certos padrões de comportamento. Apache Hadoop é um framework, que é projetado para lidar com esses enormes quantidades de dados.
Ao fazer Hadoop disponível como um serviço, HDInsight pode ajudar a gerenciar, analisar e informar sobre big data. Apache Hadoop usa Hadoop Distributed File System (HDFS) para fornecer armazenamento de dados confiável. O modelo de programação MapReduce é usado para processar e analisar os dados em paralelo.
HDInsight fornece um ambiente simples, fácil, escalável e eficiente em termos de custo. Quando HDInsight implanta um cluster, uma segunda headnode é adicionado aos clusters para aumentar a disponibilidade do serviço (ao contrário de implantações Hadoop clássicos).
O ecossistema Hadoop / HDInsight é visualizado abaixo.
Hadoop / HDInsight EcosystemComo HDInsight Gerencia e armazena dados
HDInsight usa armazenamento Azure Blob como o sistema de arquivos padrão. Clusters Hadoop são otimizados para a execução de tarefas computacionais MapReduce e pode ser descartado uma vez que as tarefas sejam executadas.
Para gerenciar os trabalhos do Hadoop, HDInsight usa Azure PowerShell.
Como Chegar Stared com Usando HDInsight
Depois que você estiver conectado, você será presenteado com a página inicial da sua conta.
Portal de Gestão Azure HomepageClica no link HDInsight à esquerda.
HDInsight linkClique no link para "Criar um cluster HDinsight".
Criar um Cluster HDinsightForneça um nome de cluster e também especificar a senha para o "admin" função de usuário e clique em "Criar HDInsight Cluster".
Criar HDInsight ClusterDepois de enviar as informações, o processo de criação do cluster Hadoop começa, que pode ser visualizado como abaixo.
Processo Hadoop Cluster CriaçãoPode levar até 10 minutos para concluir o provisionamento. Uma vez completo, o painel vai olhar como abaixo.
Provisionamento completoClique na seta ao lado do nome do cluster e você será redirecionado para o painel de instrumentos HDInsight.
HEInsight PainelAqui podemos acompanhar como nosso cluster Hadoop está realizando. Podemos ver que o meu caso particular está usando 24 núcleos de um total possível de 170 núcleos HDInsight.
Depois que o cluster HDInsight foi provisionado, podemos agendar nossos trabalhos MapReduce. Um trabalho de MapReduce precisa de um programa de MapReduce (arquivo .jar) e insumos (se aplicável).
Azure PowerShell pode ser usado para executar trabalhos.
Resumo
Neste artigo, nós demos uma visão geral de HDInsight.
.png)