HDInsight News

 

Ça faisait longtemps que je n’avais pas parlé de HDInsight ! (préparation des #JSS2013).

Je vais profiter cette article pour vous présenter quelques nouveautés et les évolutions du service HDInsight.

 

Versions

Aujourd’hui deux versions de HDInsight sont disponibles : la 1.6 et la 2.1.

 

HDInsight 1.6 :

La distribution Hadoop dans Windows Azure HDInsight 1.6 est basée sur la plateforme de données Hortonworks 1.1.0. Voici la liste des composants et leurs versions respectives :

HDInsight1.6

HDInsight 2.1 :

La distribution Hadoop dans Windows Azure HDInsight 2.1 est basée sur la plateforme de données Hortonworks 1.3.0. Voici la liste des composants et leurs versions respectives :

HDInsight2.1

La version d’HortonWorks a encore un peu d’avance : HDP Windows 😉

Release Note : http://gettingstarted.hadooponazure.com/releaseNotes.html

Pour vérifier les versions des composants du cluster, examiner le contenu du répertoire « C:\apps\dist\ »

 

Évolutions

En cette fin d’années, le service Hadoop dans Azure évolue, voici une courte liste des évolutions.

 

La fin du DashBoard 🙁

En effet, le Dashboard dans lequel nous pouvions exécuter des scripts, monitorer le cluster et exécuter des jobs disparait au profil d’une intégration dans le portail Azure :
HDInsight

 

Nouveauté SSIS :

Lors du dernier PASS Summit Matt Masson et Wee Hyong Tok ont présenté la Roadmap de SSIS, je vous invite à la revoir sur YouTube.

De nouvelles taches pour HDInsight vont bientôt être publiées sur Codeplex :

SSIS_HDINSIGHT

Pour se connecter en Hive ODBC depuis SSIS : http://www.mattmasson.com/2013/11/using-hive-odbc-from-ssis/

 

SQL Azure Database as a Hive Metastore :

Il est désormais possible dans les deux versions de HDInsight de stockées les méta données de Hive dans une base de données SQL Azure :
HIVEMETASTORE

Pour ce faire, assurez-vous d’avoir un Login ayant les droits suivants :

CREATE LOGIN LoginHiveDBUser WITH PASSWORD='LoginHiveDBUser'
CREATE USER HiveDBUser FROM LOGIN LoginHiveDBUser
EXEC sp_addrolemember 'db_ddladmin', 'HiveDBUser'
EXEC sp_addrolemember 'db_datawriter', 'HiveDBUser'
EXEC sp_addrolemember 'db_datareader', 'HiveDBUser'

Vous devez également vous assurer que les services Windows Azure ont accès à votre serveur SQL Azure.

Cela me permet par exemple d’afficher les Métadonnée des tables et de leurs partitions :
HDINSIGHT_HIVEMETADATA

 

Utilisation de Azure Blob storage :

Son utilisation a quelque peu évolué : http://www.windowsazure.com/en-us/manage/services/hdinsight/howto-blob-store/

 

Azure PowerShell :

Windows Azure PowerShell permet en script de contrôler et automatiser la gestion des services dans Windows Azure. Ainsi HDInsight ne déroge pas a la règles et de plus en plus de commandes Shell lui font références.

Télécharger Windows Azure HDInsight PowerShell : http://www.microsoft.com/en-us/download/details.aspx?id=40724

 

Pilote JDBC SQL Server :

Le pilote JDBC SQL Server est désormais utilisé en interne par HDInsight et pour Sqoop.
Remarque : Il faut toujours utiliser le pilote HDInsight ODBC pour se connecter depuis l’extérieur.
[…]

 

Bonus

N’hésitez pas a venir aux Journées SQL Server 2013, je présenterais avec Yazid Moussaoui un cas d’utilisation client de HDInsight & Big Data et quelques nouveautés 😉

 

Comments are closed.