Big Data

Open (Big) Data (As a Service)

Big Data, Open Data et Data as a Service ouvrent la voie à de nouveaux modèles de développement pour les entreprises et le secteur public.

Cet article a été réalisé en collaboration avec Philippe Verstichel, dans le cadre du Hackathon eGovernment Wallonia.

Le nouveau pouvoir des données

Le nouvel environnement numérique global s’articule sur 4 axes:

  1. Mobile et Web². Une fusion des mondes réel et virtuel.
  2. Cloud computing. Une plateforme ubiquitaire de services.
  3. Empowerment social. Une redistribution des rôles.
  4. Big Data. Le pouvoir des données.

Big Data

L’informatique ubiquitaire fait référence « au moment où la technologie deviendrait le soubassement de nos vies ». La disparition de l’informatique telle que nous la vivons encore aujourd’hui et son intégration dans nos vies quotidiennes ouvre des perspectives infinies en termes d’avantages mais aussi, si nous n’y prenons pas garde, de risques impossibles à évaluer. La révolution du Web 2.0 est aujourd’hui devenue une réalité en mettant l’internaute citoyen et consommateur au centre de la production de contenus numériques.

La généralisation d’une informatique pervasive fait exploser cette tendance. Comme l’a rappelé Eric Schmidt, Chairman de Google:« Nous créons actuellement en deux jours autant d’information que nous en avions créée depuis la naissance de la civilisation jusqu’en 2003 ». Si les internautes continueront de produire des contenus, ils n’auront plus forcément conscience du fait qu’ils sont en train de le faire. Cette transformation n’est pas seulement quantitative mais bien qualitative. Comme l’écrit Tim O’Reilly: « Toute chose, tout être humain deviennent des ombres informationnelles, projettent des données, qui si elles sont bien captées et intelligemment agencées, offrent d’extraordinaires possibilités ». Les questions fondamentales à résoudre pour nos sociétés résident donc à la fois dans nos capacités à organiser et traiter ces flots de données, mais également à définir les conditions d’utilisation et de partage de celles-ci dans un espace mondial.

Pour IBM, le maître mot, c’est … « l’intelligence ». C’est-à-dire la capacité à identifier, traiter et utiliser les données pour les transformer en actions qui conduiront à une amélioration de la compétitivité d’une entreprise. Dans un monde où la masse de données s’étend de façon exponentielle, la capacité d’intelligence devient indispensable. Le « business analytics », processus intégrant l’identification, le rassemblement, le traitement et le croisement des données, jusqu’à la prise de décision, est un réel défi pour les entreprises et nécessite un développement de compétences rapide. Microsoft abonde dans ce sens tout en évoquant un phénomène de « frustration » lié à l’impossibilité de faire le tour d’une question, la quantité d’information n’étant plus « absorbable ».

Les entreprises qui explorent Internet pour y capter les informations relatives à leur activité (marchés, clients, produits, concurrents, etc.) font désormais face au risque de voir leurs systèmes d’informations débordés par le volume de données recueillies. Non traitées, ces données ne deviendront jamais des informations et resteront inexploitées. Les perspectives d’accumulation de données sont aujourd’hui telles que les outils classiques de l’informatique ne permettront plus de gérer correctement la recherche, l’identification, l’enregistrement, le partage, l’analyse, l’organisation et la visualisation de celles-ci.

C’est le phénomène du « Big Data ».

L’utilisation de données fait partie depuis longtemps de l’impact des TIC, mais l’ampleur des changements induits par ces « Big Data » constitue désormais un point d’inflexion: l’augmentation du volume et de précision des informations capturées par les entreprises, la montée en volume du multimédia, des médias sociaux et de l’Internet des objets vont conjointement alimenter la croissance exponentielle des données « produits ». Cette véritable « économie des données » touche désormais tous les secteurs de l’économie, y compris les moins technophiles.

Plusieurs pistes peuvent être envisagées pour passer de données brutes à de véritables informations à valeur ajoutée:

  • rendre l’information plus transparente par une accessibilité accrue, dans des délais toujours plus courts. Dans le secteur public notamment, rendre les données plus accessibles au travers de l’ensemble des entités administratives permettra de réduire fortement la recherche et le temps de traitement. Dans le secteur manufacturier, intégrer en temps réel des données issues de la R&D, de l’ingénierie et des unités de fabrication pourra raccourcir le délai de mise sur le marché des produits;
  • segmenter les publics cibles pour personnaliser les produits et services. Les volumes de données permettent aux organisations de créer des segmentations de plus en plus étroites et d’adapter les services pour répondre aux besoins les plus précis des clients, voire « du » client. Cette approche est déjà bien intégrée dans des secteurs comme le marketing ou la gestion des risques, mais constitue une approche révolutionnaire pour d’autres, notamment le secteur public;
  • remplacer et/ou soutenir les prises de décisions humaines par des algorithmes automatisés. Les méthodologies d’analyse sophistiquées peuvent améliorer sensiblement les processus décisionnels, minimiser les prises de risques, et faire émerger des indications à très haute valeur ajoutée qui, sinon, auraient été ignorées;
  • imaginer de nouveaux modèles d’affaires ou de nouveaux produits et services. Ainsi, les entreprises peuvent utiliser les données issues de l’utilisation d’un produit particulier, par exemple en mode crowdsourcing directement via les clients, pour améliorer le développement de la génération suivante de ce produit et créer des offres innovantes de service après-vente. La valorisation des données de géolocalisation en temps réel permet ainsi de créer des services mobiles d’aide au trafic intelligent ou de suivi des personnes.

Open Data

Le secteur public est concerné au premier plan par ce débat sur les données. Il s’agit de l’Open Data. L’accumulation et l’exploitation des données sont un domaine où le rôle des autorités publiques sera déterminant. Les données publiques s’annoncent en effet comme une nouvelle opportunité pour l’innovation et la participation. L’information publique est une source majeure de nouveaux services, de création de valeur, de production de connaissance et de participation citoyenne.

La mise à disposition gratuite, mais sous licence, de ces données publiques dans des formats adaptés, rend possible la création de nouvelles applications permettant de conférer une réelle valeur ajoutée à ces données (applications composites, tableaux de bord et infovisualisation, transports publics, géolocalisation, cartographie, applications d’intérêt public, etc.). Les entreprises privées, les porteurs de projets numériques trouveraient là le moyen d’opérationnaliser rapidement leurs idées innovantes. Enfin, les administrations et OIP pourraient également considérablement améliorer leurs échanges d’informations.

Ce mouvement vers l’Open Data va se dérouler en phases successives ou parallèles en fonction des possibilités techniques des administrations et de la volonté politique des gouvernements. Diverses approches vont se côtoyer. Ainsi, les entreprises sont notamment demandeuses d’un accès à des datasets de données brutes, dans des formats standards très simples (XML, RSS, JSON, formats géographiques standards, etc.) dits « machine readable ». Les données publiques peuvent également être mises à disposition de plateformes extérieures ou être agrégées avec des données privées via des mashups.

Open Data. Pourquoi, comment ?

Le mouvement Open Data, dans sa forme actuelle, prend donc sa source dans ce tsunami de données numériques qui remplacent progressivement les supports classiques d’information et de connaissance. Ces données sont d’origines publique et privée, et, de plus en plus, citoyenne, via le crowdsourcing. La substance de l’Open Data se compose aujourd’hui essentiellement de données publiques qui sont mises à disposition afin de satisfaire des obligations légales (directives européennes INSPIRE et PSI) et des recommandations émises par l’organisation W3C en 2009. Dans sa récente feuille de route, le Gouvernement français reprend d’ailleurs les huit points d’intérêt qui motivent l’Open Data: transparence, participation, collaboration, inclusion, interopérabilité, innovation, efficience, économie.

Quelques entreprises du secteur privé commencent également à libérer leurs données dans un souci d’ouverture et de transparence, comprenant l’intérêt de participer d’un mouvement global de co-production d’information, base de l’innovation ouverte.

Libre accès à la connaissance et citoyens actifs

L’Open Data est donc un moyen démocratique et libre d’accès à la connaissance. Il donne simultanément à l’administration et aux citoyens la capacité de rétablir l’équilibre dans son rapport aux grandes entreprises et institutions ou encore de prendre des décisions en étant mieux informé. Dans le secteur public plus particulièrement, l’Open Data est essentiel pour le déploiement de l’open government qui se définit comme « un concept politique visant à améliorer l’efficacité et la responsabilité des modes de gouvernances en s’appuyant sur la transparence, la participation et la collaboration » (LiberTic).

Ainsi des applications sont développées pour publier des informations pertinentes sur la manière dont une commune ou une région est administrée (« Où va mon argent ? »), sur des conseils de santé (Asthmapolis: « puis-je sortir aujourd’hui ? »), sur des questions d’infrastructures locales (Better Street), etc.

Dans un monde toujours plus numérique, l’Open Data est devenu une ressource de base pour la mise en œuvre d’applications techniques qui rendent plus compréhensible et assimilable la masse de données numériques formant aujourd’hui le cœur de tous les échanges socio-économiques. Certaines de ces nouvelles applications numériques « éclairent » les citoyens qui deviennent dès lors des citoyens « actifs ». Elles permettent de participer activement aux débats, en étant connectés, voire d’influencer sur la société via les mécanismes d’autorégulation. Aux Etats-Unis, des applications développées sur base de données publiques libérées par les régulateurs gouvernementaux ont fortement amélioré le comportement des banques vis-à-vis de leurs clients.

Caractéristiques de l’Open Data

En 2007, un groupe de travail a publié une liste de 8 principes. Les données publiques sont ouvertes si elles sont:

  1. complètes,
  2. primaires,
  3. opportunes,
  4. accessibles,
  5. exploitables,
  6. non discriminatoires,
  7. non propriétaires,
  8. libres de droit.

Les trois premiers principes garantissent l’authenticité des données ainsi que la paternité (le producteur des données libérées). Les principes d’accessibilités et d’exploitation s’inscrivent dans la perspective d’un traitement automatisé des données ouvertes et d’une diffusion par des moyens technologiques modernes. Combien de fois n’entendons-nous pas: « Mais Monsieur, les données sont dans le rapport annuel ». On touche là une problématique récurrente de l’Open Data, à savoir la garantie de la qualité ainsi que de l’interprétation erronée qui peut en résulter. La discrimination renvoie à la problématique de la fracture numérique, au-delà du simple droit des personnes handicapées à disposer d’un accès à l’information publique.

Les deux derniers principes qui sont aujourd’hui les plus difficiles à respecter. Ils sont le frein principal à une politique volontariste de libération des données. Celles-ci sont bien souvent sauvegardées et traitées dans des formats propriétaires ou non-compréhensibles par le commun des mortels. Pour pallier à cet état de fait, différentes initiatives ont été lancées dont les plus notables sont les recommandations de formats standards ouverts (CSV et JSON), ainsi que la mise en œuvre de plateformes technologiques (catalogues d’Open Data) avec interfaces normalisés (via des API standardisées). Au-dessus des ces plateformes fédératrices et normalisées, des communautés de développeurs mettent en œuvre les outils de visualisation ou d’interaction utilisables sur tout média, dont le Smartphone.

Sur la question des droits, des avancées juridiques ont permis de faire progresser la cause de l’Open Data. Aux Etats-Unis et dans le monde anglo-saxon, les licences Creative Commons (CC-0) en sont le meilleur exemple. En Europe, ce sont les systèmes juridiques qui encadrent le droit d’auteur et le droit des bases de données qui font encore force de loi. Pour permettre aux autorités publiques de libérer leurs données, les gouvernements nationaux ont donc mis en œuvre des cadres particuliers ou encouragent d’utiliser la licence ODbL (ou OKFN).

A ce stade, précisons deux points importants:

  1. les données géo localisées bénéficient d’un cadre particulier issu de la directive européenne INSPIRE,
  2. les données relatives aux questions de sécurité, de vie privée (données personnelles) et de droit (atteinte aux intérêts d’un tiers) ne sont pas ouvrables.

Il ne fait maintenant aucun doute que l’Open Data est au cœur des relations entre le citoyen, le politique et l’administration. Elle est une opportunité d’améliorer de manière durable les échanges qui prennent place dans des processus d’e-Administration (Politique-Administration), d’e-Democratie (Citoyen-Politique) et d’e-Services (Citoyen-Administration).

Sans son livre-manifeste « Petite Poucette », le philosophe Michel Serres lance ce qui est presqu’un appel à la mise en œuvre de l’Open Data: « Petite Poucette : client, individu, citoyen, ne peut laisser indéfiniment l’Etat, les banques ou les grands magasins s’approprier ses données propres, d’autant qu’elles deviennent source de richesse. Voilà un problème politique, moral et juridique dont les solutions transforment notre horizon historique et culturel. Il peut en résulter un regroupement des partages politiques par l’avènement d’un cinquième pouvoir, celui des données, indépendant des quatre autres, législatif, exécutif, judiciaire et médiatique ».

Data as a Service

Au croisement des phénomènes de Big Data et d’Open Data, on devrait assister des 2013 à l’émergence du « Data as a Service » (DaaS). Si la disponibilité de fournisseurs de données à valeur ajoutée est une réalité fort ancienne, l’application des modèles SOA (Service-oriented architecture) permet d’envisager le déploiement à grande échelle de nouveaux services en ligne accessibles au plus grand nombre et proposant, à la demande, l’agrégation de données brutes, quantitatives ou personnelles, afin de faciliter, pour les entreprises, la compréhension de certains phénomènes et d’anticiper ainsi de nouvelles tendances de marché. Par exemple, les ventes d’un produit seront-elles ou pas affectées par certains types de phénomènes météo? Ou encore, comment va évoluer une épidémie?

Data et secteur public devrait former un couple à haute valeur ajoutée dans les prochaines années. De plus en plus, les entreprises vont envisager les données des services publics comme une « plateforme d’investissement », au sens financier et technologique du terme. Les applications développées sur cette plateforme permettront de libérer des données jusque-là bloquées dans des silos administratifs. En exposant leurs données (Open Data), les services publics faciliteront ces développements et contribueront à des retombées économiques estimées par l’Europe à plus de 50 milliards d’euros.

Le commerce connecté sera également largement influencé par le phénomène du Big Data. Pour autant qu’elle mette en place un stratégie en la matière, une marque pourra mesurer et analyser les comportements et besoins de ses clients avec une précision inédite, et traduire cette analyse en temps réel dans la (re)définition de son offre.

L’Agence du Numérique investit dans l’Open Data et ouvre ses données

Les données ouvertes sont l’une des priorités de l’Agence du Numérique. L’ADN plaide depuis longtemps pour l’ouverture des données publiques et leur valorisation.

BSpace.be

Dans le cadre du développement du projet Bspace.be, l’ADN a mit en oeuvre la logique de collecte et de mise à disposition des données publiques.

BSpace a pour vocation la promotion et la mise en réseau des opérateurs actifs dans l’accueil des activités économiques et des sociétés désireuses de s’implanter en Wallonie. L’objectif de la base de données est de regrouper en un seul lieu l’ensemble de l’offre immobilière à vocation économique en Wallonie (biens mobiliers et immobiliers) privés et publics. En ce qui concerne les opérateurs publics, la base de données reprend systématiquement l’ensemble de l’offre en matière de terrains et de bâtiments (halls-relais, etc.) disponibles. Tout opérateur privé peut également réaliser la promotion de ses biens à vocation économique dans le cadre de cette base de données.

Le baromètre TIC de l’ADN en Open Data

Depuis de nombreuses années, l’ADN a collecté de très nombreuses données sur les usages des Technologies de l’Information et de la Communication (TIC) en Wallonie. Ces données sont présentées chaque année dans le cadre du baromètre TIC de la Wallonie. Elles sont désormais disponibles en Open Data:

  • équipement et usages des entreprises en Wallonie (principaux indicateurs relatifs à l’équipement informatique et aux usages TIC des entreprises wallonnes (TPE et PME);
  • sites Web communaux (analyse des sites Web et des usages TIC des communes wallonnes);
  • usages TIC des ménages wallons Principaux indicateurs issus des enquêtes auprès des ménages résidant en Wallonie.
  • équipement TIC des écoles de Wallonie (principaux indicateurs relatifs à l’équipement informatique dans les écoles de la région);
  • usages TIC des citoyens wallons (principaux indicateurs issus des enquêtes auprès des citoyens wallons âgés de 15 ans et plus).

data.digitalwallonia.be

Enfin, dans le cadre de la mise en oeuvre d’une plateforme ICT pour la Wallonie, l’ADN a entamé le développement d’un service d’Open Data. Son objectif est de permettre à tous les services publics de Wallonie (SPW, OIP, pouvoirs locaux, etc.) de mettre leurs données ouvertes à disposition des développeurs.

  • Open Data for Wallonia
    Dans le cadre du développement de la plateforme ICT pour la Wallonie, l’Agence du Numérique (ex-Agence Wallonne des Télécommunications – AWT) propose un service d’Open Data dont l’objectif est de regrouper les données ouvertes des services publics en Wallonie. Ce projet repose sur le framework Open Source CKAN
  • Wallonia: the place born to b – bspace.be 
    Base de données à vocation promotionnelle et de mise en réseau des acteurs actifs dans l’accueil des activités économiques et des sociétés désireuses de s’implanter en Wallonie
  • Baromètre TIC 2014 de la Wallonie
    Dans le cadre de son baromètre TIC 2014, l’ADN a mesuré le niveau d’usages et d’équipement TIC des citoyens, des entreprises et des enseignants

Hackathon eGovernment Wallonia

Les Hackathons sont des marathons de développement informatique qui durent de un à plusieurs jours. Ils ont pour but d’encourager le partage d’idées de nouveaux services et de mettre en exécution un ou plusieurs prototype(s) fonctionnel(s) utilisables à la fin de la session totale. Pour y arriver, les participants formes des équipes multi-disciplinaires qui collaboreront ensemble tout au long de l’événement pour réaliser l’application.

Les Hackathons eGov ont pour particularité d’être centrés sur le développement d’une application ou d’un service à destination des citoyens. Les opérateurs publics (administrations, prestataires de service à la collectivité, etc.) sont étroitement associés à l’événement et leurs participants peuvent être intégrés dans les équipes. Surtout, les administrations et opérateurs publics acceptent de mettre à disposition des ensembles de données exploitables afin de fournir aux développeurs la matière première qui leur permettra de mettre au point des applications qui fournissent un service tangible et réel aux usagers.

Le premier Hackathon e-Gouvernement de Wallonie s’est déroulé à Namur les 4, 5 et 6 octobre 2013. Pendant trois jours, des développeurs informatiques, des responsables de l’administration régionale, des para-stataux régionaux et des citoyens usagers se sont rassemblés en vue d’un objectif : développer le prototype d’un ou plusieurs services en ligne à destination des usagers publics.

Lauréats du premier Hackathon eGov

  • Meilleur prototype : Mobil-IT
  • Application qui permet de calculer le temps de trajet ainsi que les émissions de CO2 produites par différents modes de transport (vélos partagés, à pied, taxi…) lors d’un trajet entre deux points donnés.
  • Meilleure idée : NosElus.be
    Service en ligne offre une meilleure visibilité sur l’activité des parlementaires. Il croise notamment les données relatives aux questions parlementaires posées dans des assemblées différentes (Wallonie, Fédéral…) sur des thèmes identiques.
  • Prototype qui croise le plus les données issues de sources publiques différentes: Création Parcours Magique
    Application mobile pour les familles vise à offrir aux personnes qui visitent la ville de Namur un parcours ludique s’appuyant notamment sur les vielles cartes de la cité remontant à 1850.

Lors des expériences menées à l’étranger, certains Hackathons ont donné naissance à des applications dans le domaine de la santé, de la mobilité, du tri de formulaires administratifs, etc. Les Hackathons eGov sont l’occasion de brasser des personnes aux profils différents poursuivant un objectif commun: améliorer la qualité du service aux citoyens.

  • Hackathon eGovernment Wallonia
    Pendant trois jours, des développeurs informatiques, des responsables de l’administration régionale, des OIP régionaux et des citoyens usagers se rassembleront en vue d’un objectif: développer le prototype d’un ou plusieurs services en ligne à destination des usagers publics