Tout n'est pas qu'une histoire de relations : architectures avancées NoSQL et graphes

Transcription

1 Tout n'est pas qu'une histoire de relations : architectures avancées NoSQL et graphes Amazon DynamoDB & Amazon Neptune Olivier Bazoud, Head of Infrastructure chez Ogury Alexandre Pinhel Solutions Architect, Manager, France. #AWSSummit

2 AWS Base de données relationnelles Schéma fort Modèle relationnel Transactions Jointures

3 Caractéristiques des applications à large echelle (internet) Utilisateurs >1M Volume données TB-PB-EB Localisation Global Performance Milliseconds-Microseconds Reqûetes Millions Acces Mobile, IoT, Devices Economie Pay as you go Relational Key-value Document Graph Accès développeur Instantané par API ;

4 Raisons pour choisir une base non relationnelle Schéma variable ou absence de schema Dénormalisé, key/value, document Items non connectés, orienté aggrégation Séparation de performance read et write

5 Des choix plus difficiles Un modèle plus complexe Un schema évolutif (par entité) Des données très connectées (structure variable selon les entités) Les requêtes nécessitent de joindre des entités ou de naviguer au travers des relations

6 AWS Base de données non relationnelles Fait pour des cas d utilisations spécifiques Non-relational Nonrelationelle Amazon DynamoDB Key value Document Amazon ElastiCache Amazon Neptune Graph AWS Database Migration Service

7 Amazon DynamoDB Entièrement managé, multi-master, base multi-region NOSQL pour n importe quelle taille Highly scalable Fast, consistent performance Fully managed Business critical reliability Auto-scaling to hundreds of terabytes of data, that serve millions of requests per second Consistent single-digit millisecond latency; DAX inmemory performance reduces response times to microseconds Automatic provisioning and infrastructure management Data is replicated across fault tolerant availability zones, with fine-grained access control

8 Amazon DynamoDB Débit (RCU WCU) Fournit au niveau de la table Write capacity units (WCUs): capacité d écriture, mesurée 1 KB par seconde Read capacity units (RCUs): capacité de lecture mesurée par 4 KB par seconde - RCU= lecture consistente - Lecture éventuellement consistente = 1/2 RCU Les lectures et les écritures sont indépendantes.

9 Amazon DynamoDB - Nouveautés February 2017 April 2017 April 2017 June 2017 Time to Live (TTL) VPC Endpoints DynamoDB Accelerator (DAX) Auto Scaling Nov 2017 Nov 2017 Feb 2018 Global Tables (GA) On-demand Backup (GA) Encryption at rest (GA)

10 Table employés

11 Table employés Clé employeeid cola

12 Table employés Clé employeeid cola Autre attributs: state city dept city_dept

13 Index global secondaire employés par état et ville/dpt.

14 Index global secondaire employés par état et city/dept Clé state city_dept Clé composite

15 Requête (Query) par état

16 Requête par Etat et Ville (State and City)

17 Requête par état, ville et département

18 Python Trouver les employés par état et ville/dept dynamodb = boto3.resource('dynamodb') table = dynamodb.table('employees') response = table.query( IndexName='gsi_city_dept', KeyConditionExpression=Key('state').eq(value1) & \ Key('city_dept').begins_with(value2) ) for i in response['items']: city,dept = i['city_dept'].split(':') print('\tname: %s. City: %s. Dept: %s' % (i['name'], city, dept))

19 Initialiser les objets dynamodb = boto3.resource('dynamodb') table = dynamodb.table('employees') response = table.query( IndexName='gsi_city_dept', KeyConditionExpression=Key('state').eq(value1) & \ Key('city_dept').begins_with(value2) ) for i in response['items']: city,dept = i['city_dept'].split(':') print('\tname: %s. City: %s. Dept: %s' % (i['name'], city, dept))

20 Requêter la table dynamodb = boto3.resource('dynamodb') table = dynamodb.table('employees') response = table.query( IndexName='gsi_city_dept', KeyConditionExpression=Key('state').eq(value1) & \ Key('city_dept').begins_with(value2) ) for i in response['items']: city,dept = i['city_dept'].split(':') print('\tname: %s. City: %s. Dept: %s' % (i['name'], city, dept))

21 Afficher les résultats dynamodb = boto3.resource('dynamodb') table = dynamodb.table('employees') response = table.query( IndexName='gsi_city_dept', KeyConditionExpression=Key('state').eq(value1) & \ Key('city_dept').begins_with(value2) ) for i in response['items']: city,dept = i['city_dept'].split(':') print('\tname: %s. City: %s. Dept: %s' % (i['name'], city, dept))

22 AWS Summit Paris 2018 Olivier Bazoud Head of Infrastructure chez Ogury

23 LONDRES PARIS MILAN ROME MADRID NEW-YORK LOS ANGELES BOSTON CHICAGO DETROIT

24

25 User agreement We would like to inform you regarding the Consent to Collection and Use of Data. By clicking on I agree below, you consent to Ogury Ltd collecting information from your device to allow us to dynamically serve more relevant promoted content and product support and improve our product and services. This consent applies to all Apps you have installed or may install that contain Ogury s technology. GDPR by design The data that we collect may include information about your device, location, , application, and browsing usage. The data we collect may be shared I AGREE within our group and with select business partners, including those based outside I the REFUSE European Economic Area.

26 THE MOST POWERFUL DATA SET IN THE INDUSTRY Once a user opts in, we can listen to signals and translate them into deterministic data, including Every installed app Usage of these apps Every website browsed

27 WE ARE CREATING OUR OWN DATA! PUBLISHER S DATA Ogury never uses or exploits Publishers in-app usage data. OGURY DATA Ogury generates its own data. Ogury is the only company able to translate raw signals from mobile devices into meaningful and useful data.

28

29 Ogury For Marketers Assurer la disponibilité des users live Performance de la délivrance Collecter les signaux faibles Renforcer la compliance

30

31 Technique Stockage des users live dans des clusters Couchbase NoSQL de type Clé / Valeur Version obsolète Backup / Restore Mono AZ Managé par les DevOps Nodes fail over Manual scaling Tuning Sécurité

32

33

34

35

36

37

38

39

40

41

42 Bénéfices Migration performante et transparente Suppression de la dette technique Backup / Restore MultiAZ Managé par AWS Sécurisé

43

44 GLOBAL MOBILE DATA COMPANY

45 Graphes Requêtes sur données connectées

46 Graphe social Avec qui je me connecte? AMI

47 Fermer les triangles Bill AMI Sarah

48 Fermer les triangles Bill AMI AMI Terry Sarah

49 Fermer les triangles Bill AMI AMI Terry Sarah

50 Fermer les triangles Bill AMI AMI Terry AMI Sarah

51 Amazon Neptune: Une base en graphes rapide et fiable Optimisé pour stocker et requêter des données hautement connectées

52 Neptune cas d usage Réseaux sociaux Recommandations Réseaux connaissances Détection fraudes Science de la vie Réseau & IT operations

53 Neptune Exemple de graphe Knows name: marko age:29 Person Likes name: France lang:francais Team Likes name: josh age:32 Person Knows Likes Likes Person Person Team name: vadas age:27 name: peter age:35 name: brazil lang:portugues

54 Neptune - Requête sur les personnes

55 Neptune - autre exemple: recommandation de nouveaux amis g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr)

56 Trouver Terry g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr)

57 Trouver les amis de Terry Créer une collection g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr) Ignorer le point départ

58 Et les amis des amis g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr)

59 qui ne sont pas Terry et ne sont pas amis avec Terry g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr)

60 On groupe les noeuds esseulés par nom g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr) Emets la valeur( name ) et compte

61 Ordonner par le plus grand nombre de connections g.v().has('name','terry').as('user'). both('friend').aggregate('friends'). both('friend'). where(neq('user')).where(without('friends')). groupcount().by('name'). order(local).by(values, decr)

62 Résultats [Henry:3, Emily:2, Colin:2, Kate:1, Sarah:1, Chloe:1]

63 Synthèse Choisissez votre base en fonction de votre modèle de données, des patterns de requêtes et de la performance et disponibilité. DynamoDB Neptune Description Déploiement Modèle de données APIs Modèle de requêtes Ordre de la "Serverless" Clé/Valeur CLI, AWS SDKs Orienté milliseconde en lecture et écriture aggréagation: trouver des à n importe quelle échelle éléments dans une hiérarchie (clé composite) Stocke et requête des millions de relations en quelques millisecondes Basé sur des instances avec auto-scaling sur le stockage 2 modèles: sans schema graphe ou triples RDF Gremlin et SPARQL 1.1 avec des clients dans le langage choisi Traversée de graphe et recherche de patterns en graphe

64

65

66 #AWSSummit