Un monde d'octets

Aller au contenu | Aller au menu | Aller à la recherche

vendredi, septembre 17 2021

AWS : controler ses coûts

Votre .aws/config et .aws/credentials dument remplis, vous pouvez connaitre vos couts pour une période avec la commande :

aws ce get-cost-and-usage --metrics UsageQuantity --granularity DAILY --time-period '{"Start":"2021-09-25","End":"2021-09-27"}' 

mais seulement si votre compte aws le permet ;)

mercredi, janvier 20 2021

DevSecOps : more terms and concepts

Suite à une proposition de poste full remote, il m'a été donné un fiche de poste utilisant des termes informatiques de métiers que je ne connaissais pas de prime abord mais dont il me suffisait de lier le terme aux outils fréquents connus :

CSP / Cloud Service Provider

Ce qui m'a débouté ici, c'est l'acronyme CSP, alors qu'il s'agit s'implement d'un acronyme anglais : Cloud Service Provider ...

Quand on parle de CSP Capabilities, c'est donc savoir ce que founit le Cloud Provider comme possibités, niveau de qualité, fonctionnalités (cf : https://www.waferwire.com/blog/how-...)

Datalake

Il s'agit d'un stockage de donnée a structure floue (il peut s'agir de données structurées comme non structurées). Des datalake connus sont Hadoop, Amazon S3, Azure Data Lake (cf https://en.wikipedia.org/wiki/Data_...)

mercredi, juillet 22 2020

Gcloud et Toolbox !

Il n'est pas évident en contexte kubernetisé de faire beaucoup de choses classiques d'audit (tcpdump, nmap ...) car les containers sont généralement des boîtes réduites à l'essentiel.

A ça ajoutons que nous sommes en contexte gloud, et la c'est carrément le node qui tourne sur une distribution réduite. Mais heureusement google nous propose sa toolbox

toolbox

Cette toobox est un container debian qui tourne comme si il était l'hôte maître (chapeau pour l'idée et la réalisation), ce qui vous permet d'installe temporairement ce que vous voulez sans polluer votre noeud. ^ Il vous suffit de faire les classiques "apt get update" et "apt get install" et à vous la puissances d'un dieu ... dans un mouchoir de poche !

jeudi, juillet 9 2020

Création disques persistants google

Création d'un volume

gcloud compute disks create nextcloud-app-static-pv --zone europe-west1-b --size=500Gb 
gcloud compute disks create nextcloud-db-static-pv --zone europe-west1-b --size=10Gb 

Attacher une instance

gcloud compute instances attach-disk  gke-integration-default-pool-ea501286-hpww --disk nextcloud-app-static-pv 

Initialisation du disque

gcloud compute ssh [INSTANCE_NAME]
lsblk
mkfs.ext4 /dev/sdXXXX

jeudi, juillet 2 2020

Gcloud : activer istio sur un cluster

gcloud beta container clusters update CLUSTER_NAME --update-addons=Istio=ENABLED --istio-config=auth=MTLS_PERMISSIVE

Pour qu'istio intercepte le traffic entrant et sortant des pods, il faut injecter sidecar dans les pods, pour cela :

kubectl label namespace NAMESPACE istio-injection=enabled

mardi, janvier 14 2020

AWS Cli

Installation sur linux ou osx :

Aws cli s'installe avec pip (c'est du python, comme un bon nombre d'outils depuis 2015) :

pip3 install awscli

Ensuite nous pouvons entrez nos credentials comme suit :

aws credentials

et enfin voici comment interroger les images aws redhat el8 disponibles :

aws ec2 describe-images --owners 309956199498 --query 'sort_by(Images, &CreationDate)[*].[CreationDate,Name,ImageId]' --filters "Name=name,Values=RHEL-8*" --output table

vendredi, janvier 10 2020

AWS 101

AWS terminology

Dans l'ordre des services créés par amazon, il y'a :

  • S3 = Simple Storage Service
  • SQS = Simple Queue Service
  • EC2 = Elasctic Computer Cloud
AWS = Awazon Web Services

Aws est un IaaS (Infrastructure as a Service) provider. On ne paye que ce que l'on utilise, et amazon gère l'infrastructure.

Dans la liste des services existant, les plus populaires sont :

  • S3 = Simple Storage Service
  • EC2 = Elastic Computer Cloud
  • ELB = Elastic Loard Balancer
  • CloudWatch = App & Insfrastructure monitoring
  • CloudFront = a global CDN
  • RDS = Relational Database Services

Aws a aussi des services orienés ML/AI, VR/AR comme :

  • SageMaker
  • DeepLens
  • Lex
  • Polly
  • Rekognition
  • Sumerian
  • Lambda
I.A.M = Identity and Access Managment
E.C.S = Elastic Cloud Compute

S3 basics

Database Services

Other Services

vendredi, septembre 21 2018

GCP Clustering Kubernetes

Extrait du tutoriel youtube

Voici ce qui fut fait par l'auteur de la video :

Création d'un compte GCP

Si vous avez un compte Google, vous pouvez avoir 300$ de test gratuit pour 1 an

Installation des outils en ligne de commande

Récupérer votre installation sur https://cloud.google.com/sdk/, puis détarrer.
N'exécutez pas le script install.sh, il polluerait votre .bash_profile.
Ajoutez le chemin /path/to/install/bin/ avotre PATH.

Ensuite nous pouvons vérifier les composants installés avec la commande :

gcloud components list

On voit qu'a l'installation nous n'avons pas kubernetes :


│ Not Installed │ kubectl │ kubectl │ < 1 MiB │

gcloud components install kubectl

Puis nous positionnons la compute zone (europe-west2-a dans mon cas)

gcloud config set compute/zone europe-west2-a

Puis nous vérifions dans les API queles composants suivants sont bien actis :

  • Google Container Engine Api (semble ne plus exister, lavideodatant de 2017 ...)
  • Google Container Registry Api

Création d'un cluster

Il faut maintenant nous authentifier pour travailler sur notre instance GCP

gcloud auth login

Puis spécifier notre espace de travail :

gcloud config set project gentle-booking-214421

Vous trouvez votre nom de projet dans votre interface GCP.

Puis créer le cluster

gcloud container clusters create pommeraie

Le cluster se déploie avec les paramètres par défaut. Si nous voulons plus de ram ou autres, il faut le spécifier sur la ligne de commande. Nous pouvons maintenant lister nos noeuds et voir que le cluster a été créé !

kubectl get nodes

NAME                                       STATUS    ROLES     AGE       VERSION
gke-pommeraie-default-pool-84f1569a-1m42   Ready     <none>    1m        v1.9.7-gke.6
gke-pommeraie-default-pool-84f1569a-6p9f   Ready     <none>    1m        v1.9.7-gke.6
gke-pommeraie-default-pool-84f1569a-drn4   Ready     <none>    1m        v1.9.7-gke.6

ET maintenant il ne reste plus qu'a kubernetiser !

Se connecter a un cluster existant

gcloud container clusters get-credentials pommeraie

Nous pouvons ensuite utiliser nos commande kubectl.

dimanche, août 26 2018

Cloud google, 101

Premier contact avec GCP :

Compute engine

C'est ici que nous vréeons de nouvelles vm.

la création est plus que facile. le choix de l'os, le paramétrage de la taille, tout se fait en web. L'import d'une clef ssh crée un compte qui a le meme login que la clef et est sudoer.

un simple ssh login@ip_externe, que nous trouvons dans les info de l'instance, et nous voila connecté prés a faire ce que l'on veut sur notre vm.

Cluster

La création d'un cluster est tout aussi aisée. L'accès au cluster lui ne se fait pas par ssh (à première vue l'interface de google ne laisse pas placer/diffuser de clef ssh dans ce mode de choix "d'instances") mais nous avons accès à un shell web.

Dans le shell nous pouvons exécuter nos commandes kubectl sans problème.

Un kubectl get nodes montre bien les noeuds créés dans le cluster comme actifs ...