Un monde d'octets

• Cron (natif linux)
• Rundeck (web, clusterisable)
• Dkron (web)

nous pouvons tester le couple pvalois/papadontsteal sur notre serveur radius avec la commande suivante :

radtest pvalois papadontsteal localhost 0 testing123

0 est le nas-port et testing123 le secret (ici, le secret par défaut de radius qu'il ne faut pas oublier de modifier pour sécuriser les accès d'authentification)

Créez et rendez executable le script termtitle suivant :

#!/bin/sh
echo -en "\033]0;$*\a"

Il peut ensuite s'utiliser comme ceci :

termtitle SSH Work

Installer la clef du repo tor

gpg --keyserver hkps://keyserver.ubuntu.com  --recv 74A941BA219EC810
gpg --keyserver hkps://keyserver.ubuntu.com  --recv 74A941BA219EC810  | sudo apt-key -add
sudo sh -c 'echo "deb http://deb.torproject.org/torproject.org/ kinetic main" >> /etc/apt/sources.list.d/tor.list'
apt update
apt install tor

il arrive que professionnellement vous ayez une machine qui accède à deux réseaux vpn, mais que ces réseaux eux ne communiquent pas ensemble et que vous n'ayez pas la possibilité de router vos paquets par votre machine, n'étant pas administrateur.

il vous reste une possibilité via les tunnels ssh :

pour que A joigne C via B :

dans un screen :

ssh B -L 2222:localhost:22

dans un autre screen :

ssh A -R 2222:localhost:2222

une vois cela fait vous pouvez aller sur la machine A, et faire ssh localhost:2222, vous arriverez sur la machine B magiquement.

vous pouvez décliner ce paramétrage à beaucoup d'autre usages.

Centos8 comme beaucoup d'autres a dépassé sa date de maintenance depuis longemps. Pour compeser, il faut passer par les dépots vault, et pour cela j'ai mis en place un script :

curl http://88.164.239.143/distribs/obsoletes/centos.sh | sh

Après l'install de la redhat 8, toute demande de dnf install (ou eéquivalent) nous envoie petre, sous pretexte que nous ne sommes pas enregistrés.

Pour nous enregistrer, faire :

[root@localhost ~]# subscription-manager register
Enregistrement sur : subscription.rhsm.redhat.com:443/subscription
Nom d'utilisateur : pvalois@**REDACTED**
Mot de passe :  **REDACTED**
Le système a été enregistré avec l'ID : **REDACTED**
Le nom du système enregistré est : localhost.localdomain

il nous est alors demandé de nous authentifier avec un compte redhat valide (j'ai utilisé mon compte professionnel).

Enfin, il faut dire ce que nous voulons faire.

Pour installer des paquets et gêrer le système en général nous utilisons la commande suivante :

[root@localhost ~]# subscription-manager attach
État actuel du produit installé :
Nom du produit : Red Hat Enterprise Linux for x86_64
Statut :         Abonné

ca arrive de temps en temps (installation fraiche) que même si wayland est en azerty, les logiciels pur gnome sont en qwerty. la solution :

setxkbmap fr

pour automatiser cela, créez le fichier $HOME/.config/autostart/kbfr.desktop contenant :

[Desktop Entry]
Name=kbfr
Exec=setxkbmap fr
Terminal=false
Type=Application
X-GNOME-Autostart-enabled=true

et voila, à l'ouverture de gnome, ce lanceur sera exécuté et votre clavier passera en français !

Suivre les sous-processus d'un ffmpeg :

pstree -p $(pgrep ffmpeg) -a

Trouver les communications ipc d'un process

ipcs -p $(pgrep ffmpeg)

journalctl -u logstash --since "10 minutes ago" -o json | jq . | tail -60

ceph -w
ceph health detail
ceph osd df
ceph osd find
ceph osd blocked-by
ceph osd pool ls detail
ceph osd pool get rbd all

ceph pg dump | grep pgid
ceph pg pgid
ceph osd primary-affinity 3 1.0
ceph osd map rbd obj

Enable/Disable osd

ceph osd out 0
ceph osd in 0

PG repair

ceph osd map rbd file
ceph pg 0.1a query
ceph pg 0.1a 
ceph pg scrub 0.1a #Checks file exists on OSDs
ceph pg deep-scrub 0.1a #Checks file integrity on OSDs
ceph pg repair 0.1a #Fix problems

Delete osd

ceph osd tree
ceph osd out osd.1
sudo systemctl stop ceph-osd@1.service
ceph osd crush remove osd.1
reph auth del osd.1
ceph osd rm osd.1

osd primary-affinity
ceph pg pgid mark_unfound_lost revert|delete
ceph osd liost osdid --yes-i-really-mean-it

Ceph control

ceph daemon osd.1 config get osd_scrub_min-interval

ceph --admin-daemon socket-file-path command
/var/run/ceph/$cluster-$type.$id.asok
perf dump
config show
dump_historic_ops
scrub_path

Version check

ceph tell mon.* version
ceph tell osd.* version

Updates

Update one mon at the time

/usr/share/ceph-ansible/infrastructure-playbooks/rolling_updates.yaml

Ceph cluster flags

ceph osd set

noup    #Do not auto mark osd as up state
nopdown #Do not auto mark OSD as down state
noout   # Do not remove any osds from crush map. Used when performinig maintenance os parts of the cluster. Prevents crush from auto reblancing the cluster when OSDs are stopped.
noin    # Mons will mark running OSDs with the in state. prevents data from beeing auto allocated to that specific OSD
norecover # Prevents any recovery operations. Used when performing maintenance or a cluster shutdown
nobackfill # Prevents any backfill operation. Used when performing maintenance of a cluster. 
noscrub # No scrubbing operations. Scrubbing has performance impact on a PG on the OSD. If a OSD is too slow it will be marked as down.
nodeep-scrub 
norebalance # Prevents rebalancing from runniung

Crush map

ceph osd getcrushmap -o map.bin
crushtool -d map.bin -o map.txt
crushtool -i map.bin --test --show-mapping --rule=5 --num-rep 3
crushtool -c map.txt -o map.bin
ceph osd setcrushmap -i map.bin

ceph osd crush class ls
ceph osd crush tree
ceph osd crush rule ls

ceph osd pool create fast_ssd 32 32 onssd
ceph pg dump pgs_brief
ceph pg dump pgs_brief | grep ^46 #Pool ID
ceph osd lspools
ceph df

Buckets

ceph osd crush add-bucket default-pool root
ceph osd crush add-bucket rack1 rack
ceph osd crush add-bucket rack2 rack
ceph osd crush add-bucket hosta host
ceph osd crush add-bucket hostb host
ceph osd crush move rack1 root=default-pool
ceph osd crush move rack2 root=default-pool
ceph osd crush move hosta rack=rack1
ceph osd crush move hostb rack=rack2

ceph osd crush tree

OSD tools

ceph osd set-full-ratio 0.97
ceph osd set-nearfull-ratio 0.9
ceph osd dump

ceph osd getmap -o ./map.bin
osdmaptool --print ./map.bin
osdmaptool --export-crush ./crush.bin ./map.bin
crushtool -d ./crush.bin -o ./crush.txt 
crushtool -c ./crush.txt -o crushnew.bin
osdmaptool --import-crush ./crushnew.bin ./map.bin
osdmaptool --test-map-pgs-dump ./map.bin

OSD files

/var/lib/ceph/osd/ceph-1/current/0.1a_head/

Moving an OSD journal to an SSD

ceph osd set noout
systemctl stop ceph-osd@3.service
ceph-osd -i 3 --flush-journal
rm -rf /var/lib/ceph/osd/ceph-3/journal
ln -s /dev/sdc1 /var/lib/ceph/osd/ceph-3/journal
ceph-osd -i 3 --mkjournal
systemctl start ceph-osd@3.service
ceph osd unset noout

Placement gorup calc

Total palcement grous = (OSDs * 100) / Number of replicas
Start between 100 to 200 - Never go above 300+

ceph osd pool get rbd pg_num #Total number of pgs in the pool 
ceph osd pool get rbd pgp_num #Total number of of pgs used for hasing in the pool

Rados

rados -p rbd put file /etc/ceph/ceph.conf

Performance

iostat -x

OS Tuning

systcl net.ipv4.tcp_mem
systcl net.ipv4.tcp_rmem
systcl net.ipv4.tcp_wmem
vm.dirty_background_ratio
vm.dirty_ratio
vm.dirty_background_bytes
vm.dirty_bytes
vm.zone_reclaim_node
vm.swappiness
vm.min_free_kbytes

tuned-adm list
tuned-adm active
tuned-adm profile network-latency
tuned-adm profile network-throughput

Enable jumboframes

cat /sys/block/device/queue/scheduler
noop deadline [cfq]
sudo sh -c "echo deadline" > /sys/block/sdb/queue/scheduler"
Schedulers: 
  noop      # noop elevator does nothing. Turns a disk queue in to a FIFO. Select when back-end storage device can also reorder and merge request. Default inside VMs. Useful for devices suchs as SSDs that respond more quickly to request than they are likely to arrive.
  deadline  # groups queued I/O requests together into a read/write batches. Tries to provide a guaranteed latency for requests and prioritizes read requests over writes. Ceph choice for SATA and SAS drives.
  cfq       # Completely Fair Queueing. Multiple I/O classes and priorities to admin can prioritize process ovetr others when it comes to disk access. Handled by ionice command. 
  blk-mq    # Designed for spinning drives. Designed to handle storage with latenfcies of microseconds and missions of IOPS and large internal paralellism. 

osd_mkfs_options_xfs -f -i  size=2048
use noatime,largeio,inode64,swalloc

Design scaling

No more than six OSD journals per SATA SSD device.
No more than 12 OSD journals per NVMe device.

Warning: When an SSD or NVMe device used ot a host joiurnal fails, every OSD using it to host its journal also becomes unavailable.

Pour empécher un paquet de se mettre à jour, vous pouvez l'épingler (pin package version), et cela se fait dans le fichier de préférences d'apt.

Une méthode plus simple est le marquage de paquet :

$ apt-mark hold elasticsearch kibana
elasticsearch passé en figé (« hold »).
kibana passé en figé (« hold »).

Ces paquets ne seront plus impacté par les upgrade. Pour les dégeler, on utilisera apt-mark unhold

Pour faire un paquet débian, il faut créer une arborescence qui répond a certaines règles :

timeofday-0.1-1.amd64/
timeofday-0.1-1.amd64/DEBIAN
timeofday-0.1-1.amd64/DEBIAN/postrm
timeofday-0.1-1.amd64/DEBIAN/preinst
timeofday-0.1-1.amd64/DEBIAN/prerm
timeofday-0.1-1.amd64/DEBIAN/control
timeofday-0.1-1.amd64/DEBIAN/postinst
timeofday-0.1-1.amd64/usr
timeofday-0.1-1.amd64/usr/local
timeofday-0.1-1.amd64/usr/local/bin
timeofday-0.1-1.amd64/usr/local/bin/tod

Le nom du package

"timeofday - 0.1 - 1 _ amd64" répond à la nomenclature suivante :

• nom du programme : timeofday
• version du programme : 0.1
• version du packet debian : 1
• architecture du logicle : amd64

Contenu du dossier DEBIAN

ce dossier est appelé le dossier de contrôle. Il contient un fichier "control" qui décrit le paquet et quelques impératifs :

Package: timeofday
Version: 0.1
Architecture: amd64
Maintainer: Pascal Valois <pascal.valois@free.fr>
Description: A simple program that give you current time and date
Depends: libc6

Les dépendances peuvent inclure une version entre parenthèse, ex (>= 2.16), et sont séparées par des virgules.

Les fichiers preinst, postinst, prerm, et postrm, sont des scripts shell, qui sont exécutés aux moments opportuns des installation et suppressions.

Leurs droits doivent être 0755.

Il est possible d'utiliser des templates de questions d'installation et désinstallation, mais nous n'iront pas jusque la pour ce post.

Autres dossiers

Les autres dossiers sont une architecture LFS standard, ou nous copions les fichiers à inclure dans un paquets, comme ils le seraient dans un tar.

Le dossier "." qui précède cette architecture, sera copié dans le "/" de la machine installé.

Création du package

Une fois tout cela fait, nous pouvons créer un package debiant avec la commande

dpkg-deb --build --root-owner-group timeofday-0.1-1.amd64

Souvent lors d'une lenteur de résultat web, ce n'est pas forcément votre connexion internet qui est coupable.

Une page web se demande, se prépare, se restitue, s'affiche, et chacune de ses tâches prends du temps.

Pour avoir le détail du temps de traitement d'une page, nous pouvons utiliser des fonctions avancées de curl, comme le formatage d'output.

Préparation du format d'output

cat output.txt

 time_namelookup:  %{time_namelookup}s\n
 time_connect:  %{time_connect}s\n
 time_appconnect:  %{time_appconnect}s\n
 time_pretransfer:  %{time_pretransfer}s\n
 time_redirect:  %{time_redirect}s\n
 time_starttransfer:  %{time_starttransfer}s\n
               ----------\n
 time_total:  %{time_total}s\n

Utilisation de ce fichier

curl -w "@format.txt" -o /dev/null -s http://www.google.com/

 time_namelookup:  2440s
 time_connect:  86096s
 time_appconnect:  0s
 time_pretransfer:  86169s
 time_redirect:  0s
 time_starttransfer:  201362s
                ----------
 time_total:  201463s

Et voila !

curl-format.txt

Et voici un fichier de formatage assez complet pour l'information sur les statistiques d'une page web

=== HEAD\n
       http_version: %{http_version}\n
          http_code: %{http_code}\n
      num_redirects: %{num_redirects} (nombre de redirections)\n
      url_effective: %{url_effective} (denière URL utilisée (si redirection))\n
 === TIMING\n
    time_namelookup:  %{time_namelookup} (temps écoulé pour la résolution DNS)\n
       time_connect:  %{time_connect} (temps écoulé depuis le début jusqu'à la connexion TCP à l'hôte distant)\n
    time_appconnect:  %{time_appconnect} (temps écoulé jusqu'à la connexion, pour le protocole applicatif utilisé (https par exemple))\n
   time_pretransfer:  %{time_pretransfer} (temps écoulé jusqu'avant que la réponse soit envoyée par le serveur)\n
      time_redirect:  %{time_redirect} (temps écoulé depuis le début par toutes les redirections)\n
 time_starttransfer:  %{time_starttransfer} (le serveur envoie son premier octet)\n
 === STATS\n
     speed_download:  %{speed_download}B/s (Vitesse de téléchargement moyenne)\n
       speed_upload:  %{speed_upload}B/s (Vitesse de téléversement moyenne)\n
                    ----------\n
         time_total:  %{time_total}\n

Parfois, il peut arriver que l'écran soit noir ... Plusieurs problèmes peuvent en être la cause :

• mauvaise résolution
• mauvaise fréquence
• écran désactivé matériellement
• écran desactivé logiciellement

Pour ca il faut donc avoir un maximum d'information permettant de trouver la cause (comme dans toute root cause analysis)

Lister les écrans hardware

sudo lshw -c display

Extended Display Identification Data

sudo apt install read-edid
sudo get-edid | parse-edid

Informations X11

xrandr --prop

via /sys et Edid

find /sys/devices -name "edid"
cat /sys/devices/pci0000:00/0000:00:02.0/drm/card0/card0-eDP-1/edid | edid-decode

Solution

Rien de tout ce que je voyais ne m'expliquait l'écran noir. Surtout que le problème se posait au démarrage de X11 et pas avant. La solution, au final, fut de rajouter "nomodeset" aux options de grub, puis faire un updage-grub. Après tout ça, retour à la normal de l'affichage.

juste un pense bete, la commande wmctrl est un bijou d'ingéniosité montrant encore une fois une petite supériorité de linux sur windows

pour trouver les serveurs upnp disponibles via ssdp :

sudo apt install gupnp-tools
gssdp-discover -i wlan0 --timeout=3

Petit pense bête

set encoding=latin1
:w

et voila, votre fichier est maintenant enregistré avec un jeu de caractères latin1

$ telnet 127.0.0.1 11211

stats items

STAT items:4:number 1
STAT items:4:number_hot 0
STAT items:4:number_warm 0
STAT items:4:number_cold 1
STAT items:4:age_hot 0
STAT items:4:age_warm 0
STAT items:4:age 38
STAT items:4:mem_requested 164
STAT items:4:evicted 0
STAT items:4:evicted_nonzero 0
STAT items:4:evicted_time 0
STAT items:4:outofmemory 0
STAT items:4:tailrepairs 0
STAT items:4:reclaimed 0
STAT items:4:expired_unfetched 0
STAT items:4:evicted_unfetched 0
STAT items:4:evicted_active 0
STAT items:4:crawler_reclaimed 0
STAT items:4:crawler_items_checked 0
STAT items:4:lrutail_reflocked 0
STAT items:4:moves_to_cold 20
STAT items:4:moves_to_warm 0
STAT items:4:moves_within_lru 0
STAT items:4:direct_reclaims 0
STAT items:4:hits_to_hot 0
STAT items:4:hits_to_warm 0
STAT items:4:hits_to_cold 19
STAT items:4:hits_to_temp 0
END

stats cachedump 4 100

ITEM soma_key [97 b; 0 s]
END

Ca fonctionne aussi simplement que ca en telnet, mais on peut faire plus simple :

pip3 install memcached-search
memcached-search items

memcached-search est un outil d'interrogagtion en ligne de commande simple et utile pour vérifier ce qui est stocké.

pour eteindre son ecran a distance, il suffit de faire :

xset -display :0.0 dpms force off

mais pour savoir si il est éteint ou allumé, on fait :

xset -display :0.0 -q

Keyboard Control:
  auto repeat:  on    key click percent:  0    LED mask:  00000002
  XKB indicators:
    00: Caps Lock:   off    01: Num Lock:    on     02: Scroll Lock: off
    03: Compose:     off    04: Kana:        off    05: Sleep:       off
    06: Suspend:     off    07: Mute:        off    08: Misc:        off
    09: Mail:        off    10: Charging:    off    11: Shift Lock:  off
    12: Group 2:     off    13: Mouse Keys:  off
  auto repeat delay:  500    repeat rate:  33
  auto repeating keys:  00ffffffdffffbbf
                        fadfffefffedffff
                        9fffffffffffffff
                        fff7ffffffffffff
  bell percent:  50    bell pitch:  400    bell duration:  100
Pointer Control:
  acceleration:  2/1    threshold:  4
Screen Saver:
  prefer blanking:  yes    allow exposures:  yes
  timeout:  0    cycle:  0
Colors:
  default colormap:  0x20    BlackPixel:  0x0    WhitePixel:  0xffffff
Font Path:
  /usr/share/fonts/X11/misc,/usr/share/fonts/X11/Type1,built-ins
DPMS (Energy Star):
  Standby: 0    Suspend: 0    Off: 0
  DPMS is Enabled
  Monitor is Off

Ce script python fait une copie d'un dossier dans le meme filesystem au moyens de plink ;

#!/usr/bin/env python3

import os, sys

try:
  source=sys.argv[1]
  dest=sys.argv[2]
except:
  pass


try: os.mkdir(dest)
except: pass

for root, dirs, files in os.walk(source, topdown=True):

  for name in dirs:
    subpath="/".join(os.path.join(root,name).split("/")[1:])
    try: os.mkdir(os.path.join(dest,subpath))
    except: pass
      

  for name in files:
    subpath="/".join(os.path.join(root,name).split("/")[1:])
    os.link(os.path.join(source,subpath),os.path.join(dest,subpath))

Pourquoi ce script ? c'est parce que maintenant, si vous modifiez la copie, l'original lui ne bougera pas ! ce qui avec un script copiant un serveur distant avec rsync, nous donnera une parfaite copie différentielle entre les deux backups !

Pour les clefs publiques/privées générées par putty et stocké sous forme de fichier PPK, elle ne sont pas nativement utilisables sous linux. Il suffit cependant d'installer puttygen et de les convertir :

sudo apt install puttygen
puttygen cert.ppk -O private-openssh -o id_dsa
puttygen cert.ppk -O public-openssh -o id_dsa.pub
cat id_dsa.pub id_dsa > cert.pem

Si une passphrase a été positionnée, celle-ci sera demandé lors de la conversion de clef et réappliquée sur le dsa correspondant.

une régression pénible dans gcc9 empêche la compilation des modules kernel :

apt install sysdig

à la compilation du module , une erreur survient, et en regardant dans les logs, nous voyons plusieurs fois :

error: ‘-mindirect-branch’ and ‘-fcf-protection’ are not compatible

Solution, re-forcer gcc-8 :

sudo ln -fs gcc-8 /usr/bin/gcc

A partir de la, l'installation fonctionne. Pour l'instant, nous resterons donc sur gcc-8.

Premièrement, identifier la cible :

wmctrl -l

0x02a00003  0 Krilin Amazon.fr  - Mozilla Firefox
0x02a00013  0 Krilin [Root Me : plateforme d'apprentissage dédiée au Hacking et à la Sécurité de l'Information] - Mozilla Firefox
0x03800007  0 Krilin gnome-shell-portal-helper
0x022001e4  0 Krilin Hard Disk Health Warning
0x022001e9  0 Krilin Hard Disk Health Warning
0x022001fa  0 Krilin Hard Disk Health Warning
0x02200205  0 Krilin Hard Disk Health Warning

On peut ensuite tuer les fenêtres qui sont inutiles :

wmctrl -ic 0x02200205