Un monde d'octets

Sysdig est un outil de diagnostique système très intéressant, dont le but premier et le suivi des appels systèmes. Mais sa force vient de ses options et modules de diagnostiques qui en font un outil de monitoring et d'analyse très intéressant,

Installation

apt install sysdig

Suivi des appels systèmes

sysdig

(on a l'impression de voire une sorte de strace de l'ensemble des process en cours ...)

Statistiques des usages de net

Par process : sysdig -c topprocs_net
Par sockets : sysdig -c topconns

Lister les "ciseaux" disponibles

sysdig -cl

Avoir des informations sur un ciseau

sysdig -i "ciseau"

un vieux classique que je n'avais pas utilisé depuis longtemps :

xwininfo -tree -root

A partir de la, vous avez une liste des fenêtres ouvertes et leurs propriétés. Cela peut permettre de savoir quel process tourne (via le nom de la fenêtre) ou d'avoir un identifiant pour la tuer avec :

xkill -id {ressource}

Pour éditer les entrées de boot et ajouter/supprimer/modifier :

efibootmgr

Tout cela demandera beaucoup d'essai pour voir ce qui est faisable ou pas et surtout ... comment

Suivre les appels systèmes de la commande ls

strace ls

Limiter au accès fichiers de type open

strace -f -e open ls 2>&1

Nettoyer un peu l'affichage

strace -f -e open ls 2>&1 | grep ^open\( | grep “[[:digit:]]\+$” | cut -d\” -f2

Bien sur sur "ls" c'est "théorique".

Remplacez ls par votre commande pour voir ce qui se passe, ou mieux, par "-p pid" pour voir ce que fricote un process en cours d'exécution.

Limiter (ou étendre) l'usage des traceurs système.

le fichier "/proc/sys/kernel/yama/ptrace_scope" contient un simple octet dont la signification est la suivante :

• kernel.yama.ptrace_scope = 0: all processes can be debugged, as long as they have same uid. This is the classical way of how ptracing worked.
• kernel.yama.ptrace_scope = 1: only a parent process can be debugged.
• kernel.yama.ptrace_scope = 2: Only admin can use ptrace, as it required CAP_SYS_PTRACE capability.
• kernel.yama.ptrace_scope = 3: No processes may be traced with ptrace. Once set, a reboot is needed to enable ptracing again.

Pour permettre à vos utilisateurs de tracer leurs propres process, vous pouvez donc faire :

echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope

Pour qu'un driver soit "dkmsisé" il faut faire ceci :

Creation d'un fichier DKSM.conf

Nous allons prendre l'exemple du driver rtl8821cu-541.

Copier le driver dans /usr/src/{DRV_NAME}-{DRV_VERSION}, ici : /usr/src/rtl8821CU-5.4.1

Création d'un fichier dkms.conf dans l'arborescence du driver, contenant :

PACKAGE_NAME="@PKGBASE@"
PACKAGE_VERSION="@PKGVER@"
BUILT_MODULE_NAME="8821cu"
PROCS_NUM=$(nproc)
[ $PROCS_NUM -gt 16 ] && PROCS_NUM=16
MAKE="'make' -j$PROCS_NUM KVER=${kernelver} 
KSRC=/lib/modules/${kernelver}/build"
CLEAN="'make' clean"
DEST_MODULE_LOCATION="/kernel/drivers/net/wireless"
AUTOINSTALL="yes"
REMAKE_INITRD=no 

Notez le module_name qui sera le nom du module installé dans votre système.

Ajout du driver, build et installation

sudo dkms add -m {DRV_NAME} -v {DRV_VERSION}
sudo dkms build -m {DRV_NAME} -v {DRV_VERSION}
sudo dkms install -m {DRV_NAME} -v {DRV_VERSION} --force

Suppression du driver

sudo dkms remove {DRV_NAME}/{DRV_VERSION} --all

Lister les drivers dkms-isés

dkms status

NB : une doc bien plus complète existe sur Lea-Linux

Prérequris

Installer les dépendances nécessaires à la compilation de ffmpeg et récupérer le source

apt-get build-dep ffmpeg
apt-get source ffmpeg

apt install yasm
apt -y install build-essential autoconf automake cmake libtool git checkinstall nasm yasm libass-dev libfreetype6-dev libsdl2-dev libtool libva-dev libvdpau-dev libvorbis-dev libxcb1-dev libxcb-shm0-dev libxcb-xfixes0-dev pkg-config texinfo wget zlib1g-dev libchromaprint-dev frei0r-plugins-dev gnutls-dev ladspa-sdk libcaca-dev libcdio-paranoia-dev libcodec2-dev libfontconfig1-dev libfreetype6-dev libfribidi-dev libgme-dev libgsm1-dev libjack-dev libmodplug-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libopenjp2-7-dev libopenmpt-dev libopus-dev libpulse-dev librsvg2-dev librubberband-dev librtmp-dev libshine-dev libsmbclient-dev libsnappy-dev libsoxr-dev libspeex-dev libssh-dev libtesseract-dev libtheora-dev libtwolame-dev libv4l-dev libvo-amrwbenc-dev libvorbis-dev libvpx-dev libwavpack-dev libwebp-dev libx264-dev libx265-dev libxvidcore-dev libxml2-dev libzmq3-dev libzvbi-dev liblilv-dev libmysofa-dev libopenal-dev opencl-dev libbluray-dev libfdk-aac-dev libbs2b-dev

SDK Nvidia

Downloader le sdk de nvidia a l'url https://developer.nvidia.com/nvidia-video-codec-sdk

unzip nvenc_5.0.1_sdk.zip
cd nvenc_5.0.1_sdk/Samples/common/inc
cp *.h /usr/local/include

Compiler ffmpeg

cd ~/ffmpeg

./configure --prefix=/opt/ffmpegnv --extra-version=1build1 --build-suffix=-ffmpegnv --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --enable-gpl --enable-shared --disable-stripping --enable-avresample --enable-avisynth --enable-frei0r --enable-gnutls --enable-ladspa --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libmodplug --enable-libmp3lame --enable-libopenjpeg --enable-openal --enable-libopus --enable-libpulse --enable-librtmp --enable-libshine --enable-libspeex --enable-libtheora --enable-libtwolame --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libxvid --enable-libzvbi --enable-opengl --enable-libzmq --enable-libssh --enable-libsoxr --enable-libx264 --enable-libx265 --enable-nonfree --enable-nvenc

make
make install

Vous pouvez maintenant utiliser ffmpeg avec nvenc comme suit :

/opt/ffmpegnv/bin/ffmpeg -i source -vcodec nvenc_h264 -b:v 2000k destination.mkv
/opt/ffmpegnv/bin/ffmpeg -i source -vcodec nvenc_hevc -b:v 2000k destination.mkv

Vous pouvez même enregistrer votre bureau :

/opt/ffmpegnv/bin/ffmpeg -video_size 1920x1080 -framerate 15 -f x11grab -i :0.0+0,0 -vcodec nvenc_hevc -b:v 10000k screen_record.mp4

Le binaire résultant ne peut être packagé sans enfreindre la licence nvidia. Vous pouvez cependant l'utiliser librement sur votre ordinateur, la licence le permet.

Complément

Votre kernel doit disposer du module nvidia, et les librairies Cuda doivent être installées dans le même numéro de version que le driver kernel (nvidia-352 à la date de ce post)

apt-get install nvidia-352 libcuda1-352

Votre carte NVidia doit supporter Cuda ET NvEnc. De plus, le codage HEVC hardware n'est disponible que sur les cartes NVidia de génération Maxwell II (GM2XX).

oublie de la première ligne :

awk 'NR<2{print $0;next}{print $0| "sort"}'

ainsi nous affichons l'entête du fichier et trions les lignes suivantes !

NR<3 conservera deux lignes d'entête, NR<4 conservera 3 lignes, ...

Que contient le package

rpm -qlp /path/to/file.rpm

Que fourni le package installé ?

rpm -ql package
dnf repoquery -q -l package
dpkg -L package
equery files package
qlist package

Qui fournit le binaire ?

rpm -qf /bin/ps
yum whatprovides /bin/ps
dnf provides /bin/ps
dpkg -S /bin/ps
zypper what-provides /bin/ps

Pour note :

rpm, yum dnf : redhat, centos et dérivées
dpkg : debian
query, qlist : gentoo
zypper : opensuse

S vous avez foutu le bordel dans une configuration de groupe LVM2 ou détruit accidentellement un volume group sour linux, vous pouvez le restorer rapidement en faisant ;

vgcfgrestore vol_name -f /etc/lvm/archive/your-name.vg

Regardez dans /etc/lvm/{backup,archive} pour plus d'info. Et comme toujours, n'oubliez pas les sauvegardes...

Quand vous voulez des machines virtuelles pour faire des tests, passer par toutes les fenêtres de configuration de votre vm est une plaie.

En une ligne de commande (ou un script que vous modifiez à loisir :

virt-install \
--virt-type=qemu \
--name=coro2 \
--ram=1024 \
--vcpus=1 \
--os-variant=generic \
--virt-type=qemu \
--hvm \
--cdrom=/opt/iso/ubuntu-16.04.3-server-amd64.iso \
--network=bridge=br0,model=virtio \
--graphics vnc \
--disk path=/var/lib/libvirt/images/coro2.qcow2,size=10,bus=virtio,format=qcow2

Nous regarderons aussi comment faire ca avec vagrant pour notre culture !

Pour du NAT 1:1, il faut utilsier -J NETMAP

iptables -t nat -A PREROUTING -d 10.11.0.0/16 -j NETMAP --to 192.168.0.0/16
iptables -t nat -A POSTROUTING -s 192.168.0.0/16 -j NETMAP --to 10.11.0.0/16

InetDoc

Mnemotechnique bete :

tail -f /var/log/hapee-1.5/lb-access-20180601.log | grep /Basic| sed 's,\(.*{[^{]*\)/Basic \([^}]*\)\(}.*\),\1£\2£\3,' | awk -v FS='£' '{system("echo " $2 "| base64 -d"); printf "\n";} '

Ubuntu 18.04, nouveau kernel, et zou, a la poubelle les drivers Realtek ...

Pour réinstaller :

git clone -b extended --single-branch https://github.com/lwfinger/rtlwifi_new.git
cd rtlwifi_new
make
make install

A l'installation du driver, si votre wifi est faible, sélectionnez une autre antenne. Pour cela, exécutez la commande suivante, puis rebootez :

/bin/sh -c 'echo "options rtl8723de ant_sel=2" >> /etc/modprobe.d/rtl8723de.conf'

Une fois rebooté vous pouvez admirer le résultat, soit avec l'indicateur dans la barre de tache, soit avec la commande :

nmcli device wifi list

Openvpn identifie sans problème ce qui est a destination de lui et peut forwarder le reste des flux a un sous systeme (apache par exemple). Pour cela, paramètres votre apache pour que les connexion ssl soient sur un autre port :

#Listen 443
Listen 4343

Puis modifiez votre configuration vpn comme suit :

port 443
port-share 127.0.0.1 4343
proto tcp

Et voila, votre openvpn tourne sur un port banalisé que les fournisseurs d'accès internet ne filtrent généralement pas !

mode server
local 0.0.0.0
port 1194
dev tap
proto tcp

ca /etc/openvpn/server/ca.crt
cert /etc/openvpn/server/server.crt
key /etc/openvpn/server/server.key
dh /etc/openvpn/server/dh2048.pem

# Ip de l'interface tap pour le routage de sortie
ifconfig 192.168.30.1 255.255.255.0
server-bridge 192.168.30.1 255.255.255.0 192.168.30.100 192.168.30.200

# Config par client (un fichier par cn de certificat)
client-config-dir /etc/openvpn/client

cipher AES-256-CBC
comp-lzo
persist-key
persist-tun
keepalive 10 180
down-pre
max-clients 10
log-append /var/log/openvpn.log
verb 4

plugin /usr/lib/x86_64-linux-gnu/openvpn/plugins/openvpn-plugin-auth-pam.so login

Exemple de configuration a passer pour un client :

client
dev tap
remote vpn.mon-domaine.tld. 1194 udp
route remote_host 255.255.255.255 net_gateway

resolv-retry infinite
nobind
route-delay 4
verb 3
comp-lzo

<ca>
-BEGIN CERTIFICATE-
...
-END CERTIFICATE-
</ca>

<cert>
-BEGIN CERTIFICATE-
...
-END CERTIFICATE-
</cert>

<key>
-BEGIN PRIVATE KEY-
...
-END PRIVATE KEY-
</key>

Exemple de configuration de client : /etc/openvpn/client/bob@domain.com

ifconfig-push 192.168.90.9 192.168.90.1
push "route 172.18.0.0 255.255.0.0"
push "route 192.168.1.0 255.255.255.0"
push "route 192.168.2.0 255.255.255.0"

Le fait de fixer l'ip du client avec la configuration par client permet ensuite d'affiner ses droits avec iptables, puisque l'ip est connue à l'avance.

sh CP*.scexe --unpack=.

une fois le paquet extrait, vous pouvez charger l'environnement, et lancer la mise à jour de firmware

source CPINIT
./hpsetup

Warning : Doc en cours de rédaction ... les plâtres sont pas secs

sudo kvm -hdb /dev/sdb -boot d -cdrom ubuntu-16.04.4-server-amd64.iso -m 512m

Le -m 512 est imoprtant, sans quoi le "live cd" échouera !

Pour des distribs comme centos, ca peut nécessiter encore plus de mémoire !

Pour cela il faut les ipmitools

Trouver le device ILO

for i in `seq 1 14`; do ipmitool lan print $i 2>/dev/null | grep -q ^Set && echo Channel $i; done

Lire la configuration

ipmitool lan print 2

Configurer une IP statique

ipmitool lan set 2 ipsrc static
ipmitool lan set 2 ipaddr 192.168.42.36
ipmitool lan set 2 netmask 255.255.255.0
ipmitool lan set 2 defgw ipaddr 192.168.42.1
ipmitool mc reset cold

Une autre façon de procéder est d'utiliser hponcfg

Dumper la conf ILO

hponcfg -a -w ilo.xml

Charger une configuration ILO

hponcfg -f ilo.xml

Le fichier xml aura été préalablement modifié

Sous Ubuntu, l'état de la batterie portable est toujours disponible dans la barre des taches ... Mais la barre des taches n'est pas toujours disponible (haha), par exemple via un monitoring distant. Pour contrôler l'état de la batterie, nous pouvons utiliser upower en ligne de commande.

Liste des devices supportés par upower :

upower -e

État d'un device

upower -i <device>

Et maintenant, on combine pour trouver automatiquement les Batteries (BAT) et afficher leurs charge.

upower -i $(upower -e | grep 'BAT') | grep -E "state|to\ full|percentage"

Lvm permet d'augmenter graduellement l'espace alloué à un serveur (virtuel ou physique) par l'ajout de ressources (nouveau disque dur) que nous "fusionnons" avec les disques en activité :

$ lsblk
sdb                         8:16   0   70G  0 disk 

$ mount  | grep "on / "
/dev/mapper/ubuntu--vg-ubuntu--lv on / type ext4 (rw,relatime)

$ pvcreate /dev/sdb
$ vgextend ubuntu-vg /dev/sdb

$ lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
$ resize2fs /dev/mapper/ubuntu--vg-ubuntu--lv 

/dev/sdb est notre disque ajouté et le volume ubuntu-lv est maintenant augmenté de 70go.

Très bien dans un contexte proxmox ous nous créons des templates light que nous augmentons ensuite !

Sous SElinux, il existe trois causes de blocages :

Une permission booleene

setsebool -P named_write_master_zones 1

Une permission de contexte (AVC)

grep named /var/log/audit/audit.log | audit2allow -m named > named.te
checkmodule -M -m -o named.mod named.te
semodule_package -o named.pp -m named.mod
semodule -i named.pp

Une fois un module installé, il l'est définitivement (rien à faire au prochain boot)

Une permission lié a un label

voir du cote de selabel_* et google

Pour connaitre la cause de blocage, un audit2allow est la clef.

Bonus :

Dans un playbook ansible, voici la syntaxe :

seboolean: persistent=yes state=yes name=named_write_master_zones

Dans un cas de spam si votre serveur répond, cette réponse n'aboutiera surement pas pour des raison de serveur smtp indisponible (les spammeurs vont du spam scripté avec des adresse de réponse maudites).

Voici comment empêcher ces réponses : le header_check de postfix :

/^Subject: .*Undeliverable:.*\[SPAM/ DISCARD Reponse a un SPAM

Si votre file d'attente est engorgée avant la mise en place de cette règle, vous pouvez la purge comme suit :

for f in `postqueue -p | grep MAILER-DAEMON | sed 's,*,,' | awk '{print $1}'` ; do postcat -q $f | grep -q "^Subject: .*Undeliverable:.*\[SPAM" && postsuper -d $f ; done

Rien de bien sorcier ici, encode un pense bête : le reformatage de la sortie de postqueue pour sérialiser les entrées et faciliter les grep et sort sans impact négatif

postqueue -p | tr '\n' ';' | sed 's,;;,\n,g;s,; *,;,g'

Ce script que vous appellerez "postqueueflat" peut être utilise conjointement avec awk pour réorganiser les "colonnes" séparées par ";" et tiers ou filtrer le résultat.