OpenVZ kdump

Материал из poiuty wiki
Перейти к: навигация, поиск

Иногда случается, что сервер упал, а в логах пусто. Есть три способа получить хоть какие-то данные.
1. Подключить KVM и посмотреть.
2. Подключить netconsole.
3. Установить kdump.

Будем пробовать третий способ. Отредактируем конфиг репозитория.
Открываем /etc/yum.repos.d/openvz.repo

# You might need to enable debuginfo, if asked by developers
[openvz-kernel-rhel6-debuginfo]
enabled=1

Далее установим пакеты.

yum install -y kexec-tools vzkernel-debug

Проверяем /etc/grub.conf => должно быть у всех ro crashkernel=auto, например

title OpenVZ (2.6.32-042stab079.5.debug)
kernel /vmlinuz-2.6.32-042stab079.5.debug root=/dev/md2  ro crashkernel=auto SYSFONT=latarcyrheb-sun16 LANG=en_US.UTF-8 KEYTABLE=us
root (hd0,0)

Теперь перезагрузим сервер. И проверим => вызовем kernel panic.

echo c > /proc/sysrq-trigger

Далее ждем, сервер сам перезагрузится. Смотрим /var/crash => здесь появится папка, например

127.0.0.1-2013-08-27-09:49:31

В которой вы найдете два файла vmcore и vmcore-dmesg.txt
Оба файла нужно отправить разработчикам ядра. Во втором можно найти лог падения.

<4>[  189.029209] Trigger a crash
<1>[  189.029230] BUG: unable to handle kernel NULL pointer dereference at (null)
<1>[  189.029254] IP: [<ffffffff8134bd76>] sysrq_handle_crash+0x16/0x20
<4>[  189.029277] PGD 7d4b2e067 PUD 7d40a4067 PMD 0 
<4>[  189.029297] Oops: 0002 [#1] SMP 
<4>[  189.029312] last sysfs file: /sys/devices/virtual/block/md1/md/metadata_version
<4>[  189.029333] CPU 4 
<4>[  189.029340] Modules linked in: vzdquota vzevent vzdev ip6t_REJECT nf_conntrack_ipv6 nf_defrag_ipv6 ip6table_filter ip6_tables ipv6 ext3 jbd fuse xt_connlimit xt_state iptable_nat ip_tables nf_nat nf_conntrack_ipv4 nf_conntrack nf_defrag_ipv4 tun ppdev parport_pc parport r8168(U) i2c_i801 sg iTCO_wdt iTCO_vendor_support shpchp xhci_hcd ext4 mbcache jbd2 raid1 sd_mod crc_t10dif ahci i915 drm_kms_helper drm i2c_algo_bit i2c_core video output dm_mirror dm_region_hash dm_log dm_mod [last unloaded: sunrpc]
<4>[  189.029552] 
<4>[  189.029560] Pid: 2419, comm: bash veid: 0 Not tainted 2.6.32-042stab079.5 #1 042stab079_5 System manufacturer System Product Name/P8H77-M PRO
<4>[  189.029599] RIP: 0010:[<ffffffff8134bd76>]  [<ffffffff8134bd76>] sysrq_handle_crash+0x16/0x20
<4>[  189.029625] RSP: 0018:ffff88081661ddd8  EFLAGS: 00010096
<4>[  189.029641] RAX: 0000000000000022 RBX: 0000000000000063 RCX: 0000000000001b36
<4>[  189.029661] RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000063
<4>[  189.029680] RBP: ffff88081661ddd8 R08: 0000000000000000 R09: 0000000000000001
<4>[  189.029700] R10: ffffffff816422a0 R11: ffff8808179e178f R12: 0000000000000000
<4>[  189.029719] R13: ffffffff81b03ce0 R14: 0000000000000286 R15: 0000000000000007
<4>[  189.029739] FS:  00007f9d8275c700(0000) GS:ffff88002c300000(0000) knlGS:0000000000000000
<4>[  189.029761] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
<4>[  189.029778] CR2: 0000000000000000 CR3: 00000007d40cb000 CR4: 00000000001407e0
<4>[  189.029798] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
<4>[  189.029817] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
<4>[  189.029838] Process bash (pid: 2419, veid: 0, threadinfo ffff88081661c000, task ffff880815e08880)
<4>[  189.030500] Stack:
<4>[  189.031159]  ffff88081661de28 ffffffff8134c28c ffff88081862a530 0000000000000000
<4>[  189.031184] <d> ffff88081661df18 0000000000000002 ffffffff81aa8a40 0000000000000000
<4>[  189.031856] <d> ffff88081661de39 0000000000000002 ffff88081661de98 ffffffff8134c47f
<4>[  189.033157] Call Trace:
<4>[  189.033817]  [<ffffffff8134c28c>] __handle_sysrq+0x7c/0x170
<4>[  189.034488]  [<ffffffff8134c47f>] write_sysrq_trigger+0xff/0x130
<4>[  189.035167]  [<ffffffff8121218e>] proc_reg_write+0x7e/0xc0
<4>[  189.035846]  [<ffffffff811a50c8>] vfs_write+0xb8/0x1a0
<4>[  189.036520]  [<ffffffff811a59c1>] sys_write+0x51/0x90
<4>[  189.037196]  [<ffffffff8100b102>] system_call_fastpath+0x16/0x1b
<4>[  189.037878] Code: d0 88 81 23 0d 3f 82 c9 c3 66 66 66 2e 0f 1f 84 00 00 00 00 00 55 48 89 e5 0f 1f 44 00 00 c7 05 5d f8 74 00 01 00 00 00 0f ae f8 <c6> 04 25 00 00 00 00 01 c9 c3 55 48 89 e5 0f 1f 44 00 00 48 c7 
<1>[  189.039484] RIP  [<ffffffff8134bd76>] sysrq_handle_crash+0x16/0x20
<4>[  189.040246]  RSP <ffff88081661ddd8>
<4>[  189.040999] CR2: 0000000000000000

Процесс создания дампа

kdump.png