[решено] Закончилось место на диске

[CJ F.A.N.]

Всем привет! Такая проблема. Стоит сервер на Debian 7, выполняет роль прокси-сервера (стоит Squid3), все файлы на одном разделе. Неожиданно закончилось место, хотя раздел 250 ГБ. Буквально позавчера было занято гигабайт 10 максимум. Проверял логи, может быть они забили......нет.
du -h --max-depth=1 /
выдает, что занято 9.5 Гб. В чем может быть дело? Squid не стартует, кеш не пересоздает, ссылаясь на то, что нет свободного места. /var/spool/squid3 вообще пустой. И еще одна интересная особенность. Новые пакеты из Интернетов aptitude устанавливает, но частично.... не может установить man страницы, ссылаясь на недостаточное кол-во места. Хотя все остальные файлы пакета ставит. Кеш apt тоже чистил-бесполезно. Куда копать, не подскажете? Все логи, сообщения, которые надо, покажу, есть доступ к удаленке.
P.S.: сервер рестартовал, толку ноль

[CJ F.A.N.]

забыл написать. Корень находится на lvm, а lvm находится на программном raid-1

[CyberDaemon]

выдает, что занято 9.5 Гб. »
А файлов всего сколько? Что покажет
df -i
?

[CJ F.A.N.]

root@shluz:/home/cjfan# df -i
Файловая система Iнодов IИспользовано IСвободно IИспользовано% Cмонтировано в
rootfs 15015936 674742 14341194 5% /
udev 126585 421 126164 1% /dev
tmpfs 128074 413 127661 1% /run
/dev/disk/by-uuid/b4aabde5-048f-4a08-8430-8c3eefda8bc8 15015936 674742 14341194 5% /
tmpfs 128074 3 128071 1% /run/lock
tmpfs 128074 2 128072 1% /run/shm
/dev/sdc1 483834140 527401 483306739 1% /media/usb
tmpfs 128074 10 128064 1% /tmp
//192.168.1.25/server 0 0 0 - /media/fileserver

но!

oot@shluz:/home/cjfan# df -h
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
rootfs 226G 224G 0 100% /
udev 10M 0 10M 0% /dev
tmpfs 101M 1,4M 99M 2% /run
/dev/disk/by-uuid/b4aabde5-048f-4a08-8430-8c3eefda8bc8 226G 224G 0 100% /
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 1,7G 0 1,7G 0% /run/shm
/dev/sdc1 932G 471G 461G 51% /media/usb
tmpfs 1,7G 7,3M 1,7G 1% /tmp
//192.168.1.25/server 1,6T 59G 1,5T 4% /media/fileserver

[zai]

Попробуй проверить на ошибки:
sudo touch /forcefsck
sudo reboot

[CJ F.A.N.]

zai, результата ноль

[vadblm]

CJ F.A.N., покажите /etc/fstab и вывод mount

[CJ F.A.N.]

vadblm,
FSTAB

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point> <type> <options> <dump> <pass>
# / was on /dev/md0 during installation
UUID=b4aabde5-048f-4a08-8430-8c3eefda8bc8 / ext4 errors=remount-ro 0 1
# swap was on /dev/sda1 during installation
UUID=c34a05a3-fb31-4dd4-b406-6227d54771c0 none swap sw 0 0
# swap was on /dev/sdb1 during installation
UUID=9cb74e65-4c36-4f5a-aa4a-8dbbdc3744c6 none swap sw 0 0
/dev/sr0 /media/cdrom0 udf,iso9660 user,noauto 0 0

UUID="5CC6FC6AC6FC4634" /media/usb ntfs-3g user,auto,rw 0 0
//192.168.1.25/server /media/fileserver cifs user,file_mode=0666,dir_mode=0777,guest,iocharset=utf8 0 0



MOUNT

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=126585,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=102460k,mode=755)
/dev/disk/by-uuid/b4aabde5-048f-4a08-8430-8c3eefda8bc8 on / type ext4 (rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /run/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=1767120k)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
/dev/sdc1 on /media/usb type fuseblk (rw,nosuid,nodev,noexec,relatime,user_id=0,group_id=0,allow_other,blksize=4096)
tmpfs on /tmp type tmpfs (rw,nosuid,nodev,relatime,size=1767120k)
//192.168.1.25/server on /media/fileserver type cifs (rw,nosuid,nodev,noexec,relatime,sec=ntlm,unc=\\192.168.1.25\server,username=,uid=0,noforceuid,gid=0 ,noforcegid,addr=192.168.1.25,file_mode=0666,dir_mode=0777,nounix,serverino,rsize=61440,wsize=65536, actimeo=1)
rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)

[vadblm]

CJ F.A.N., lsblk -no NAME,UUID,MOUNTPOINT ещё попрошу

[CJ F.A.N.]

vadblm,

sda
├─sda1 c34a05a3-fb31-4dd4-b406-6227d54771c0 [SWAP]
└─sda2 7aa5290c-9062-170a-dde2-84f023c3b6c0
└─md0 b4aabde5-048f-4a08-8430-8c3eefda8bc8 /
sdb
├─sdb1 9cb74e65-4c36-4f5a-aa4a-8dbbdc3744c6 [SWAP]
└─sdb2 7aa5290c-9062-170a-dde2-84f023c3b6c0
└─md0 b4aabde5-048f-4a08-8430-8c3eefda8bc8 /
sr0
sdc
└─sdc1 5CC6FC6AC6FC4634 /media/usb

[vadblm]

CJ F.A.N., теперь du наподобие

[vadblm@vblmpb ~]$ sudo du -xh -d 1 /
36K /mnt
2,6M /logs
12K /.config
24M /root
4,0K /partimag
16K /lost+found
1,2G /opt
4,0K /media
3,9M /srv
64M /etc
11G /usr
5,0G /var
17G /

Смотрим, какая директория подозрительно большая, например /var и там тоже sudo du -xh -d 1 /var и так далее, пока не найдёте, где насрано.

[CJ F.A.N.]

vadblm,

0 /proc
0 /dev
100K /home
8,0K /srv
1,5G /usr
7,2M /bin
60M /etc
4,0K /clamfs
829M /var
5,3G /tftpboot
0 /tmp
105M /lib
20M /opt
447M /root
19M /boot
4,0K /mnt
14M /sbin
0 /sys
16K /lost+found
215G /media
4,0K /selinux
0 /run
223G /



странно(((( уже весь мозг поломал. По файлам ничего странного нет, все весит столько, сколько должно, но корень, как видно, упорно занят(((

в Media смонтированs сетевой диск с Винды, внешний жесткий диск, и сетевой WD Live

[vadblm]

215G /media

там у вас насрано

ключик -x у du:

-x Подсчитывать размеры только для той файловой системы, где расположен заданный
аргумент. (Если в иерархии встретятся каталоги, которые будут являться точками
монтирования других файловых систем, то их размеры учитываться не будут прим. перев.)

[CJ F.A.N.]

vadblm, странно, там только точки монтирования...физически файлы располагаются удаленно


4,0K /media/cdrom0
4,0K /media/fileserver
215G /media/backup_server
8,0K /media/usb
215G /media



хм... бекапсервер засрал все место. Вот что я могу сказать о нем. По идее это папка для монтирования по протоколу ftp папки из WD Live, делал это так:

curlftpfs ftp://admin:123321@192.168.1.238/ /media/backup_server



в эту папку rsync'ом пару раз в день делается инкрементальное резервное копирование файлового сервера

получается он делал копирование на локальную папку, а не на сервер по ftp протоколу

[vadblm]

Я только одно могу сказать, судя по du -x никуда оно не примонтировано, потому по факту данные пишутся в рут ваш. Разбирайтесь.

[CJ F.A.N.]

vadblm, спасибо за помощь! Буду разбираться, почему файлы не на бекап сервер копировались. Проблема можно сказать, решена=)

[vadblm]

CJ F.A.N., настоятельно рекомендую завести мониторинг. zabbix например. Чтобы когда херня случается вы узнали не по факту, когда всё легло, а по уведомлению мониторинга типа "Low free disk space on <hostname> volume /: PROBLEM 10 %"

[CJ F.A.N.]

vadblm, за последнее сообщение тройное спасибо) завтра займусь на работе) а то у меня мониторинг последние дни-это мой начальник) на выходных был, так как женился=)

[vadblm]

а то у меня мониторинг последние дни-это мой начальник »
Было как-то, что мониторингом выступил саппорт (нода с мониторингом окочурилась, а дублёра не придумали тогда ещё) Так что весьма понимаю, как это бывает, когда на выходных приходится оживлять.

[CJ F.A.N.]

Хотя тема и решенная, отпишусь еще немного. Настроил Zabbix, теперь проблем не знаю=))))) правда пришлось поднять еще и почтовый сервер, но это мелочи. Зато теперь мне на email приходят "волшебные" письма, если что-то меняется в системе. Причем, поставил zabbix-агент на все линуксовые и виндовз серверы, Zabbix со всех агентов собирает инфу. Так что теперь вся серверная под контролем. Спасибо товарищу vadblm за наводочку=)