Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Общий по FreeBSD (http://forum.oszone.net/forumdisplay.php?f=10)
-   -   Быстрый обмен данными с внешним диском (http://forum.oszone.net/showthread.php?t=210698)

VictorSh 07-07-2011 14:30 1708932

Быстрый обмен данными с внешним диском
 
Посоветуйте, пожалуйста, какой выбрать интерфейс для покупки внешнего диска 3.5'' USB 3.0 или eSATA. В первую очередь интересует поддержка со стороны ОС оборудования. Нужна как можно более быстрая скорость обмена информацией. Хочу купить внешний диск на 3 TB для бекапов.
Подхватится ли диск такого объема? Система FreeBSD 6.2. Или надо обновиться до последней? Вроде бы ограничений UFS2 на 2 TB нет. Диск будет использоваться только для хранения данных, а не для загрузки. Материнская карта ASUS-P5B-MX.
В какую файловую сисетму его лучше форматнуть? в такую же как на сервере (UFS2) ?

vadblm 07-07-2011 22:58 1709208

Цитата:

Цитата VictorSh
USB 3.0 »

Поддержка XHCI и USB 3.0 появилась только в 8.2-RELEASE.
Цитата:

Цитата VictorSh
eSATA »

Вы собираетесь тупо вывести ICH7, что на
Цитата:

Цитата VictorSh
ASUS-P5B-MX »

переходником или будет поставлен отдельный контроллер? В первом случае проблем возникнуть не должно, единственно не будет работать горячее подключение - это прерогатива AHCI, которого, во-первых, на мамке нет, во-вторых, поддержка появилась в 8.0-RELEASE. Во втором случае сомнительно, что у старушки 6.2 драйвера будут поддерживать современнный контроллер.
Цитата:

Цитата VictorSh
Вроде бы ограничений UFS2 на 2 TB нет. »

Дело даже не в ограничении ФС, а ограничении MBR. Вам придётся разбивать диск в GPT. 6.2 GPT умеет, вроде только грузиться с него ещё не могла, но оно вам и не нужно.
Цитата:

Цитата VictorSh
В какую файловую сисетму его лучше форматнуть? в такую же как на сервере (UFS2) ? »

Ну не в FAT же. Разумеется, UFS2. ZFS 6.2 не умеет.
Цитата:

Цитата VictorSh
Или надо обновиться до последней? »

Обновление 6.2 -> 8.2, боюсь, будет очень трудным и долгим.

VictorSh 08-07-2011 15:22 1709617

Цитата:

Цитата vadblm
Обновление 6.2 -> 8.2, боюсь, будет очень трудным и долгим. »

А я как раз собирался этим заняться на днях.

Цитата:

Цитата vadblm
Поддержка XHCI и USB 3.0 появилась только в 8.2-RELEASE. »

То есть если куплю контроллер USB 3.0, то чтобы им пользоваться нужно будет 6.2 обновить до 8.2? Или пересобрать ядро просто? или добавить модуль?

см. напр. http://www.freebsd.org/doc/ru/books/...g-modules.html
Цитата:

Перед построением специализированного ядра, обдумайте причины, побудившие вас к этому. Если требуется поддержка специального оборудования, то она наверняка уже реализована в виде модуля.
Цитата:

Цитата vadblm
переходником или будет поставлен отдельный контроллер? »

То есть имеется ввиду подрубить один конец сата кабеля к материнке, а второй вывести наружу? Собирался отдельный контроллер купить. Выбираю какой лучше eSata или USB 3.0. Вроде USB 3.0 побыстрее будет.

Цитата:

Цитата vadblm
ело даже не в ограничении ФС, а ограничении MBR. Вам придётся разбивать диск в GPT. 6.2 GPT умеет »

Спасибо, я как раз хотел этим спросить нужен ли мне GPT. Вижу, что нужен.
А если понадобится читать этот диск из винды? Я как понял из долгого копания в интернетах можно только в Windows Vista x64 и Windows 7 x64 это сделать и то когда поставишь утилиту для поддержики чтения UFS2. Поддержки записи не нашел.

Главный вопрос: все же уже собрался купить контроллер USB 3.0, если куплю - реально его завести на FreeBSD?

vadblm 08-07-2011 15:56 1709644

Цитата:

Цитата VictorSh
То есть если куплю контроллер USB 3.0, то чтобы им пользоваться нужно будет 6.2 обновить до 8.2? Или пересобрать ядро просто? или добавить модуль? »

Именно так, обновиться до 8.2 Сомневаюсь, что вам удастся бэкпорт драйвера xhci в 6.2.
Цитата:

Цитата VictorSh
Если требуется поддержка специального оборудования, то она наверняка уже реализована в виде модуля. »

Ха, редкие вендоры предоставляют свои родные ядерные модули для FreeBSD. Всякие Marvell, VIA, Silicon Image, на чипах которых клепают дешёвые контроллеры, точно этим не занимаются.
Цитата:

Цитата VictorSh
То есть имеется ввиду подрубить один конец сата кабеля к материнке, а второй вывести наружу? »

Точно так, например при помощи такого брэкета:

Цитата:

Цитата VictorSh
Выбираю какой лучше eSata или USB 3.0. Вроде USB 3.0 побыстрее будет. »

С eSata проблем точно не будет, USB 3.0 слишком нова, чтобы заявлять что-то определённо. По поводу скорости, не забывайте, что самым медленным звеном будет сам диск, вряд-ли он выдаст больше 150Мб/сек.
Цитата:

Цитата VictorSh
А если понадобится читать этот диск из винды? »

Зачем?? Ну если интересно, то грузиться с GPT действительно могут только 64-битные версии винды, работать же с GPT томом могут любые, начиная с висты. Про XP не уверен, вроде не умеет. По поводу выбора ФС, вы уверены, что разумно использовать с FreeBSD неродную для нее ФС со всеми вытекающими неудобствами (к примеру, драйвер ntfs-3g хоть и вполне стабилен, но имеет крайне низкую производительность при крайне высокой прожорливости) только ради удобства потенциального подключения к винде? Ну, решать вам, а для меня ответ очевиден. ;)
Цитата:

Цитата VictorSh
все же уже собрался купить контроллер USB 3.0, если куплю - реально его завести на FreeBSD? »

Теоретически, если контроллер полностью соответствует спецификациям Extensible Host Controller Interface (xHCI), то всё должно превосходно работать изкаропки на 8.2. Практически - фиг его знает, очень мало инфы из-за новизны сабжа.

VictorSh 08-07-2011 22:15 1709836

Цитата:

Цитата vadblm
Точно так, например при помощи такого брэкета: »

Хм, а где питание взять? тоже имеются подобные брекеты?

Цитата:

Цитата vadblm
вряд-ли он выдаст больше 150Мб/сек. »

Ну вообщем вы правы, хотя некоторые пишут, что диск, который я сгодня вечером купил скорость в пике до 160 МБ/c, а следующим звеном будет PCI-E этой материнки. Купил кстати Hitachi HDS723030ALA640 3 TB.

Хотел к нему коробку купить с USB, но в магазине говорят, что нет таких, которые поддерживают 3 TB. У самого дома стоит Hitachi на 2TB с коробкой http://www.agestar.com/ru/products/3ub3a8.asp Вроде бы на их сайте написано, что все их коробки поддерживают 3TB http://www.agestar.com/english/support/volume.html

Цитата:

Цитата vadblm
Ну, решать вам, а для меня ответ очевиден. »

Да нет, это я так на случай, если вдруг сервак совсем не захочет заводиться. А вообще конечно буду форматировать в UFS2. Сегодня вечером попробую дома на виртуалке с такой же FreeBSD 6.2 форматнуть его. Правда с GPT до этого никогда не работал. Поставлю в свой бокс AgeStar - заодно проверю поддерживает ли.

А вот с покупкой контроллера честно говоря озадачен.

vadblm 08-07-2011 23:03 1709852

Цитата:

Цитата VictorSh
Хм, а где питание взять? »

Ну вы ж в бокс диск ставите. У 3.5" боксов всегда своё питание. Впрочем, есть и отдельные БП для хардов.
Цитата:

Цитата VictorSh
Хотел к нему коробку купить с USB, но в магазине говорят, что нет таких, которые поддерживают 3 TB. »

У eSATA принципиально не может быть никаких ограничений по боксу, у USB скорее всего тоже, но тут не уверен. Уверен только в том, что продавцы точно не обладают компетенцией в таких вопросах, если б обладали, то работали бы... не продавцами, уж точно. ;)
Цитата:

Цитата VictorSh
Да нет, это я так на случай, если вдруг сервак совсем не захочет заводиться. »

А чем в этом случае поможет Windows?
Цитата:

Цитата VictorSh
Сегодня вечером попробую дома на виртуалке с такой же FreeBSD 6.2 форматнуть его. Правда с GPT до этого никогда не работал. Поставлю в свой бокс AgeStar - заодно проверю поддерживает ли. »

Виртуалка не даст прямой доступ к железу. Если хотите попробовать "на живую", а ставить FreeBSD некуда, или нет желания, то можете воспользоваться Frenzy 1.3 - LiveCD на базе FreeBSD 8.1. USB 3.0 пощупать им не выйдет, но всё остальное на ура. В крайнем случае, если очень хочется попробовать USB 3.0, то можно воспользоваться Fixit с дистрибутива самой FreeBSD 8.2, он присутствует на двдшном и memstick вариантах дистрибутивов.

VictorSh 08-07-2011 23:44 1709872

Цитата:

Цитата vadblm
Виртуалка не даст прямой доступ к железу. »

Да, я тоже об этом подумал и решил заглянуть на форум снова :)

Цитата:

Цитата vadblm
Если хотите попробовать "на живую", а ставить FreeBSD некуда, или нет желания, то можете воспользоваться Frenzy 1.3 »

А Mandriva 2009.1 поможет? у меня она стоит физически на ноуте. Вроде бы слышал, что не дает физического доступа к железу именно Windows. А с Linux по-другому. Может GParted поможет? Или походу он не сможет работать с UFS2.

vadblm 09-07-2011 00:18 1709908

Цитата:

Цитата VictorSh
А Mandriva 2009.1 поможет? у меня она стоит физически на ноуте. Вроде бы слышал, что не дает физического доступа к железу именно Windows. А с Linux по-другому. »

Нет, не поможет. Сама концепция ВМ состоит в абстрагировании от реального железа, а кто там хостом, виндовс, линукс, или ещё кто не имеет значения. Хотите узнать, как работает с железом FreeBSD - запускайте на нём FreeBSD. Других вариантов нет. :)

VictorSh 09-07-2011 03:55 1709969

Цитата:

Цитата vadblm
можете воспользоваться Frenzy 1.3 »

Скачал образ. Запускаю, в /var/run/dmesg.boot винт определяется в виде двух устройств da0 и da1. Первое емкостью 2048Gb, второе ~746 Gb.

gpart show не показывает устройство. Поэтому пока не стал делать GPT-разметку. Или он тут ее показывает когда она создана? не понял. Или надо сделать gpart create и gpart add?

GParted, Madriva 2009, Windows XP x64 Edition показывают также по два устройства с теми же объемами, без файловой системы. Я думаю, это может коробка поддерживает так 3 TB винты? То есть делает наподобие auto-carving для RAIDа (который автоматом том больше чем 2 Tb представляет в виде двух отдельных устройств)? А можно интересно его представить как один том на 3TB?

vadblm 09-07-2011 11:56 1710047

Цитата:

Цитата VictorSh
винт определяется в виде двух устройств da0 и da1. Первое емкостью 2048Gb, второе ~746 Gb. »

Хм. Странно. Если б это были два раздела, то были б da0s1 и da0s2. Шутки контроллера бокса?
Цитата:

Цитата VictorSh
Я думаю, это может коробка поддерживает так 3 TB винты? То есть делает наподобие auto-carving для RAIDа (который автоматом том больше чем 2 Tb представляет в виде двух отдельных устройств)? »

Я тоже так думаю.
Цитата:

Цитата VictorSh
А можно интересно его представить как один том на 3TB? »

Не знаю. Что если диск подрубить через eSata или напрямую в комп, там создать таблицу разделов GPT и сам раздел, а потом вставить в бокс обратно?
Цитата:

Цитата VictorSh
Поэтому пока не стал делать GPT-разметку. »

Пока не разберётесь, почему два диска, а не один и можно ли это исправить, не стоит. Если это неисправимо, то GPT и ни к чему - размер псевдодисков позволяет пользоваться старой доброй MBR.

Кстати, забыл спросить, как опозналось, как USB 2.0?
Покажите camcontrol devlist.

VictorSh 10-07-2011 03:05 1710396

Цитата:

Цитата vadblm
Покажите camcontrol devlist »

<WDC WD1600BEVS> at scbus0 target 0 lun 0 (pass 0, ada0)
<HL-DT-ST DVDRAM GSA-T20N WW01> at scbus3 target 0 lun 0 (pass 3, ada0)
<Hitachi HDS723030ALA640> at scbus4 target 0 lun 0 (pass 1, da0)
<Hitachi HDS723030ALA640> at scbus4 target 0 lun 1 (pass 2, da1)

Цитата:

Цитата vadblm
Кстати, забыл спросить, как опозналось, как USB 2.0? »

Не понял, где посмотреть? Подключил через USB-бокс

Сегодня заезжал за комплектующими в НИКС, где покупал эту коробку, и заодно спросил может дадут попробовать в другие повствалять - не получилось :(
спросил насчет определения в сервисном отделе - минут 20 репу чесали. Ответ: не знаем :) что и требовалось доказать :)
Говорят позвонить в отдел поддержки в понедельник. Но, думаю, ответ будет тот же. ЕСли уж звонить, тогда в поддержку AgeStar или e-mail попробовать написать.

Пока не было возможности воткнуть винт в сата разъем. Как попробую, отпишу.

vadblm 11-07-2011 14:18 1711206

Цитата:

Цитата VictorSh
Не понял, где посмотреть? »

В том же dmesg.

VictorSh 11-07-2011 17:56 1711375

Вложений: 1
Цитата:

Цитата vadblm
В том же dmesg. »

не нашел нужной строчки :(. Может у вас лучше получится?

vadblm 11-07-2011 18:06 1711380

Цитата:

Цитата VictorSh
не нашел нужной строчки »

Ну вот же оно
Код:

umass1: <JMicron USB to ATA/ATAPI Bridge, class 0/0, rev 2.10/1.00, addr 2> on usbus6
da1 at umass-sim1 bus 1 scbus5 target 0 lun 0
da1: <Hitachi HDS723030ALA640 > Fixed Direct Access SCSI-5 device
da1: 40.000MB/s transfers
da1: 2097151MB (4294967295 512 byte sectors: 255H 63S/T 267349C)
da2 at umass-sim1 bus 1 scbus5 target 0 lun 1
da2: <Hitachi HDS723030ALA640 > Fixed Direct Access SCSI-5 device
da2: 40.000MB/s transfers
da2: 764436MB (1565565872 512 byte sectors: 255H 63S/T 97451C)

Смотрите также на скорость интерфейса (40.000MB/s transfers), это косвенный признак USB 2.0 - USB mass storage (umass) во фре работает через эмуляцию подсистемы SCSI.

VictorSh 11-07-2011 20:35 1711445

Вложений: 2
Я подрубил к серверу двумя способами хард на 3 ТБ. Вот что выдает dmesg.boot.
Файл, который я назвал dmesg.boot-usb - это при подключении через ту же USB-коробку, но только к моему серверу на FreeBSD 6.2. А файл dmesg.boot-sata это при подключении харда к материнской плате. Походу, что через USB ведет себя также как и дома в дистрибутиве Freenzy. А при подключении к материнской плате определяется на все три терабайта.
fdisk выдает следующее:

Код:

]# fdisk -s
/dev/ad4: 155061 cyl 16 hd 63 sec
Part        Start        Size Type Flags
  1:          63  156296322 0xa5 0x80
[root@server /usr/home/XXX]# fdisk -s ad6
fdisk: invalid fdisk partition table found
fdisk: read_s0: No such file or directory
[root@server /usr/home/XXX]# fdisk ad6
******* Working on device /dev/ad6 *******
parameters extracted from in-core disklabel are:
cylinders=5814021 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=5814021 heads=16 sectors/track=63 (1008 blks/cyl)

fdisk: invalid fdisk partition table found
Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 1565565057 (764436 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 755/ head 15/ sector 63
The data for partition 2 is:
<UNUSED>
The data for partition 3 is:
<UNUSED>
The data for partition 4 is:
<UNUSED>

Похоже надо действительно покупать брекет, который вы посоветовали и коробку с интерфейсом eSata.
Мне показалось, что fdisk видит только 746ГБ.

GPT выдает следующее:
Код:

# gpt show ad6
      start        size  index  contents
          0  5860533168


vadblm 11-07-2011 20:39 1711449

fdisk не может увидеть ничего выше 2Тб. Он заточен под MBR. Для работы с дисками большего объёма необходимо использовать gpart.

ну вон видит железку с должным размером:
ad6: 2861588MB <Hitachi HDS723030ALA640 MKAOA3B0> at ata3-master SATA150
Странно, что SATA150 - нет ли на диске перемычки ограничителя? Должен быть SATA300

VictorSh 11-07-2011 21:22 1711470

Цитата:

Цитата vadblm
Странно, что SATA150 - нет ли на диске перемычки ограничителя? Должен быть SATA300 »

хм, кроме разъемов сата и питания есть еще два пина. Вообще сам диск SATA III :) только материнка не поддерживает SATA III.
их нужно перемкнуть? чтобы заработало как сата 2? вообще обычно само определяться должно. может это связано с материнкой или ядром FreeBSD 6.2?

Коробку думаю такую взять http://www.nix.ru/autocatalog/hdd_ac...TA_110196.html тут в комплекте даже брекет уже есть.

vadblm 11-07-2011 21:32 1711482

Перемычки на диске. Могут быть.

VictorSh 11-07-2011 22:58 1711539

Вложений: 1
Вот на картинке посмотрите, я выделил пины. Да, на диске.

vadblm 11-07-2011 23:02 1711540

Это вопрос не ко мне. Некомпетентен. Если документации нет, то спросите в разделе форума про диски.

VictorSh 12-07-2011 12:45 1711774

Еще вопрос: когда я создам юнит в RAID массиве, нужно будет создавать файловую систему в adN или можно будет сделать ее в adNs1?

vadblm 12-07-2011 12:56 1711783

Насколько я понял по вашей теме про райд, у вас 3ware 9650SE. Её драйвер работает через подсистему SCSI, так что дисковая нода (вы ведь будете использовать один том RAID5, верно?) будет вида daN. Объём >2Tb принуждает к использованию GPT, так что слайсов (slice - так называются MBR разделы в терминологии FreeBSD) не будет. Можно, разумеется, использовать том в режиме dangerously dedicated, но совместимости ради я бы этого делать не стал, а всё же воспользовался бы разбивкой GPT. Так что том будет виден как daNp1.

VictorSh 12-07-2011 19:46 1712028

Купил сегодня бокс для 3,5 '' винчестера http://www.nix.ru/autocatalog/hdd_ac...TA_110196.html
При подключении по eSata винт даже в Windows 7 Pro (32-bit) опередляется. Как одно физическое устройство на 3 TB. Даже предлагает его инициализировать как GPT! Хотя можно выбрать MBR. Я не стал этого делать.
У этого бокса также есть интерфейс USb 2.0. Если подключить через него, то определяется одно устройство, но на 746 Гб.

На сервере пока не проверял, но надеюсь все будет работать. Так, что выбор очевиден в пользу eSata интерфейса.

Спасибо большое за советы! :)

VictorSh 15-07-2011 20:47 1714218

Подрубил через eSata коробку винт - FreeBSD его не видит :( аесли к материнской карте, то видит :(
В чем может быть проблема?

vadblm 15-07-2011 21:01 1714230

В питании? В контакте? В том, что контроллер не AHCI не понимает подключение на живую?

VictorSh 15-07-2011 21:27 1714240

проблема была в том, что провод вылез из сервера, когда его запихивал в шкаф :) в биосе винта не было видно.
Спасибо за то что окликнулись. У сервака нету моника и клавы. Поэтому пришлось отодрать у другого компа, чтобы влезть в BIOS

vadblm 15-07-2011 21:57 1714249

Так вы справляетесь или нет? Я просто сегодня отмечаю пятницу, могу врать по причине отравления алкоголем.

VictorSh 15-07-2011 22:55 1714277

вроде, да) только непонятно почему на новом диске на который я сейчас делаю бекап, если сделать команду df -h
то емкость его 2.6Т а доступно только 2.4Т, причем используется 0%. Хотя в мане натыкался на то, что вроде бы 8% резервируется. Но в моем случае это 200гигабайт :(

vadblm 15-07-2011 23:00 1714281

Цитата:

Цитата VictorSh
8% резервируется. »

Так и есть по умолчанию. Изменить размер резерва можно при помощи tunefs -m.
Цитата:

-m minfree
Specify the percentage of space held back from normal users; the
minimum free space threshold. The default value used is 8%.
Note that lowering the threshold can adversely affect perfor-
mance:

+o Settings of 5% and less force space optimization to always be
used which will greatly increase the overhead for file
writes.

+o The file system's ability to avoid fragmentation will be
reduced when the total free space, including the reserve,
drops below 15%. As free space approaches zero, throughput
can degrade by up to a factor of three over the performance
obtained at a 10% threshold.

If the value is raised above the current usage level, users will
be unable to allocate files until enough files have been deleted
to get under the higher threshold.

VictorSh 16-07-2011 01:21 1714342

Скорость записи почему то около 1ГБ/мин (~16МБ/c), при интерфейсе eSATA (даже SATA150) и быстрой скорости винта :(

vadblm 31-07-2011 15:16 1723294

Цитата:

Цитата VictorSh
Скорость записи почему то около 1ГБ/мин (~16МБ/c), при интерфейсе eSATA (даже SATA150) и быстрой скорости винта »

Нехорошо. gstat что кажет?

VictorSh 09-08-2011 01:02 1728300

http://forum.oszone.net/post-1727391-21.html

Цитата:

На счет скорости записи: gstat сейчас выдает порядка в максимуме 106000 Kbps для записи на массив и порядка 35000Kbps в максимуме для чтения с внешнего винта - правда я не понимаю, почему значение для чтения сильно меньше, чем для записи, должно же быть наоборот. Ведь записываться на массив не может быстрее, чем читаться из бекапа. Скорость, чтения честно говоря не радует Поэтому я и хотел делать все на живых данных, так как времени нет ждать (около 20 часов). Правда сейчас, по моим расчетам, если и дальше будет так переписываться, то процесс перегонки данных (1ТБ) из бекапа на массив займет 10 часов. Может когда писалось в бекап, диски были старые Samsung, которые скорости не выдвали, а сейчас новые Hitachi. Как те, так и другие 7200rpm. Внешний диск, на котором бекап, определяется в /var/run/dmesg.boot как SATA150 (подключен через eSata), хотя сам диск и коробка поддерживают SATA3, а материнка до SATA2. То есть по идее должно быть как SATA2. Сейчас средняя скорость записи на массив 23 МБ/c.

VictorSh 20-08-2011 21:04 1736006

хм, когда вставляешь провод eSata в работающий сервер - диск не появляется в папке /dev и никаких новых записей в файле
/var/run/dmesg.boot
Не очень охота перезагружать сервер, чтобы он его нашел. Можно как нибудь сделать, чтобы сервер находил устройтсво при подключении?


Время: 22:53.

Время: 22:53.
© OSzone.net 2001-