IBM x3650, ServeRAID 8k with RAID5

[Neteru]

Ребята, вот мы купили сервак и там стоит ServeRAID 8k контроллер с уже собранным RAID5, так вот когда я ставлю Фрю7 все проходит нормально до момента разбивки дисков. Я получаю сообщение: Disk not found.

Т.е. Фря не видит 5й рейд, зашел в ServeRAID manage там вроде есть логический диск, единственное еще идет синхронизация.

Что делать: Как заставить Фрю работать на ServeRAID 8k с RAID5.
Я точно знаю что можно, но вот как?

Подскажите!

Спасибо!

[Barracuda]

Для начала, надо разобраться: почему система не видит устройство.
В нашем случае:
[i386,ia64,amd64] Controllers supported by the aac(4) driver include:
.....
IBM ServeRAID 8i
IBM ServeRAID 8k
IBM ServeRAID 8s
.....

[Neteru]

И что? Я это и так знаю! По существу можно дать коментарий?

[Barracuda]

Скупое описание - скупые советы. Для начала лучше загрузиться с FreeBSD LiveCD (N.B. В 7х его полностью вынесли в отдельный диск) и посмотреть dmesg или то, что выводит система при загрузке (одно и то же). Оттуда уже и будем плясать. Само собой, каждую строчку dmesg'а изучать не стоит, а только то, что касается дисковых контроллеров. Возможно драйвер не подгружается в момент установки и его надо ручками загрузить.

[Neteru]

Я загрузился с ЛивФС... Все нормально определяется, Фря видит контроллер, но ставиться она все равно не хочет (The sysinstall send the message (fdisk): No disks found !). Мне тут подсказываю, что надо создать логический диск, но в БИОСе-контроллера я не нашел чего то похожего.

[Barracuda]

Neteru, эм, что видно c LiveCD? Сам контроллер или уже рэйд-массив а-ля aac0?
Попробуйте в момент инсталяции, когда появится окошко выбора страны, нажать ScrollLock и через PageUp/PageDown посмотреть, что нашло ядро инсталятора. На сколько помню, для создания RAID'а нужно выполнить три этапа: создаь массив, выбрать для него диски и сказать, что это активный массив. Манагеры RAID'ов отличаются друг от друга, так что сложно сказать, что где. А вообще, попробуйте поставить "прицеп" - обычный IDE диск, поставить на него систему и баловаться с контроллером/рэйдом с установленной системы.
Когда, в своё время, подымал систему на 3Ware 9550 был такой прикол, что инсталятор не грузил модуль для этого контроллера - загрузил вручную с дискетки :)

[Neteru]

Copyright (c) 1992-2008 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 7.0-RELEASE #0: Sun Feb 24 19:59:52 UTC 2008
root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Xeon(R) CPU E5310 @ 1.60GHz (1595.93-MHz 686-class CPU)
Origin = "GenuineIntel" Id = 0x6fb Stepping = 11
Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SS E,SSE2,SS,HTT,TM,PBE>
Features2=0x4e33d<SSE3,RSVD2,MON,DS_CPL,VMX,TM2,SSSE3,CX16,xTPR,PDCM,DCA>
AMD Features=0x20000000<LM>
AMD Features2=0x1<LAHF>
Cores per package: 4
real memory = 2147250176 (2047 MB)
avail memory = 2087489536 (1990 MB)
ACPI APIC Table: <IBM SERVALNT>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP): APIC ID: 1
cpu2 (AP): APIC ID: 2
cpu3 (AP): APIC ID: 3
ioapic0 <Version 2.0> irqs 0-23 on motherboard
kbd1 at kbdmux0
ath_hal: 0.9.20.3 (AR5210, AR5211, AR5212, RF5111, RF5112, RF2413, RF5413)
hptrr: HPT RocketRAID controller driver v1.1 (Feb 24 2008 19:59:27)
acpi0: <IBM SERVALNT> on motherboard
acpi0: [ITHREAD]
acpi0: Power Button (fixed)
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x588-0x58b on acpi0
acpi_hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 14318180 Hz quality 900
cpu0: <ACPI CPU> on acpi0
p4tcc0: <CPU Frequency Thermal Control> on cpu0
cpu1: <ACPI CPU> on acpi0
p4tcc1: <CPU Frequency Thermal Control> on cpu1
cpu2: <ACPI CPU> on acpi0
p4tcc2: <CPU Frequency Thermal Control> on cpu2
cpu3: <ACPI CPU> on acpi0
p4tcc3: <CPU Frequency Thermal Control> on cpu3
pcib0: <ACPI Host-PCI bridge> on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> at device 2.0 on pci0
pci26: <ACPI PCI bus> on pcib1
pcib2: <ACPI PCI-PCI bridge> at device 0.0 on pci26
pci27: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> at device 0.0 on pci27
pci28: <ACPI PCI bus> on pcib3
pcib4: <ACPI PCI-PCI bridge> irq 17 at device 1.0 on pci27
pci36: <ACPI PCI bus> on pcib4
pcib5: <PCI-PCI bridge> at device 0.3 on pci26
pci37: <PCI bus> on pcib5
pcib6: <ACPI PCI-PCI bridge> at device 3.0 on pci0
pci4: <ACPI PCI bus> on pcib6
--------------------------------
aac0: <IBM ServeRAID-8k> port 0x5000-0x50ff mem 0xc9e00000-0xc9ffffff,0xc7fe0000-0xc7ffffff irq 17 at device 0.0 on pci4
aac0: New comm. interface enabled
aac0: [ITHREAD]
aac0: ServeRAID 8k , aac driver 2.0.0-1
--------------------------------
pcib7: <ACPI PCI-PCI bridge> at device 4.0 on pci0
pci16: <ACPI PCI bus> on pcib7
pcib8: <PCI-PCI bridge> at device 5.0 on pci0
pci69: <PCI bus> on pcib8
pcib9: <ACPI PCI-PCI bridge> at device 6.0 on pci0
pci7: <ACPI PCI bus> on pcib9
pcib10: <PCI-PCI bridge> at device 7.0 on pci0
pci68: <PCI bus> on pcib10
pci0: <base peripheral> at device 8.0 (no driver attached)
pcib11: <ACPI PCI-PCI bridge> at device 28.0 on pci0
pci2: <ACPI PCI bus> on pcib11
pcib12: <PCI-PCI bridge> at device 0.0 on pci2
pci3: <PCI bus> on pcib12
bce0: <Broadcom NetXtreme II BCM5708 1000Base-T (B2)> mem 0xce000000-0xcfffffff irq 16 at device 0.0 on pci3
miibus0: <MII bus> on bce0
brgphy0: <BCM5708C 10/100/1000baseTX PHY> PHY 1 on miibus0
brgphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-FDX, auto
bce0: Ethernet address: 00:1a:64:26:5b:00
bce0: [ITHREAD]
bce0: ASIC (0x57081020); Rev (B2); Bus (PCI-X, 64-bit, 133MHz); F/W (0x01090605); Flags( MFW MSI )
pcib13: <ACPI PCI-PCI bridge> at device 28.1 on pci0
pci5: <ACPI PCI bus> on pcib13
pcib14: <PCI-PCI bridge> at device 0.0 on pci5
pci6: <PCI bus> on pcib14
bce1: <Broadcom NetXtreme II BCM5708 1000Base-T (B2)> mem 0xca000000-0xcbffffff irq 17 at device 0.0 on pci6
miibus1: <MII bus> on bce1
brgphy1: <BCM5708C 10/100/1000baseTX PHY> PHY 1 on miibus1
brgphy1: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-FDX, auto
bce1: Ethernet address: 00:1a:64:26:5b:02
bce1: [ITHREAD]
bce1: ASIC (0x57081020); Rev (B2); Bus (PCI-X, 64-bit, 133MHz); F/W (0x01090605); Flags( MFW MSI )
uhci0: <Intel 631XESB/632XESB/3100 USB controller USB-1> port 0x2200-0x221f irq 23 at device 29.0 on pci0
uhci0: [GIANT-LOCKED]
uhci0: [ITHREAD]
usb0: <Intel 631XESB/632XESB/3100 USB controller USB-1> on uhci0
usb0: USB revision 1.0
uhub0: <Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1> on usb0
uhub0: 2 ports with 2 removable, self powered
uhci1: <Intel 631XESB/632XESB/3100 USB controller USB-2> port 0x2600-0x261f irq 22 at device 29.1 on pci0
uhci1: [GIANT-LOCKED]
uhci1: [ITHREAD]
usb1: <Intel 631XESB/632XESB/3100 USB controller USB-2> on uhci1
usb1: USB revision 1.0
uhub1: <Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1> on usb1
uhub1: 2 ports with 2 removable, self powered
uhci2: <Intel 631XESB/632XESB/3100 USB controller USB-3> port 0x2a00-0x2a1f irq 23 at device 29.2 on pci0
uhci2: [GIANT-LOCKED]
uhci2: [ITHREAD]
usb2: <Intel 631XESB/632XESB/3100 USB controller USB-3> on uhci2
usb2: USB revision 1.0
uhub2: <Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1> on usb2
uhub2: 2 ports with 2 removable, self powered
uhci3: <Intel 631XESB/632XESB/3100 USB controller USB-4> port 0x2e00-0x2e1f irq 22 at device 29.3 on pci0
uhci3: [GIANT-LOCKED]
uhci3: [ITHREAD]
usb3: <Intel 631XESB/632XESB/3100 USB controller USB-4> on uhci3
usb3: USB revision 1.0
uhub3: <Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1> on usb3
uhub3: 2 ports with 2 removable, self powered
ehci0: <Intel 63XXESB USB 2.0 controller> mem 0xf9000000-0xf90003ff irq 23 at device 29.7 on pci0
ehci0: [GIANT-LOCKED]
ehci0: [ITHREAD]
usb4: EHCI version 1.0
usb4: companion controllers, 2 ports each: usb0 usb1 usb2 usb3
usb4: <Intel 63XXESB USB 2.0 controller> on ehci0
usb4: USB revision 2.0
uhub4: <Intel EHCI root hub, class 9/0, rev 2.00/1.00, addr 1> on usb4
uhub4: 8 ports with 8 removable, self powered
pcib15: <ACPI PCI-PCI bridge> at device 30.0 on pci0
pci1: <ACPI PCI bus> on pcib15
vgapci0: <VGA-compatible display> port 0x4000-0x40ff mem 0xd0000000-0xd7ffffff,0xdfff0000-0xdfffffff irq 22 at device 6.0 on pci1
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel 63XXESB2 SATA300 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0x480-0x48f at device 31.2 on pci0
ata0: <ATA channel 0> on atapci0
ata0: [ITHREAD]
ata1: <ATA channel 1> on atapci0
ata1: [ITHREAD]
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
sio0: <16550A-compatible COM port> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
sio0: type 16550A
sio0: [FILTER]
pmtimer0 on isa0
orm0: <ISA Option ROMs> at iomem 0xc0000-0xcafff,0xcb000-0xcc7ff,0xcc800-0xcdfff,0xce000-0xd2fff pnpid ORM0000 on isa0
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
atkbd0: [ITHREAD]
ppc0: parallel port not found.
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
sio1: configured irq 3 not in bitmap of probed irqs 0
sio1: port may not be enabled
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
ukbd0: <vendor 0x0566 product 0x3002, class 0/0, rev 1.10/1.00, addr 2> on uhub2
kbd2 at ukbd0
uhid0: <vendor 0x0566 product 0x3002, class 0/0, rev 1.10/1.00, addr 2> on uhub2
ums0: <Logitech USB-PS/2 Optical Mouse, class 0/0, rev 2.00/11.10, addr 2> on uhub3
ums0: 3 buttons and Z dir.
Timecounters tick every 1.000 msec
hptrr: no controller detected.
md0: Preloaded image </boot/mfsroot> 4423680 bytes at 0xc0d06518
acd0: CDRW <HL-DT-STCD-RW/DVD DRIVE GCC-T10N/1.00> at ata1-master UDMA33
SMP: AP CPU #1 Launched!
SMP: AP CPU #3 Launched!
SMP: AP CPU #2 Launched!
acd0: FAILURE - READ_BIG ILLEGAL REQUEST asc=0x64 ascq=0x00
GEOM_LABEL: Label for provider acd0 is iso9660/FreeBSD_LiveFS.
acd0: FAILURE - READ_BIG ILLEGAL REQUEST asc=0x64 ascq=0x00
Trying to mount root from ufs:/dev/md0
umass0: <USB 2.0 USB Flash Drive, class 0/0, rev 2.00/1.00, addr 2> on uhub4
da0 at umass-sim0 bus 0 target 0 lun 0
da0: <USB 2.0 USB Flash Drive 1.00> Removable Direct Access SCSI-2 device
da0: 40.000MB/s transfers
da0: 1936MB (3964928 512 byte sectors: 255H 63S/T 246C)
GEOM_LABEL: Label for provider da0s1 is msdosfs/IGOR_FLASH.
GEOM_LABEL: Label msdosfs/IGOR_FLASH removed.
GEOM_LABEL: Label for provider da0s1 is msdosfs/IGOR_FLASH.
GEOM_LABEL: Label msdosfs/IGOR_FLASH removed.


Отсюда видно, что сам контроллер видно, но почему не установить на него ничего не понятно! В БИОСе самого котр-ра указал что бы был загрузочным.

[Neteru]

Все!!! Я победил!!!

[Barracuda]

И каким же образом?

[Neteru]

Проблема заключалась в размере блока. Как только я поставил 64 вместо 256 все стало видно.
Я так же отписался по этому поводу еще одному перцу из числа разработчиков Фри и он сказал


Ivan Voras <ivoras@frххbsd.org>
Igor_Z <50007хх@mail.ru>

> I found the problem it was stripe-unit size in ServeRAID 8k.
> When I change them to 64 from 256 FreeBSD is found RAID5.

This is strange - I always choose 64k.

> But I'd like to ask you about another moment. When I come to Fdisk menu i got
> message about "incorrect geometry". What I have to do for everything
> will be good?

Ignore that message, it has no use


что 64 использет постоянно. Так же я спросил про сообщение, которое появ. при входе в fdisk об "incorrect geometry" но что он сказал не обращать внимания т.к. это просто упущение которое еще не поправили.

Но вот что интересно.
Когда я создавал РЕЙД ч/з биос ServeRAID 8k ставя 64, 32, 128 и 256 Фря отказывалась видеть РЕЙД, но при создании РЕЙДа ч/з ServeRAID Support CD, а там Линуховый манагер для ServeRAID, то все прекрасно видно. Почему так я не знаю. И размер блока ч/з ServeRAID Support CD я задал 256 и все встало как надо!

[Barracuda]

Есть небольшое подозрение, что формат суперблока, который описывает конфигурацию рейда в самой железке, не понимается драйвером под Фрями, а тот манагер, которые работает из-под Линуха, записывает его в каком-то более удобоваримом формате. Но это всего лишь догадки и подобные вопросы надо направлять разработчикам дров. Увы, железо создаётся не под Фрю и весь API, часто и густо, закрыт.
А по поводу геометрии - оно почти всегда так пишет.