NAS

aneb jak postavit levně Network Attached Storage

Hotová řešení

Nejsou levná. Podobný systém se 4mi nebo 5ti disky jako Synology-DS509 dokážete postavit za poloviční cenu. Systémy velkých RAID polí dokážete postavit za řádově menší cenu. Chce to ale být dobrý kamaárd s Googlem a zorientovat se v problematice. Tato stránka tu orientaci trochu urychlí.

Řešení "Urob si sám" (Do It Yourself)

Export disků přes iSCSI

iSCSI je protokol nad TCP/IP, který umožňuje připojit externí disky přes ethernet tak, že se chovají jako "vlastní".

Jediná alternativa k iSCSI je iSCSI je ATA over Ethernet - jednodušší protokol, který sice není standardizován, ale můžete s ním dosáhnout většího výkonu a menší zátěže CPU.

Základním předpokladem je hodně tlustý ethernet link ke stroji NAS. Protože 10Gbit ethernet je zatím šíleně drahý, jsme odkázaní na Gbit ethernet a linux ethernet bonding, k tomu ale musíte mít v NASu dostatek síťových karet - pro každý klientský stroj alespoň jednu. Pokud vám pro externí karty nestačí PCIe sloty, použijte dual nebo quad port karty: Serverový adapter INTEL PRO 1000 PT - Dual Port Server Adapter - 3431 Kč vč. DPH Síťová karta Intel Gigabit ET, 4x PCIe, Quad Port Server Adapter, bulk 9496 Kč vč. DPH

Jak vidíte, je "tlustý ethernet" na straně NAS velmi drahá záležitost: pokud máte na mainboardu pouze 1 Gbit kartu a pouze 1 volný PCIe slot, pak za kapacitu 5Gbit/s na straně NAS zaplatíte 9500 Kč!

Cenově mnohem výhodnější je spojit NAS se servery pomocí řadičů SAS a SAS expanderu.

Použití řadičů SAS

Řadiče SAS se dělají 4 i 8 portové.

Např.:

• FUJITSU RAID 0/1 SAS based on LSI MegaRAID 4Port (LSI 1064) 2612 Kč vč. DPH
• FUJITSU RAID 0/1 SAS based on LSI MegaRAID 8Port (LSI 1068) 3215 Kč vč. DPH
• Supermicro 8s SAS swRAID řadič WXP/2k/2k3/2k8,RHEL,PCI-E4 ,LP (Marvell 6480) 2710 Kč vč. DPH - bacha, v Linuxu asi stále není moc použitelný

Porty SAS řadiče lze rozmnožit pomocí SAS expanderů. Řadiče SAS nelze připojit k SATA multiplier-u, protože [1]:

"SAS operates similar to FC, where a target device or host has a WWPN (World Wide Public Name.) Each device has it's own unique WWPN. SATA does not provide a WWPN or any mechanism for a WWPN. An Interposer translates a blind SATA target into a named WWPN target. This is the requirement for mixing SATA and SAS on the same controller or bus. Understand, the WWPN requirement goes around with a direct attachment, but returns with multi-port SATA (e.g. IBM EDDM) or anything which may interfere with the "direct" connection, very specifically multi-lane connectors."

SAS expanders

Porty SAS řadiče lze zapojit do SAS expander, což je pro SAS něco jako switch pro ethernet. Pomocí SAS expanderů lze tvořit velmi složité a rozsáhlé topologie, viz tento příklad.

Pokud máte rozumný rozpočet (cca 30tis. Kč), můžete si SAS expander koupit jako celek se SAS backplane-m a hotswap šachtami v nějaké pěkné skříni SuperMicro - viz odstavec Skříně

Pokud tolik peněz nemáte, musíte se smířit s tím, že SAS expandery se samostatně moc neprodávají. Samostatný SAS expander aktuálně dostupný na trhu je tento:

• HP SAS Expander Card za 9600 Kč. Popis je zde
  • cena se zdá vysoká, ale za 32 portů SAS2 (!!6Gbit!!) je naprosto odpovídající - 300 Kč/port je stejné jako u 4 port SATA PCIe řadičů, s tím, že zde máte SAS switch, do kterého lze připojit i více různých počítačů - tj. můžete vytvořit společné diskové pole pro více serverů, můžete tvořit failover (každý server bude připojen ke 2ma diskovým polím) atd - samozřejmě omezením je max. povolená délka externího SAS kabelu.
  • SAS expander nepotřebuje základní desku - z PCIe slotu používá jenom napájení. Místo základní desky jej můžete napájet pomocí této destičky: 2-slots 1U Backplane with 1x PCIe (x16) Slot, Part Number: PE-2SD1-R10, SKU Number: 9375 za 38 USD. Nějaká levná základní deska s PCIex16 použitá pro napájení expanderu by také nebyla špatná, může totiž sloužit jako můstek mezi diskovým polem a ethernetem. V takovém případě by to ale chtělo aspoň 2x Gbit ethernet rozhraní, ještě lépe 4xGbit, protože ethernet je zde úzkým hrdlem - viz Export disků přes iSCSI
• Příklady expanderů výrobců, které se nedají koupit samostatně:
  • http://www.condrestorage.com/sas_expander.html
  • http://www.astekcorp.com/index.php/Products/A33603-AIC.html
  • http://www.areca.us/products/sascableexpander.htm

Pro připojení více serverů k SAS expanderu stačí osadit do case expanderu konektory pro externí SAS kabely, např.:

• 1 portové
  • SuperMicro CBL-0167L SFF-8087 -> SFF-8088 (kabel 70cm+bracket k E1 backplane) 790 Kč vč. DPH
  • IOI MSAS36-2601P neboli SAS redukce int. SFF-8087 -> ext. SFF-8088, Mini SAS 36pin to Mini SAS 26pin 780 Kč vč. DPH
• 2 portové
  • SuperMicro CBL-0168L SFF-8087 -> SFF-8088 (kabel 70+77cm+bracket k E2 backplane) 1418 Kč
  • Dual Mini SAS SFF-8088 to Mini SAS SFF-8087, Centronics BRACKET 60 USD
  • MX-PRO0H2 Mini SAS Host PCI Adapter Bracket SFF-8087-SFF-8088 36Hx2-26TX2 48 USD
• 4 portové
  • NS970S Quad internal miniSAS to external miniSAS Adapter
  • IRA-PS4 4-Port miniSAS (SFF8087 to SFF8088) PCI Backplate 50 GBP bez DPH

miniSAS kabely

Externí SAS kabely lze pořídit kolem 1000 Kč, např.:

• Supermicro kabel CBL-0166L SFF-8088 -> SFF-8088 1m - 1000 Kč
• SFF-8088 -> SFF-8088 200cm - 1500 Kč
• HP External Mini SAS 4m Cable - 4000 Kč

Pokud dojdou v SAS expanderu porty, lze další servery připojovat přes ethernet (iSCSI), ale pak je potřeba nevytvořit na ethernetu úzké hrdlo - je potřeba jednotlivé iSCSI disky exportovat z více strojů a za tímto účelem použít [mapper Multipath IO s load balancing].

Použití řadičů SATA

Řadiče SATA do PCI(e) se dnes vyrábějí max. 4 portové. Budete potřebujete víc než 4 další porty a nebudete mít volné PCI sloty, můžete využít Port Multiplier.

SATA port multipliers

Úspěšná story s Port multipliers máte zde: http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/

Port multiplier můžete v ČR koupit např.

• IOI SPMH3726-SE SATA Port Multiplier eSATA na 5xSATA 1713 Kč vč. DPH
• IOI SATAPMH141-P SATA Port Multiplier PCI slot na 4xSATA 1121 Kč vč. DPH

Oba produkty jsou určeny pro externí disková pole (tj. ne do PC k připojení k základní desce). Už podle ceny vidíte, že do PC se spíš vyplatí strčit nějaký PCI(e) řadič.

Oba tyto produkty budou fungovat pouze s řadičem, který má v tomto seznamu https://ata.wiki.kernel.org/index.php/SATA_hardware_features ve sloupečku "PMP" hodnotu "yes". Ve sloupečku "PMP SM" by pak měla být hodnota "FBS".

Např.:

• Řadiče uvedené zde: http://www.pc-pitstop.com/sata_port_multipliers/
• Sil3124 - 4 porty na PCI 32bit/33-66 MHz. Upozornění: na deskách s Intel Atom (např. D525) je PCI pouze 32bit/33MHz, teoretická max. propustnost PCI je 133MB/s, jediný dobrý HDD tedy dokáže PCI saturovat. Vaším úzkým hrdlem tedy bude PCI už při jednom harddisku. Připojením více harddisků u SW RAIDu (kde se vše žene přes PCI a CPU) budete mít diskové operace jenom pomalejší.
  • AXAGO - PCIS-60 PCI řadič 4x int.SATA 3G RAID 0/1/5/10 SI 1240 Kč vč. DPH
  • AXAGO - PCIS-65 PCI řadič 2x eSATA+2x int.SATA 3G RAID SI 985 Kč vč. DPH
  • Addonics ADSA4R5 $102
• Sil3132
  • AXAGO - PCES-30 PCI-Express řadič 2x int.SATA - 430 Kč vč DPH
  • Delock PCI Express Card > 2x Power Over eSATA
  • ST-LAB-A-331 - 2xSATA xor 2x eSata 380 Kč vč. DPH
  • Digitus PCI Express SATA II Card, 2x SATA II (eSATA), RAID - 560 Kč vč DPH
  • IOI SATA2-PCIE02 PCI Express x1 SATA II 2Port
• Marvell MV7042
  • ST-LAB A-370, řadič SATA/eSATA, 4+2 porty, PCIe 1400 Kč s DPH
  • Digitus ds 30104 1368 Kč s DPH
  • Adaptec AAR 1430sa 2800 Kč s DPH

Řadiče, které podporují jenom PMP pouze přes CBS:

• Delock PCI Express controller card 2x SATA, 1x IDE, nr 89143 (JMicron JMB36X)
• ta stejná karta pod jiným jménem: i-tec PCIe Serial ATA II Card
• a ještě jednou pod jiným jménem: Axago PCES-X1

Řadiče, které PMP nepodporují vůbec:

• IOI SATA2-PCIE1X12 - Marvel MV6121
• Sil3112
  • Kouwell KW-571S-4
• Sil3114
  • ST-Lab A-223
  • i-Tec PCI SATA 150 RAID
  • ST-LAB A-224
  • Delock Controller SATA, 4 port with Raid, nr. 70154
• Sil3512
  • ST-Lab A-380/390

Skříně

• SuperMicro včetně SAS expanderů: V dokumentaci najdete i příklady zapojení - viz manuál k SAS-826EL nebo manuál ke skříni SC846. Ceny najdete např. zde.
  • SuperChassis 826E2-R800LPV - 2U, 12 hotswap disků, 2x 28 port SAS expander. Ceny viz zde:
    • ve verzi E1 (single channel = 1x expander chip) od 22tis. Kč vč. DPH
    • ve verzi E2 (dual channel = 2x expander chip) od 26tis. Kč vč. DPH. Dual channel nemá asi smysl, pokud nemáte dual channel SAS disky.
  • SuperChassis 933E2-R760 - 3U, 15 hotswap disků, 2x 28 port SAS expander. Ceny viz zde:
    • ve verzi E1 (single channel = 1x expander chip) od 25.5tis. Kč vč. DPH
    • ve verzi E2 (dual channel = 2x expander chip) od 28.8tis. Kč vč. DPH.
  • SuperChassis 846E16-R1200B - 4U, 24 hotswap disků. Ceny viz zde:
    • ve verzi E1 (single channel = 1x expander chip) od 31.6tis. Kč vč. DPH
    • ve verzi E2 (dual channel = 2x expander chip) od 36.2tis. Kč vč. DPH.
• Norco RPC-4020, od 264 USD - skříň s 20 hotswap disky s nejlepším poměrem "cena/hotswap slot", bez SAS expanderu (backplane má 20 SATA konektorů), fotodokumentace a pokec je zde. Ve zkratce - je to levné, ale konstrukce je jako z papíru, na fotkách je to nejvíc vidět u rámečků disků. 20 konektorů se dá snadno "nakrmit" např. z výše uvedeného SAS expanderu HP.

Odkazy

• http://www.abclinuxu.cz/poradna/hardware/show/276556#5 - Sumarizace chipsetů SATA řadičů
• http://www.pc-pitstop.com/sata_raid_controllers/esatapcie4.asp
• https://ata.wiki.kernel.org/index.php/Sata_sil24
• http://www.pc-pitstop.com/sas_expanders/
• http://wiki.slfree.net/index.php/Fujitsu_PRIMERGY_TX200