NAS: Porovnání verzí

Z Wiki UnArt Slavičín
Skočit na navigaciSkočit na vyhledávání
 
(Není zobrazeno 32 mezilehlých verzí od stejného uživatele.)
Řádek 6: Řádek 6:
Systémy velkých RAID polí dokážete postavit za řádově menší cenu.
Systémy velkých RAID polí dokážete postavit za řádově menší cenu.
Chce to ale být dobrý kamaárd s Googlem a zorientovat se v problematice. Tato stránka tu orientaci trochu urychlí.
Chce to ale být dobrý kamaárd s Googlem a zorientovat se v problematice. Tato stránka tu orientaci trochu urychlí.
=Řešení "Urob si sám" (Do It Yourself)=
==Export disků přes iSCSI==
[http://en.wikipedia.org/wiki/ISCSI iSCSI] je protokol nad TCP/IP, který umožňuje připojit externí disky přes ethernet tak, že se chovají jako "vlastní".
Jediná alternativa k iSCSI je iSCSI je [http://en.wikipedia.org/wiki/ATA_over_Ethernet ATA over Ethernet] - jednodušší protokol, který sice není standardizován, ale můžete s ním dosáhnout většího výkonu a menší zátěže CPU.
Základním předpokladem je hodně tlustý ethernet link ke stroji NAS. Protože 10Gbit ethernet je zatím šíleně drahý, jsme odkázaní na Gbit ethernet a linux ethernet bonding, k tomu ale musíte mít v NASu dostatek síťových karet - pro každý klientský stroj alespoň jednu. Pokud vám pro externí karty nestačí PCIe sloty, použijte dual nebo quad port karty:
[http://www.lan-shop.cz/intel-expi9402ptblk-pro-1000-pt-86730 Serverový adapter INTEL PRO 1000 PT - Dual Port Server Adapter] - 3431 Kč vč. DPH
[http://www.lan-shop.cz/intel-e1g44etblk-72074 Síťová karta Intel Gigabit ET, 4x PCIe, Quad Port Server Adapter, bulk] 9496 Kč vč. DPH
Jak vidíte, je "tlustý ethernet" na straně NAS velmi drahá záležitost: pokud máte na mainboardu pouze 1 Gbit kartu a pouze 1 volný PCIe slot, pak za kapacitu 5Gbit/s na straně NAS zaplatíte 9500 Kč!
Cenově mnohem výhodnější je spojit NAS se servery pomocí řadičů SAS a SAS expanderu.


==Použití řadičů SAS==
==Použití řadičů SAS==
Řádek 20: Řádek 35:


===SAS expanders===
===SAS expanders===
Porty SAS řadiče lze rozšířit přes SAS expander, např. [http://www.atcomp.cz/zbozi/hp-sas-expander-card/detail.aspx?p=z:148001&page=2-obchodni-parametry HP SAS Expander Card] za 9600 Kč. [http://www.storageforum.net/forum/showthread.php?t=8012 Popis je zde], cena se zdá vysoká, ale za 32 portů SAS2 (!!6Gbit!!) je naprosto odpovídající - 300 Kč/port je stejné jako u 4 port SATA PCIe řadičů, s tím, že zde máte SAS switch, do kterého lze připojit i více různých počítačů - tj. můžete vytvořit společné diskové pole pro více serverů, můžete tvořit failover (každý server bude připojen ke 2ma diskovým polím) atd - samozřejmě omezením je max. povolená délka externího SAS kabelu.
Porty SAS řadiče lze zapojit do SAS expander, což je pro SAS něco jako switch pro ethernet. Pomocí SAS expanderů lze tvořit velmi složité a rozsáhlé topologie, viz [http://www.tomshardware.com/reviews/sas-storage,1239-5.html tento příklad].
 
Pokud máte rozumný rozpočet (cca 30tis. Kč), můžete si SAS expander koupit jako celek se SAS backplane-m a hotswap šachtami v nějaké pěkné skříni SuperMicro - viz [[#Skříně|odstavec Skříně]]
 
Pokud tolik peněz nemáte, musíte se smířit s tím, že SAS expandery se samostatně moc neprodávají. Samostatný SAS expander aktuálně dostupný  na trhu je tento:
*[http://www.atcomp.cz/zbozi/hp-sas-expander-card/detail.aspx?p=z:148001&page=2-obchodni-parametry HP SAS Expander Card] za 9600 Kč. [http://www.storageforum.net/forum/showthread.php?t=8012 Popis je zde]
**cena se zdá vysoká, ale za 32 portů SAS2 (!!6Gbit!!) je naprosto odpovídající - 300 Kč/port je stejné jako u 4 port SATA PCIe řadičů, s tím, že zde máte SAS switch, do kterého lze připojit i více různých počítačů - tj. můžete vytvořit společné diskové pole pro více serverů, můžete tvořit failover (každý server bude připojen ke 2ma diskovým polím) atd - samozřejmě omezením je max. povolená délka externího SAS kabelu.
**SAS expander nepotřebuje základní desku - z PCIe slotu používá jenom napájení. Místo základní desky jej můžete napájet pomocí této destičky: [http://www.orbitmicro.com/global/pe-2sd1-r10-p-9375.html 2-slots 1U Backplane with 1x PCIe (x16) Slot,  Part Number: PE-2SD1-R10, SKU Number: 9375] za 38 USD. Nějaká levná základní deska s PCIex16 použitá pro napájení expanderu by také nebyla špatná, může totiž sloužit jako můstek mezi diskovým polem a ethernetem. V takovém případě by to ale chtělo aspoň 2x Gbit ethernet rozhraní, ještě lépe 4xGbit, protože ethernet je zde úzkým hrdlem - viz [[#Export disků přes iSCSI|Export disků přes iSCSI]]
*Příklady expanderů výrobců, které se nedají koupit samostatně:
**http://www.condrestorage.com/sas_expander.html
**http://www.astekcorp.com/index.php/Products/A33603-AIC.html
**http://www.areca.us/products/sascableexpander.htm


Pro připojení více serverů k SAS expanderu stačí osadit do case expanderu konektory pro externí SAS kabely, např.:
Pro připojení více serverů k SAS expanderu stačí osadit do case expanderu konektory pro externí SAS kabely, např.:
*1 portové
*1 portové
**[http://www.abacus.cz/print.asp?cls=stoitem&stiid=1012014 SuperMicro CBL-0167L SFF-8087 -> SFF-8088 (kabel 70cm+bracket k E1 backplane)] 790 Kč vč. DPH
**[http://www.ioisas.com/Adapter/MSAS36-2601P.htm IOI MSAS36-2601P] neboli [http://shop.softcom.cz/eshop/?cls=stoitem&stiid=89835 SAS redukce int. SFF-8087 -> ext. SFF-8088, Mini SAS 36pin to Mini SAS 26pin] 780 Kč vč. DPH
**[http://www.ioisas.com/Adapter/MSAS36-2601P.htm IOI MSAS36-2601P] neboli [http://shop.softcom.cz/eshop/?cls=stoitem&stiid=89835 SAS redukce int. SFF-8087 -> ext. SFF-8088, Mini SAS 36pin to Mini SAS 26pin] 780 Kč vč. DPH
*2 portové
*2 portové
**[http://www.elpeus.com/index.php?main_page=product_info&products_id=1370&language=en]
**[http://www.abacus.cz/print.asp?cls=stoitem&stiid=1012013 SuperMicro CBL-0168L SFF-8087 -> SFF-8088 (kabel 70+77cm+bracket k E2 backplane)] 1418 Kč
**[http://www.elpeus.com/index.php?main_page=product_info&products_id=1370&language=en Dual Mini SAS SFF-8088 to Mini SAS SFF-8087, Centronics BRACKET] 60 USD
**[http://www.satadrives.com/index.php/misashopciad1.html MX-PRO0H2 Mini SAS Host PCI Adapter Bracket SFF-8087-SFF-8088 36Hx2-26TX2] 48 USD
*4 portové
*4 portové
**[]
**[http://www.netstor.com.tw/_03/03_02.php?NjA= NS970S Quad internal miniSAS to external miniSAS Adapter]
*  
**[http://www.span.com/product_info.php?products_id=16642 IRA-PS4 4-Port miniSAS (SFF8087 to SFF8088) PCI Backplate] 50 GBP bez DPH


===miniSAS kabely===
Externí SAS kabely lze pořídit kolem 1000 Kč, např.:
Externí SAS kabely lze pořídit kolem 1000 Kč, např.:
*[http://www.suntech.cz/produkt/115105/Supermicro-kabel-SFF-8088-SFF-8088-1m.htm Supermicro kabel CBL-0166L SFF-8088 -> SFF-8088 1m]
*[http://www.suntech.cz/produkt/115105/Supermicro-kabel-SFF-8088-SFF-8088-1m.htm Supermicro kabel CBL-0166L SFF-8088 -> SFF-8088 1m] - 1000 Kč
*[http://www.suntech.cz/produkt/135419/kabel-SFF-8088-SFF-8088-200cm.htm SFF-8088 -> SFF-8088 200cm] - 1500 Kč
*[http://www.lan-shop.cz/hewlett-packard-432238-b21-76841 HP External Mini SAS 4m Cable] - 4000 Kč
 
Pokud dojdou v SAS expanderu porty, lze další servery připojovat přes ethernet (iSCSI), ale pak je potřeba nevytvořit na ethernetu úzké hrdlo - je potřeba jednotlivé iSCSI disky exportovat z více strojů a za tímto účelem použít [[http://www.novell.com/communities/node/6305/implmenting-mpio-over-iscsi-considerations-common-issues-and-clustering-concerns|Linux mapper Multipath IO s load balancing]].


==Použití řadičů SATA==
==Použití řadičů SATA==
Řádek 87: Řádek 122:
*Sil3512
*Sil3512
**ST-Lab A-380/390
**ST-Lab A-380/390
==Skříně==
*SuperMicro včetně SAS expanderů: V dokumentaci najdete i příklady zapojení - viz [http://www.supermicro.com/manuals/other/BPN-SAS-826EL.pdf manuál k SAS-826EL] nebo [http://supermicro.com/manuals/chassis/tower/SC846.pdf manuál ke skříni SC846]. Ceny [http://www.nejlevnejsipocitace.cz/shop/rackove-skrine-3u-c-10_670_1310.html?page=2&filter_id=193&sort=2a najdete např. zde].
**[http://www.supermicro.com/products/chassis/2U/826/SC826E2-R800LP.cfm SuperChassis 826E2-R800LPV] - 2U, 12 hotswap disků, 2x 28 port SAS expander. [http://www.nejlevnejsipocitace.cz/shop/advanced_search_result.html?keyword=SC826E&search_in_description=1 Ceny viz zde]:
***ve verzi E1 (single channel = 1x expander chip) od 22tis. Kč vč. DPH 
***ve verzi E2 (dual channel = 2x expander chip) od 26tis. Kč vč. DPH. Dual channel nemá asi smysl, pokud nemáte dual channel SAS disky.
**[http://www.supermicro.com/products/chassis/3U/933/SC933E2-R760.cfm SuperChassis 933E2-R760] - 3U, 15 hotswap disků, 2x 28 port SAS expander. [http://www.nejlevnejsipocitace.cz/shop/advanced_search_result.html?keyword=SC933E&search_in_description=1 Ceny viz zde]:
***ve verzi E1 (single channel = 1x expander chip) od 25.5tis. Kč vč. DPH 
***ve verzi E2 (dual channel = 2x expander chip) od 28.8tis. Kč vč. DPH.
**[http://www.supermicro.com/products/chassis/4U/846/SC846E16-R1200.cfm SuperChassis 846E16-R1200B] - 4U, 24 hotswap disků. [http://www.nejlevnejsipocitace.cz/shop/advanced_search_result.html?keyword=SC846E&search_in_description=1 Ceny viz zde]:
***ve verzi E1 (single channel = 1x expander chip) od 31.6tis. Kč vč. DPH 
***ve verzi E2 (dual channel = 2x expander chip) od 36.2tis. Kč vč. DPH.
*[http://www.newegg.com/Product/Product.aspx?Item=N82E16811219021 Norco RPC-4020], od 264 USD - skříň s 20 hotswap disky s nejlepším poměrem "cena/hotswap slot", bez SAS expanderu (backplane má 20 SATA konektorů),  [http://www.avsforum.com/avs-vb/showthread.php?t=1119818 fotodokumentace a pokec je zde]. Ve zkratce - je to levné, ale konstrukce je jako z papíru, na fotkách je to nejvíc vidět u rámečků disků. 20 konektorů se dá snadno "nakrmit" např. z výše uvedeného SAS expanderu HP.


==Odkazy==
==Odkazy==
http://www.pc-pitstop.com/sata_raid_controllers/esatapcie4.asp
*http://www.abclinuxu.cz/poradna/hardware/show/276556#5 - Sumarizace chipsetů SATA řadičů
https://ata.wiki.kernel.org/index.php/Sata_sil24
*http://www.pc-pitstop.com/sata_raid_controllers/esatapcie4.asp
http://www.pc-pitstop.com/sas_expanders/
*https://ata.wiki.kernel.org/index.php/Sata_sil24
 
*http://www.pc-pitstop.com/sas_expanders/
http://wiki.slfree.net/index.php/Fujitsu_PRIMERGY_TX200
*http://wiki.slfree.net/index.php/Fujitsu_PRIMERGY_TX200

Aktuální verze z 23. 2. 2011, 15:16

aneb jak postavit levně Network Attached Storage

Hotová řešení

Nejsou levná. Podobný systém se 4mi nebo 5ti disky jako Synology-DS509 dokážete postavit za poloviční cenu. Systémy velkých RAID polí dokážete postavit za řádově menší cenu. Chce to ale být dobrý kamaárd s Googlem a zorientovat se v problematice. Tato stránka tu orientaci trochu urychlí.

Řešení "Urob si sám" (Do It Yourself)

Export disků přes iSCSI

iSCSI je protokol nad TCP/IP, který umožňuje připojit externí disky přes ethernet tak, že se chovají jako "vlastní".

Jediná alternativa k iSCSI je iSCSI je ATA over Ethernet - jednodušší protokol, který sice není standardizován, ale můžete s ním dosáhnout většího výkonu a menší zátěže CPU.

Základním předpokladem je hodně tlustý ethernet link ke stroji NAS. Protože 10Gbit ethernet je zatím šíleně drahý, jsme odkázaní na Gbit ethernet a linux ethernet bonding, k tomu ale musíte mít v NASu dostatek síťových karet - pro každý klientský stroj alespoň jednu. Pokud vám pro externí karty nestačí PCIe sloty, použijte dual nebo quad port karty: Serverový adapter INTEL PRO 1000 PT - Dual Port Server Adapter - 3431 Kč vč. DPH Síťová karta Intel Gigabit ET, 4x PCIe, Quad Port Server Adapter, bulk 9496 Kč vč. DPH

Jak vidíte, je "tlustý ethernet" na straně NAS velmi drahá záležitost: pokud máte na mainboardu pouze 1 Gbit kartu a pouze 1 volný PCIe slot, pak za kapacitu 5Gbit/s na straně NAS zaplatíte 9500 Kč!

Cenově mnohem výhodnější je spojit NAS se servery pomocí řadičů SAS a SAS expanderu.

Použití řadičů SAS

Řadiče SAS se dělají 4 i 8 portové.

Např.:

Porty SAS řadiče lze rozmnožit pomocí SAS expanderů. Řadiče SAS nelze připojit k SATA multiplier-u, protože [1]:

"SAS operates similar to FC, where a target device or host has a WWPN (World Wide Public Name.) Each device has it's own unique WWPN. SATA does not provide a WWPN or any mechanism for a WWPN. An Interposer translates a blind SATA target into a named WWPN target. This is the requirement for mixing SATA and SAS on the same controller or bus. Understand, the WWPN requirement goes around with a direct attachment, but returns with multi-port SATA (e.g. IBM EDDM) or anything which may interfere with the "direct" connection, very specifically multi-lane connectors."

SAS expanders

Porty SAS řadiče lze zapojit do SAS expander, což je pro SAS něco jako switch pro ethernet. Pomocí SAS expanderů lze tvořit velmi složité a rozsáhlé topologie, viz tento příklad.

Pokud máte rozumný rozpočet (cca 30tis. Kč), můžete si SAS expander koupit jako celek se SAS backplane-m a hotswap šachtami v nějaké pěkné skříni SuperMicro - viz odstavec Skříně

Pokud tolik peněz nemáte, musíte se smířit s tím, že SAS expandery se samostatně moc neprodávají. Samostatný SAS expander aktuálně dostupný na trhu je tento:


Pro připojení více serverů k SAS expanderu stačí osadit do case expanderu konektory pro externí SAS kabely, např.:

miniSAS kabely

Externí SAS kabely lze pořídit kolem 1000 Kč, např.:

Pokud dojdou v SAS expanderu porty, lze další servery připojovat přes ethernet (iSCSI), ale pak je potřeba nevytvořit na ethernetu úzké hrdlo - je potřeba jednotlivé iSCSI disky exportovat z více strojů a za tímto účelem použít [mapper Multipath IO s load balancing].

Použití řadičů SATA

Řadiče SATA do PCI(e) se dnes vyrábějí max. 4 portové. Budete potřebujete víc než 4 další porty a nebudete mít volné PCI sloty, můžete využít Port Multiplier.

SATA port multipliers

Úspěšná story s Port multipliers máte zde: http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/

Port multiplier můžete v ČR koupit např.

Oba produkty jsou určeny pro externí disková pole (tj. ne do PC k připojení k základní desce). Už podle ceny vidíte, že do PC se spíš vyplatí strčit nějaký PCI(e) řadič.

Oba tyto produkty budou fungovat pouze s řadičem, který má v tomto seznamu https://ata.wiki.kernel.org/index.php/SATA_hardware_features ve sloupečku "PMP" hodnotu "yes". Ve sloupečku "PMP SM" by pak měla být hodnota "FBS".

Např.:


Řadiče, které podporují jenom PMP pouze přes CBS:


Řadiče, které PMP nepodporují vůbec:

Skříně

  • SuperMicro včetně SAS expanderů: V dokumentaci najdete i příklady zapojení - viz manuál k SAS-826EL nebo manuál ke skříni SC846. Ceny najdete např. zde.
    • SuperChassis 826E2-R800LPV - 2U, 12 hotswap disků, 2x 28 port SAS expander. Ceny viz zde:
      • ve verzi E1 (single channel = 1x expander chip) od 22tis. Kč vč. DPH
      • ve verzi E2 (dual channel = 2x expander chip) od 26tis. Kč vč. DPH. Dual channel nemá asi smysl, pokud nemáte dual channel SAS disky.
    • SuperChassis 933E2-R760 - 3U, 15 hotswap disků, 2x 28 port SAS expander. Ceny viz zde:
      • ve verzi E1 (single channel = 1x expander chip) od 25.5tis. Kč vč. DPH
      • ve verzi E2 (dual channel = 2x expander chip) od 28.8tis. Kč vč. DPH.
    • SuperChassis 846E16-R1200B - 4U, 24 hotswap disků. Ceny viz zde:
      • ve verzi E1 (single channel = 1x expander chip) od 31.6tis. Kč vč. DPH
      • ve verzi E2 (dual channel = 2x expander chip) od 36.2tis. Kč vč. DPH.
  • Norco RPC-4020, od 264 USD - skříň s 20 hotswap disky s nejlepším poměrem "cena/hotswap slot", bez SAS expanderu (backplane má 20 SATA konektorů), fotodokumentace a pokec je zde. Ve zkratce - je to levné, ale konstrukce je jako z papíru, na fotkách je to nejvíc vidět u rámečků disků. 20 konektorů se dá snadno "nakrmit" např. z výše uvedeného SAS expanderu HP.

Odkazy