2018年11月29日 星期四

測試P2P及GPU，QPI Early Snoop的設定影響

在Intel Haswell這一代，QPI下有個Early Snoop功能。這個early snoop功能在於HPC做cache分派時，能透過early snoop功能獲得job load balance效果。但用於GPU上，因為需要CPU及PCIe的頻寬，因此需要將此給關閉。
這是Intel對early snoop的解釋


進入測試重點：
首先，先測試Early Snoop開啟/Auto狀態下的數值。此次我是採用nVidia K40m來測試。附帶一提的是，nVidia不支援跨QPI/UPI(SKL平台)的P2P。並且P2P的任何結果僅供參考 (reference only).


Early Snoop開啟下，P2P獲得的值：單向為 5.13, 7.96 GB/s  雙向(Bidirection)為 6.66, 6.95 GB/s 

Early Snoop關閉下，P2P獲得的值：單向為 9.30, 9.31 GB/s  雙向(Bidirection)為 18.34, 17.98 GB/s 

因此，如果使用Haswell平台應用在GPU P2P的環境，例如AI, Deep Learning, Tensorflow等，可以把early snoop給關閉獲取最大傳輸頻寬。

張貼者： 於 沒有留言:
標籤： , ,

2018年8月2日 星期四

啟動phpmyadmin發生 mbstring extension is missing. Please check your PHP configuration 錯誤

出現此錯誤是在於phpmyadmin需要mbstring的函數庫支援，而系統未安裝。
解決此問題可以透過
   #yum install php-mbstring 
解決

張貼者： 於 沒有留言:
標籤：

2018年7月5日 星期四

VMware ESXi 6.7 不再支援的磁碟陣列及HBA卡

最近拿BCM/Avago 8708EM2 卡測試，發現不少問題。有使用VMware 6.7的請注意這個 KB

ESXi 6.7 不再支援及的磁碟陣列/HBA控制器：

This table lists the devices that are deprecated and no longer supported in ESXi 6.7:
PartnerDriverDevice IDsDevice Name 
Fujitsu Siemensmegaraid_sas1000:0060:1734:10f9Raid 5/6 based on LSI MegaRAID
IBMmegaraid_sas1000:0060:1014:0363IBM ServeRAID-MR10k SAS/SATA Controller
1000:0060:1014:0366LSI1078IR
1000:0060:1014:0395ServeRAID-AR10is SAS/SATA Controller
Intelmegaraid_sas1000:0060:8086:34e4Integrated Intel RAID Controller SROMBSASBN
1000:0060:8086:1013Intel RAID Controller SRCSASBB8I
1000:0060:8086:1006Intel RAID Controller SRCSASJV
1000:0060:8086:1021Intel RAID Controller SRCSASLS4I
1000:0060:8086:100aIntel RAID Controller SRCSASRB
1000:0060:8086:1010Intel RAID Controller SRCSATAWB
1000:0060:8086:34ccIntel RAID Controller SROMBSASFC
1000:0060:8086:34cdIntel RAID Controller SROMBSASFC
1000:0060:8086:3505Intel RAID Controller SROMBSASMP2
1000:0060:8086:3508Intel RAID Controller SROMBSASMR
LSImegaraid_sas1000:0060:1028:1f0aDELL PERC 6/E Adapter RAID Controller
1000:0060:1028:1f0bDELL PERC 6/i Adapter RAID Controller
1000:0060:1014:0364IBM ServeRAID-MR10i SAS/SATA Controller
1000:0060:1014:03a2IBM ServeRAID-MR10i SAS/SATA Controller
1000:0060:1014:03acIBM ServeRAID-MR10ie (CLOv) Controller
1000:0060:1014:0379IBM ServeRAID-MR10M SAS/SATA Controller
1000:0060:1014:0000IBM SystemX MegaRAID SAS 8708EM2
1000:0060:1014:0365IBM SystemX MegaRAID SAS 8884E
1000:0060:1000:1013LSI Logic MegaRAID SAS 8700EM2
1000:0060:1000:1012LSI Logic MegaRAID SAS 8704ELP
1000:0060:1000:1021LSI Logic MegaRAID SAS 8704EM2
1000:0060:1000:100fLSI Logic MegaRAID SAS 8708E
1000:0060:1000:100aLSI Logic MegaRAID SAS 8708ELP
1000:0060:1000:1022LSI Logic MegaRAID SAS 8708EM2-256
1000:0060:1000:1019LSI Logic MegaRAID SAS 8744ELP
1000:0060:1000:1017LSI Logic MegaRAID SAS 8744EM2
1000:0060:1000:1015LSI Logic MegaRAID SAS 8780EM2
1000:0060:1000:1014LSI Logic MegaRAID SAS 8800EM2
1000:0060:1000:101aLSI Logic MegaRAID SAS 8844ELP
1000:0060:1000:1018LSI Logic MegaRAID SAS 8844EM2
1000:0060:1000:100eLSI Logic MegaRAID SAS 8884E
1000:0060:1000:1006LSI Logic MegaRAID SAS 8888ELP
1000:0060:15d9:c080LSI Logic MegaRAID SAS PCI Express ROMB
1000:0060:1033:835aLSI Logic MegaRAID SAS PCI Express ROMB
1000:0060:1054:3019LSI Logic MegaRAID SAS PCI Express ROMB
1000:0060:1033:836aLSI Logic MegaRAID SAS PCI Express ROMB
1000:0060:0000:0000LSI Logic MegaRAID SAS1078R
1000:0060:1000:1011LSI Logic MegaRAID SATA 350-4ELP
1000:0060:1000:1010LSI Logic MegaRAID SATA 350-8ELP
1000:0060:1000:1016LSI MegaRAID SAS 8880EM2
1000:0060:18a1:0003LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2015LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2014LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2013LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2012LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2011LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2010LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2006LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2005LSI MegaRAID SAS PCI Express ROMB
1000:0060:1fca:2163LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2003LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2002LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2001LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2017LSI MegaRAID SAS PCI Express ROMB
1000:0060:17aa:6b7cLSI MegaRAID SAS PCI Express ROMB
1000:0060:1458:1000LSI MegaRAID SAS PCI Express ROMB
1000:0060:1170:0036LSI MegaRAID SAS PCI Express ROMB
1000:0060:1170:0034LSI MegaRAID SAS PCI Express ROMB
1000:0060:1170:002fLSI MegaRAID SAS PCI Express ROMB
1000:0060:1043:824dLSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2019LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:201aLSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2018LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2016LSI MegaRAID SAS PCI Express ROMB
1000:0060:1b0a:0014LSI MegaRAID SAS PCI Express ROMB
1000:0060:19e5:2004LSI MegaRAID SAS PCI Express ROMB
1000:0060:0000:0000MegaRAID 1078 RAID Controller
1000:0060:1734:1102Raid 5/6 based on LSI MegaRAID
1000:0060:1734:114bRaid 5/6 based on LSI MegaRAID
NECmegaraid_sas1000:0060:0000:0000NE3008-201
Compaqcciss0e11:b178:0e11:4083Smart Array 5312
0e11:b178:0e11:4082Smart Array 532
DELLsata_nv10de:037f:0000:0000nVidia MCP55 SATA Dell
NVIDIAsata_nv10de:037e:0000:0000MCP55 SATA Controller
10de:037f:0000:0000MCP55 SATA Controller
Sun Microsystemssata_nv10de:037f:0000:0000Nvidia MCP55 SATA Controller
10de:037f:108e:534bNvidia MCP55 SATA Controller
張貼者： 於 沒有留言:
標籤： ,

2018年5月15日 星期二

X722 SoC 網路晶片在更新BIOS後會不見

Supermicro X11 主機板或系統在更新BIOS後 (2.0b後)，會發現之前的X722本來是可以偵測的。透過Intel Diags或是LanConfig工具都無法抓取到網路裝置。在OS下亦無法卡到該裝置。

用戶可以透過以下方式修復，此問題亦刊登於 FAQ#27959 上。

張貼者： 於 沒有留言:
標籤： ,
位置： Taiwan

2017年11月22日 星期三

Use numactl to enhance performance or to eliminate bottleneck

Example on using numactl utility to perform bandwidth test with GPU.

Below is the numa architecture for my server hardware.


Running regular operation and limit the resource dedicated from CPU0. Bandwidth is around 11850~12867 MB/s, H2D and D2H


Changing memory resource accessing from CPU1 group. Bandwidth is dropping to lower performance result, approximately at 6669~7175MB/s



Conclusion:
While performing test, using correct numa and understanding hardware architecture is extremely important. It may impact the performance result if you run the benchmark utility for certain PCIe device under particular CPU group. I saw lots of cases reported from clients and asked the solutions. In many cases with DP motherboards, customer installed PCIe cards in 2nd CPU and ran benchmark utility for overall result. The default of OS will start from 1st CPU and it may get into trouble.

張貼者： 於 沒有留言:

2015年7月8日 星期三

BBU/SuperCAP進入充放電時，效能大不同。

先必須了解什麼是 Write-Back 與 Write-Through 模式。

LSI/Avago在手冊有其簡易定義。如果要了解更精闢或是更詳細說明，可以搜尋一下網路上很多文章討論。

今天所要探討的是：再搭配 BBU 設定 Write-Back 或 Write-Through，這兩個模式的效能是一樣的嗎？
LSI/Avago並沒有說明這點。但說了，當在進入 Learn Cycle DRT模式時，控制器會被切換成 Write-Through cache 模式。


有何影響？
我在硬碟壓力測試下，讓 LSI/Avago 控制器進行切換 Write-Back 與 Write-Through。發現差異頗大。


↑ 在切換至 Write-Through 模式後，系統的整體效能掉了下來。而切換回去 Write-Back模式，效能又回來了。

當然，你也可以寫 script，每隔一段時間就去確認是否被改成Write-Through模式。但是一旦你改成 Write-Back 又沒有電池在保護，如果此時斷電，那很有可能就 Data Lost。
因此採用 MPIO 來分流，避免大量IO讀寫時，系統進入 Write-Through 導致過度負載，而降低整體應用效能。
張貼者： 於 沒有留言:
標籤：

2015年7月6日 星期一

關閉Skype佔用 80及445 埠

如果常常會需要安裝http、apache、ASP/PHP/JSP等網頁伺服器套件時，會發現有port 80被佔用了。

除了確認是否有大型軟體，例如 能透過網站方式管理的VMware、Supermicro SSM這類型軟體，也不要忘記大家常用的通訊軟體Skype，預設也會佔用 80/445 (http/https)。

關閉Skype使用80/445埠方式，至功能->設定選項->進階->連線，然後把 "使用 80 何 445 連接埠做為額外連入連線" 給取消。然後設定其他可對外使用的連接埠。

note: 如果公司有封閉連接埠，還需要與你的MIS確認哪個是可以使用的，不然Skype會無法使用!

張貼者： 於 沒有留言:
標籤： ,
訂閱： 文章 (Atom)