防護箱 1756-EN2TXT

防護箱 1756-EN2TXT 

防護箱 1756-EN2TXT 

 Siemens AC-VSA-Motor 1FT5102-0AF71-1?-Z 
MOOG Servomotor T-1-A6-030-00-3?5-74 
Siemens Sinumerik 840D MMC103 6FC5210-0DA20-2?AA1
Fanuc Keyboard A02B-0236-C231 + A20B-8002-0020/?04B
Rexroth Indramat Steuereinheit CSH01.3C-PB-ENS?-NNN-CCD 
               Rexroth INDRAMAT AC Servo Controller HDS03.2-W075N-H?S12
Lenze Servo Antriebsregler Umrichter 13015893 
Lenze Servo Antriebsregler Umrichter 13190876
Rexroth Einzelachs-Wech?selrichter HMS01.1N-W0036-?A-07-N
INDRAMAT Servomotor MAC090B-0-PD-3-?C/110-A-1/S001
Simatic S5 WF707 6FM1707-3AA10 
Fanuc Operator Panel A05B-2401-C013 
NSK Frequenzumricht?er ESA ESA-Y2020T23-21 
Fanuc Profibus Slot Card A20B-8100-0440 / 06B001762 
Simatic S5 AO470 6ES5 470-4UB13 
Indramat Regelverst?rker SEK1.4-50-W1 / 057 TSS 2 /057
Wittenstein / alpha Getriebe HG+ 100F-MF1-7-6H1-?1K00
Wittenstein / alpha Getriebe VDT050-ML1-40-0?31-AC
Rexroth Indramat Controller CPUB03-01-FW 261367 
Siemens Simodrive 611 Pulswiderstandm?odul 6SC6110-0GB00
Lenze Servo Antriebsregler Umrichter 00408452 EVS9323-E
Fanuc Profibus Slave Card A20B-8100-0440 / 07B401616
Fanuc Ethernet Board A20B-8100-0670 /02B 
ABB UC-Vermessungsk?arte SDCS-PIN-51 3BSE004940R1 
Siemens Simovert Pulsumrichter 6SE2108-3AA00 

權值的更新只在主進程中進行，從進程只負責將梯度累積變化值計算出來，然后交給主進程。當增加一份權值和梯度累積變化值的存儲作為緩存，使用非阻塞的通信方式，可以使主從進程的通信與從進程的計算同時進行，達到很高的計算效率。這種主從方式的好處是思路簡單清晰，通信量少，運算，但是需要注意的是，隨著并行進程規模的提升，對于每個進程來說，批數量的大小會很大，使進程相鄰兩次的權值變化相對較大，可能會引起算法收斂的波動。但減少每個進程的批數量又會使通信密度增加，需要在規模與算法收斂精度之間進行平衡，盡量在不達到通信瓶頸的情況下進行并行擴展。

對于所有進程處于對等地位的框架，相對會比較麻煩，訓練過程中需要大量的同步以及通信，計算效率會很低。在表6中我們給出了一些上述并行算法的可擴展性展示，通信時采用了阻塞通信，相對前文提到的非阻塞通信性能會降低。計算環境是在廣州超算中心“天河2號”，一個物理節點有24個核，我們以節點數為變化量，以一次訓練迭代所耗時間為觀測目標，測試規模是100000個文本評論樣本，卷積核個數100，子進程batch為50。

從表6可以看出，對本算例來講，物理節點小于5時，擴展性能都還很好，繼續擴展時，雖然仍有加速比，但性能下降明顯。主要原因還是由于通信瓶頸，如果節點內的進程可以共享內存，可擴展規模會隨之大大增加，每個物理節點24個核內部的通信開銷就可以節省下來。