ഒരു AI ഡാറ്റാ സെന്റർ എന്താണ്? [വീഡിയോയും ക്വിസും]

ചുരുക്ക ഉത്തരം: ഒരു AI ഡാറ്റാ സെന്റർ എന്നത് ഉയർന്ന സാന്ദ്രതയുള്ള സ്ഥലമാണ്, അവിടെ പവർ, കൂളിംഗ്, ഫാബ്രിക്, സ്റ്റോറേജ് എന്നിവ പരിശീലനത്തിനും സെർവിംഗ് മോഡലുകൾക്കും ചുറ്റും വളഞ്ഞിരിക്കുന്നു, അധിക GPU-കൾ ഉള്ള ഒരു സെർവർ റൂമിന് ചുറ്റും അല്ല. ചിപ്പുകൾക്ക് പ്രശസ്തി ലഭിക്കുന്നു; കെട്ടിടമാണ് തീരുമാനിക്കുന്നത്. ചിത്രങ്ങൾ പോകാൻ കഴിയുന്നില്ലെങ്കിൽ, ഒരു ചെറിയ സെൽ വീണ്ടും ക്രമീകരിക്കുക; മിക്ക ടീമുകളും വാടകയ്‌ക്കെടുക്കണം.

പ്രധാന കാര്യങ്ങൾ:

ചിപ്‌സ് vs കെട്ടിടം: പവർ, കൂളിംഗ്, തുണി, സംഭരണം എന്നിവയാണ് ആക്‌സിലറേറ്ററുകൾ പ്രവർത്തിക്കുമോ എന്ന് തീരുമാനിക്കുന്നത്.

കൊട്ടാരങ്ങളല്ല സ്ഥലങ്ങൾ: ഡാറ്റ പുറത്തുപോകാൻ കഴിയാത്തപ്പോൾ രണ്ട് റാക്കുകൾ പുതുക്കിപ്പണിയുക; ഒരു ക്യാമ്പസ് വാങ്ങരുത്.

ശരാശരി vs മീഡിയൻ: എട്ട് റൺസിൽ, മീഡിയൻ ഹിഡ് റീസ്റ്റാർട്ട് ചെയ്യുന്നു; 18 മണിക്കൂർ ശരാശരി ഉപയോഗിക്കുക.

ദുരുപയോഗ പ്രതിരോധം: ഒരു മിക്സഡ് ഹാളിൽ രണ്ട് റാക്കുകൾക്ക് ഒരു PUE ഉദ്ധരിക്കരുത്.

ഉദാഹരണ ഫലങ്ങൾ: എട്ട് റൺസ് എന്നത് ഒരു ചെറിയ മാപ്പാണ്, 50% ഉൽപ്പാദന ലാഭമല്ല.

ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:

🔗 AI വിശ്വസനീയമാണോ? വീഡിയോയും ക്വിസും
ആകർഷകമായ വീഡിയോയിലൂടെയും സംവേദനാത്മക ക്വിസിലൂടെയും AI വിശ്വാസ്യത പര്യവേക്ഷണം ചെയ്യുക.

🔗 ദൈനംദിന ജീവിതത്തിൽ AI എങ്ങനെ ഉപയോഗിക്കാം
ദൈനംദിന ജോലികളും ദിനചര്യകളും ലളിതമാക്കാൻ AI-ക്ക് കഴിയുന്ന പ്രായോഗിക വഴികൾ കണ്ടെത്തുക.

🔗 ജോലിസ്ഥലത്ത് AI എങ്ങനെ ഉപയോഗിക്കാം
മികച്ച ജോലിസ്ഥല ഉൽപ്പാദനക്ഷമതയ്ക്കായി AI ഉപയോഗിക്കുന്നതിനുള്ള പ്രായോഗിക വഴികൾ പഠിക്കുക.

🔗 AI-ക്ക് സ്വന്തമായി ചിന്തിക്കാൻ കഴിയുമോ?
കൃത്രിമബുദ്ധിക്ക് യഥാർത്ഥത്തിൽ സ്വതന്ത്രമായി ചിന്തിക്കാൻ കഴിയുമോ അതോ യുക്തിസഹമായി ചിന്തിക്കാൻ കഴിയുമോ എന്ന് മനസ്സിലാക്കുക.

ഒരു "സാധാരണ" ഡാറ്റാ സെന്ററിൽ നിന്ന് ഇത് എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു

പരമ്പരാഗത ഹാളുകൾ നിരവധി ചെറിയ സേവനങ്ങളിലുടനീളം സമ്മിശ്ര ജോലിഭാരത്തിനും പ്രവർത്തന സമയത്തിനും ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. നിങ്ങൾക്ക് ആവർത്തനത്തെക്കുറിച്ച് താൽപ്പര്യമുണ്ട്, തീർച്ചയായും, ഒരു ആശയമെന്ന നിലയിൽ PUE-യെക്കുറിച്ചും - ഒരു വാട്ട് കമ്പ്യൂട്ട് നൽകാൻ കെട്ടിടം കത്തിക്കുന്ന അധിക ഊർജ്ജം. സാധാരണയായി, ഒരു പോർട്ടബിൾ ഹീറ്റർ ഫാം പോലെ പ്രവർത്തിക്കുന്ന ഒരു റാക്കിന് ചുറ്റും ഓരോ ഇടനാഴിയും നിങ്ങൾ രൂപകൽപ്പന ചെയ്യുന്നില്ല.

AI സൈറ്റുകൾ അനുപാതങ്ങളെ മാറ്റിമറിക്കുന്നു. സാന്ദ്രത വർദ്ധിക്കുന്നു. പരിശീലന ജോലിക്ക് തളരാതെ മുന്നോട്ട് പോകാൻ കഴിയാത്ത ഒരു തുണിത്തരമായി നെറ്റ്‌വർക്ക് മാറുന്നു. സംഭരണം ചെക്ക്‌പോസ്റ്റുകളെ ചലിപ്പിച്ചുകൊണ്ടിരിക്കാൻ നിർബന്ധിക്കുന്നു അല്ലെങ്കിൽ ട്രാഫിക് ജാമിലെ ഓട്ടക്കുതിരകളെപ്പോലെ ആക്സിലറേറ്ററുകൾ നിഷ്‌ക്രിയമായി ഇരിക്കുന്നു.

സാംസ്കാരിക വ്യത്യാസവുമുണ്ട്. എന്റർപ്രൈസ് ഓപ്പറേറ്റർമാർ ടിക്കറ്റുകളിലും ചേഞ്ച് വിൻഡോകളിലും ചിന്തിക്കുന്നു. ജോലി ക്യൂകളിലും ഒരു നോഡ് ദീർഘകാലാടിസ്ഥാനത്തിൽ മരിക്കുമ്പോഴുള്ള അസുഖകരമായ വികാരത്തിലും AI ഓപ്പറേറ്റർമാർ ചിന്തിക്കുന്നു. രണ്ടിനെയും "ഡാറ്റാ സെന്ററുകൾ" എന്ന് വിളിക്കാമെന്ന് ഞാൻ കരുതുന്നു, കാരണം അവ അങ്ങനെയാണ്. ലേബൽ പ്ലംബിംഗിനെ മറയ്ക്കുന്നു.

ധാർമ്മിക റാങ്കിംഗ് അല്ല. വ്യത്യസ്ത മെഷീനുകൾ, ഒരേ കുടുംബപ്പേര്.

GPU-കൾ, ആക്സിലറേറ്ററുകൾ, പവർ തിന്നുന്ന റാക്ക്

പരമ്പരാഗതമായി ഉയർത്തിയ ഒരു തറയിൽ നടക്കുമ്പോൾ റാക്കുകൾ ഏതാണ്ട് മാന്യമായി കാണപ്പെടുന്നു. ഒരു AI നിരയിൽ നടക്കുമ്പോൾ അവ കെട്ടിടം വിഴുങ്ങാൻ ആഗ്രഹിക്കുന്നതായി തോന്നുന്നു.

മികച്ച ഹാർഡ്‌വെയർ ഒരു സമർത്ഥമായ സിപിയു അല്ല. ഇത് ആക്‌സിലറേറ്റർ ട്രേയാണ്: സെർവറുകളിൽ പായ്ക്ക് ചെയ്‌തിരിക്കുന്ന ജിപിയു അല്ലെങ്കിൽ മറ്റ് എഐ ചിപ്പുകൾ, തുടർന്ന് റാക്കുകൾ, തുടർന്ന് ഉയർന്ന ബാൻഡ്‌വിഡ്ത്ത് ഫാബ്രിക് പങ്കിടുന്ന വരികൾ. ഒരു ഭീമൻ ആക്‌സിലറേറ്ററായി നടിക്കാൻ കഴിയുന്ന ഒന്നിലേക്ക് ജിപിയു സ്റ്റിച്ച് ചിപ്പുകളെ പരസ്പരം ബന്ധിപ്പിക്കുന്നു; ക്ലസ്റ്റർ ഫാബ്രിക് വരി സ്കെയിലിൽ അതേ തന്ത്രം ചെയ്യുന്നു. ആ ലിങ്കുകൾ തടിച്ചതും പ്രവചനാതീതവുമായി തുടരുകയാണെങ്കിൽ മാത്രമേ സമാന്തര പരിശീലനം പ്രവർത്തിക്കൂ. അത് നഷ്ടപ്പെടുത്തുക, നിങ്ങളുടെ "ക്ലസ്റ്റർ" ഒരു പോസ്റ്റ്‌കോഡ് പങ്കിടുന്ന ചെലവേറിയ വർക്ക്‌സ്റ്റേഷനുകളുടെ ഒരു കൂമ്പാരമായിരിക്കും.

വൈദ്യുതി ചിപ്പുകളെ പിന്തുടരുന്നു. കട്ടിയുള്ള ഓഫീസ് പി‌ഡി‌യു അല്ല. ഒരു ഹാൾ നിറയുമ്പോൾ മെഗാവാട്ട് ഐടി ലോഡ് - ഞാൻ ഒരു സംഖ്യ കണ്ടുപിടിക്കില്ല. ഓരോ റാക്കിനും സാന്ദ്രത എന്നത് പ്ലോട്ട് ട്വിസ്റ്റാണ്. കുറച്ച് റാക്കുകൾ. ഓരോന്നും ഒരു ചെറിയ ഫർണസ് ആണ്. പരിമിതപ്പെടുത്തുന്ന ഘടകം പലപ്പോഴും സബ്സ്റ്റേഷനാണ്, ജിപിയുകളുടെ വിഷ്‌ലിസ്റ്റല്ല. അതെങ്ങനെയാണെന്ന് നിങ്ങൾക്കറിയാം: സംഭരണത്തിന് കൂടുതൽ ആക്സിലറേറ്ററുകൾ ആവശ്യമാണ്; യൂട്ടിലിറ്റിക്ക് ഒരു നീണ്ട സംഭാഷണവും വളരെ വലിയ പരിശോധനയും ആവശ്യമാണ്.

ഒരു ചെറിയ വിചിത്ര രൂപകം എനിക്ക് പറഞ്ഞു തീർക്കാൻ കഴിയില്ല: റാക്ക് ഒരു വിശക്കുന്ന മൃഗമാണ്. നിങ്ങൾക്ക് വേഗതയേറിയതിനെ വളർത്താം. നിങ്ങൾ ഇപ്പോഴും അതിന് ഭക്ഷണം കൊടുക്കണം, കൂടാതെ നിങ്ങൾ ഇപ്പോഴും ചൂട് കെടുത്തുകയും വേണം. രണ്ടും ഒഴിവാക്കിയാൽ അത് വളരെ ചെലവേറിയ പേപ്പർ വെയ്റ്റായി മാറുന്നു.

വൈദ്യുതി, ചൂട്, തണുപ്പിക്കൽ പ്രശ്നം

വൈദ്യുതി അകത്ത്. ചൂട് അണഞ്ഞു. അതാണ് മുഴുവൻ മതവും.

ഉയർന്ന സാന്ദ്രതയുള്ള റാക്കുകൾ വായു ഒരിക്കലും കൈകാര്യം ചെയ്യാൻ ആവശ്യപ്പെടാത്ത വിധത്തിൽ താപം പുറത്തുവിടുന്നു. പിൻവാതിലിലെ ചൂട് എക്സ്ചേഞ്ചറുകൾ, കൂടുതൽ ചൂടേറിയ ഇടനാഴികൾ, ബുദ്ധിപൂർവ്വമായ നിയന്ത്രണം - നിങ്ങൾക്ക് വായുവിനെ കൂടുതൽ ശക്തമായി തള്ളാൻ കഴിയും, അത് ഒരു പരിധി വരെ പ്രവർത്തിക്കുന്നു. അപ്പോൾ ദ്രാവകം ദൃശ്യമാകും:

• ഡയറക്ട്-ടു-ചിപ്പ് കൂളിംഗ്

• പ്ലാന്റ് മുറിയെ ഒരു രാസവസ്തു പോലെ തോന്നിപ്പിക്കുന്ന കൂളന്റ് ലൂപ്പുകൾ

• വെള്ളവും സെർവറുകളും ഒരു വാചകം പങ്കിടരുതെന്ന് കരുതുന്ന ആളുകളെ ഇപ്പോഴും അമ്പരപ്പിക്കുന്ന കുറച്ച് ഡിസൈനുകളിലെ മുഴുകൽ

ഇതൊന്നും ഗ്ലാമറസല്ല. ഇതെല്ലാം ഉൽപ്പന്നമാണ്, കാരണം ത്രോട്ടിൽ ചെയ്യുന്ന ഒരു ആക്സിലറേറ്റർ നിങ്ങൾ ഇതിനകം പണം നൽകി വാങ്ങിയതാണ്, അത് പൂർണ്ണമായും ഉപയോഗിക്കാൻ കഴിയില്ല.

PUE ഇപ്പോഴും പ്രധാനമാണ്. അതൊരു വ്യക്തിത്വമല്ല, ഒരു അനുപാതമാണ്. ഫാനുകൾക്കും പമ്പുകൾക്കുമായി ചെലവഴിക്കുന്ന ഓരോ വാട്ടും ഒരു GPU-വിൽ പോകാത്ത ഒരു വാട്ട് ആയതിനാൽ ഓപ്പറേറ്റർമാർ അതിനെ പിന്തുടരുന്നു. ഞാൻ ഒരു "സാധാരണ" കണക്ക് ഉദ്ധരിക്കില്ല; കാലാവസ്ഥയും നിങ്ങൾ അതിർത്തി എങ്ങനെ വരയ്ക്കുന്നു എന്നതും അതിനെ നീക്കുന്നു, വ്യാജ കൃത്യത ഒന്നുമില്ലാത്തതിനേക്കാൾ മോശമാണ്. കഥയിലും വെള്ളം ഇരിക്കുന്നു. ചില സസ്യങ്ങൾ കുടിക്കുന്നു. ചിലത് വിഴുങ്ങുന്നു. ബാഷ്പീകരണ തണുപ്പിക്കൽ കാര്യക്ഷമമാണ്.

നെറ്റ്‌വർക്കിംഗ്: തുണിത്തരങ്ങൾ ചിപ്‌സോളം പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്?

ആളുകൾ GPU-കളുടെ ഫോട്ടോ എടുക്കണം. അവർ സ്വിച്ചുകളുടെ ഫോട്ടോ എടുക്കണം.

പരിശീലനം ഒരു സംഭാഷണമാണ്. ആയിരക്കണക്കിന് ആക്സിലറേറ്ററുകൾ ഗ്രേഡിയന്റുകൾ, പാരാമീറ്ററുകൾ, ഒരു മോഡലിന്റെ കഷണങ്ങൾ എന്നിവ പരസ്പരം കൈമാറ്റം ചെയ്യുന്നു, അവ കർശനമായ സമന്വയത്തിലാണ്. തുണി കുലുങ്ങുകയാണെങ്കിൽ, മുഴുവൻ ജോലിയും ഏറ്റവും മന്ദഗതിയിലുള്ള ചാട്ടത്തിനായി കാത്തിരിക്കും. അതുകൊണ്ടാണ് ഉയർന്ന ബാൻഡ്‌വിഡ്ത്ത് നെറ്റ്‌വർക്കിംഗ്, കുറഞ്ഞ ലേറ്റൻസി, ഒരു ലിങ്ക് പരാജയപ്പെടുമ്പോൾ പകുതിയായി മടക്കാത്ത ടോപ്പോളജികൾ എന്നിവയിൽ AI ആസക്തരാകുന്നത്. ഇൻഫിനിബാൻഡ്-ഇഷ് തുണിത്തരങ്ങൾ, അതേ റോളിൽ ഇതർനെറ്റ്, ബോക്സിനുള്ളിൽ GPU ഇന്റർകണക്റ്റുകൾ, ആദ്യമായി ശരിയായിരിക്കേണ്ട കേബിളിംഗ്.

അനുമാനമാണ് വ്യത്യസ്തമായ ഒരു സംഭാഷണം. മോഡൽ സെർവിംഗ് ടെയിൽ ലേറ്റൻസിയെക്കുറിച്ച് ശ്രദ്ധിക്കുന്നു - ശരാശരിയല്ല, മന്ദഗതിയിലുള്ള ഉത്തരമാണ്. ബാച്ച് vs റിയൽ-ടൈം വ്യക്തിത്വത്തെ വിഭജിക്കുന്നു. ഒരു പരിശീലന ക്ലസ്റ്റർ തടിച്ച, കൂട്ടായ, എല്ലാത്തിനും മുകളിലുള്ള ചലനം. ലോഡ് ബാലൻസറിൽ ട്രാഫിക് ജാം ഇല്ലാതെ, ഒരു സെർവിംഗ് ഫ്ലീറ്റിന് നിരവധി ചെറിയ അഭ്യർത്ഥനകളും ഒറ്റപ്പെടലും ആവശ്യമാണ്.

ഞാൻ ഇവിടെയുള്ളപ്പോൾ ഒരു നഷ്ടം: ആളുകൾ നെറ്റ്‌വർക്കിനെ പ്ലംബിംഗ് പോലെയും ചിപ്പുകളെ റെസ്റ്റോറന്റ് പോലെയും കാണുന്നു. ഈ കെട്ടിടത്തിൽ പ്ലംബിംഗ് റെസ്റ്റോറന്റാണ്. അത് നഷ്ടമായാൽ ഡെലിവറി എടുക്കാൻ കഴിയാത്ത ഒരു അടുക്കള നിങ്ങൾ വാങ്ങും.

പരിശീലനം vs അനുമാനം: രണ്ട് കെട്ടിടങ്ങൾ, ചിലപ്പോൾ അക്ഷരാർത്ഥത്തിൽ

പരിശീലനം ഒരു പ്രചാരണമാണ്. നിങ്ങൾ ഒരു ക്ലസ്റ്റർ കൂട്ടിച്ചേർക്കുന്നു, അതിന് ഡാറ്റ നൽകുന്നു, മതപരമായി ചെക്ക്പോയിന്റ് ചെയ്യുന്നു, മണിക്കൂറുകളോ ആഴ്ചകളോ ഓടുന്നു, തുണി ക്രമരഹിതമായിരിക്കാൻ പ്രാർത്ഥിക്കുന്നു. ബാച്ച്-ഹെവി, ബാൻഡ്‌വിഡ്ത്ത്-ആസക്തി, നിശബ്ദമായി ക്ഷമ - പരാജയപ്പെട്ട നോഡ് ഓട്ടത്തിൽ നിന്ന് ഒരു കടി എടുക്കുന്നതുവരെ. കർശനമായി ബന്ധിപ്പിച്ച ജോലിയിൽ ഒരു ഡെഡ് ആക്സിലറേറ്റർ മുഴുവൻ കോറസിനെയും സ്തംഭിപ്പിക്കും.

അനുമാനം ഒരു സാധാരണ കാര്യമാണ്. ഇതിനകം പരിശീലനം ലഭിച്ച മോഡലുകൾ, ഇപ്പോൾ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നു, ചിത്രങ്ങൾ തരംതിരിക്കുന്നു, വാചകം സൃഷ്ടിക്കുന്നു. ലേറ്റൻസി പ്രധാനമാണ്. ഉപഭോക്താവിനടുത്തുള്ള അൽപ്പം പഴയ ആക്സിലറേറ്ററിന് ഒരു ഭൂഖണ്ഡം അകലെയുള്ള ഗ്ലാമറസിനെ മറികടക്കാൻ കഴിയും.

അപ്പോൾ നിങ്ങൾക്ക് ഒരു വിഭജനം ലഭിക്കും. പരിശീലന കാമ്പസുകൾ ശക്തി, ഭൂമി, സാന്ദ്രത എന്നിവ പിന്തുടരുന്നു. അനുമാന സൈറ്റുകൾ ലേറ്റൻസിയെയും സാന്നിധ്യത്തെയും പിന്തുടരുന്നു. ഹൈബ്രിഡ് ഹാളുകളും നിലവിലുണ്ട്, കാരണം മൂലധനം അനന്തമല്ല. ശരി - എല്ലായ്പ്പോഴും രണ്ട് കെട്ടിടങ്ങളല്ല. ചിലപ്പോൾ ഒരു വെൽവെറ്റ് കയറും രണ്ട് കൂളിംഗ് ലൂപ്പുകളും ഉള്ള ഒരു ഹാൾ.

ഇവിടെയാണ് കോലോക്കേഷൻ, ഹൈപ്പർസ്കെയിൽ കാമ്പസുകൾ, ഓൺ-പ്രേം ഫോർക്ക് എന്നിവയെല്ലാം നടക്കുന്നത്. ഹൈപ്പർസ്കെയിലറുകൾ സ്കെയിലുകളിൽ നിർമ്മിക്കപ്പെടുന്നു, അത് നമ്മളെ ബാക്കിയുള്ളവരെ നമ്മൾ ഫർണിച്ചറുകൾ ക്രമീകരിക്കുന്നതുപോലെ തോന്നിപ്പിക്കുന്നു. റാക്ക് അനുസരിച്ച് കൊളോസ് സാന്ദ്രത വിൽക്കുന്നു. ഡാറ്റ വിട്ടുപോകാൻ കഴിയാത്തപ്പോഴും ഓൺ-പ്രേം സംഭവിക്കുന്നു.

സംഭരണ ​​ശേഷി, ചെക്ക്‌പോസ്റ്റുകൾ, വിശക്കുന്ന ചിപ്പുകൾ

ബ്രോഷറിന്റെ കവറിൽ ആരും പാരലൽ ഫയൽ സിസ്റ്റം ഇടുന്നില്ല.

പരിശീലന ഡാറ്റ വളരെ വേഗത്തിൽ എത്തേണ്ടതുണ്ട്, അങ്ങനെ GPU-കൾ കാലിൽ തട്ടാതിരിക്കാൻ കഴിയും. ഒരു ക്രാഷ് ഒരു ആഴ്ച പോലും പാഴാകാതിരിക്കാൻ ചെക്ക്‌പോസ്റ്റുകൾ ലാൻഡ് ചെയ്യണം. സെർവിംഗ് റെപ്ലിക്ക ലൈവ് ആകുന്നതിന് മുമ്പ് മോഡൽ വെയ്റ്റുകൾ ലോഡ് ചെയ്യണം. സംഭരണ ​​ശേഷി - ശേഷി മാത്രമല്ല - നിശബ്ദമായ തടസ്സമാണ്. നിങ്ങൾക്ക് ആക്സിലറേറ്ററുകൾക്കായി ധാരാളം ചെലവഴിക്കാനും വെർച്വൽ മെഷീനുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഒരു മര്യാദയുള്ള ശ്രേണി ഉപയോഗിച്ച് അവയെ പട്ടിണിയിലാക്കാനും കഴിയും.

പാറ്റേൺ പരിചിതമാണ്: തിളങ്ങുന്ന ഒരു ക്ലസ്റ്റർ, ഒരു ജോലി ക്യൂ, ഒരു പരുക്കൻ ഇൻവോയ്‌സ് പോലെ പിന്നിലേക്ക് ഉറ്റുനോക്കുന്ന I/O കാത്തിരിപ്പ്. ഡാറ്റ പാത്ത് ക്ലസ്റ്റർ ചെയ്യാതെ കമ്പ്യൂട്ട് ക്ലസ്റ്റർ ചെയ്യുന്നതിലൂടെ നിങ്ങൾക്ക് വളരെ ചെലവേറിയ നിഷ്‌ക്രിയത്വം ലഭിക്കും. ചിപ്പുകൾ തീറ്റിക്കുക അല്ലെങ്കിൽ നിങ്ങൾ ഒരു ശിൽപം വാങ്ങിയെന്ന് സമ്മതിക്കുക.

സോഫ്റ്റ്‌വെയർ, ഓർക്കസ്ട്രേഷൻ, ഗ്ലാമറസ് അല്ലാത്ത ഓപ്‌സ് ലെയർ

ഹാർഡ്‌വെയറാണ് സെലിബ്രിറ്റി. ഷെഡ്യൂളർമാർ ആണ് ജോലി ചെയ്യുന്നത്.

GPU-കൾ കണ്ടെത്താൻ ജോലികൾക്ക് കഴിയുന്നില്ലെങ്കിൽ, രണ്ട് ടീമുകൾക്ക് ഒരു ക്ലസ്റ്റർ പങ്കിടാൻ കഴിയുന്നില്ലെങ്കിൽ, ഒരു പരാജയപ്പെട്ട റാങ്ക് മാറ്റിസ്ഥാപിക്കാൻ കഴിയുന്നില്ലെങ്കിൽ, ഫേംവെയർ സ്ലോ മോഷനിൽ ഫാബ്രിക് പരാജയപ്പെടുന്നതുവരെ നീങ്ങുകയാണെങ്കിൽ, ഒരു AI ഡാറ്റാ സെന്റർ ഉപയോഗശൂന്യമാണ്. ഓർക്കസ്ട്രേഷൻ, നിരീക്ഷണക്ഷമത, പവർ ക്യാപ്പിംഗ് - ഗ്ലാമറസ് അല്ലാത്ത ops ലെയർ, അതാണ് പ്രധാനമെന്ന് നിങ്ങൾക്ക് എങ്ങനെ അറിയാം.

ഈ ലെയറിനോട് എനിക്ക് ഒരു സോഫ്റ്റ് സ്പോട്ട് ഉണ്ട്. തെറ്റായി കോൺഫിഗർ ചെയ്ത ഒരു NIC ഒരു മുഴുവൻ ഉച്ചതിരിഞ്ഞും കൂളിംഗ് പ്രശ്നം ഉണ്ടാക്കുന്നിടത്തും... നിങ്ങൾക്ക് അത് ബുദ്ധിമുട്ടുള്ള വഴിയിലൂടെ കണ്ടെത്താനാകും.

ഒരു നോഡ് റണ്ണിന്റെ മധ്യത്തിൽ മരിക്കുമ്പോൾ

ഒരു നോഡ് മരിക്കുന്നു. നിങ്ങളുടെ കലണ്ടറിനെ പരിഗണിക്കാത്ത പരിശീലന റണ്ണുകളുമായി ചേഞ്ച് വിൻഡോകൾ ഇപ്പോഴും കൂട്ടിയിടിക്കുന്നു. നിങ്ങൾ വലിയ ജോലികൾ കൂട്ടമായി ഷെഡ്യൂൾ ചെയ്യുന്നു, അനുമാന പൂളുകൾ വേലിയിറക്കുന്നു, "ജോലി മന്ദഗതിയിലാണ്" എന്ന് തോന്നിപ്പിക്കുന്ന പരാജയങ്ങൾക്കായി റൺബുക്കുകൾ എഴുതുന്നു, അവ "ജോലി മരിച്ചുപോയി" എന്ന് തോന്നുന്നതുവരെ. ആവർത്തനം ഇപ്പോഴും പ്രധാനമാണ് - പവർ, കൂളിംഗ്, പാതകൾ, സംഭരണം - എന്നാൽ പരാജയ മോഡ് പഴയ ഒൻപത്-ഓഫ്-അപ്‌ടൈം സ്ലൈഡിനേക്കാൾ വൃത്തിയുള്ളതല്ല. അനുമാനം: പകർപ്പ്, സിക്ക് നോഡ് കളയുക, ഉത്തരം നൽകുന്നത് തുടരുക. പരിശീലനത്തിന് ചെക്ക്‌പോസ്റ്റുകൾ അല്ല, ശുഭാപ്തിവിശ്വാസം ആവശ്യമാണ്.

സ്ഥലം, വെള്ളം, ഗ്രിഡ്, അയൽക്കാർ

കാഴ്ചയ്ക്കായി ഇവയിലൊന്ന് ഒരു കോട്ടേജിന്റെ അരികിൽ വയ്ക്കരുത്.

ഗ്രിഡ് കണക്ഷൻ പലപ്പോഴും യഥാർത്ഥ സൈറ്റ്-തിരഞ്ഞെടുപ്പ് പ്രക്രിയയാണ്. ഒരു സബ്സ്റ്റേഷനുമായും മറ്റ് ഉപഭോക്താക്കളുള്ള ഒരു യൂട്ടിലിറ്റിയുമായും താരതമ്യപ്പെടുത്തുമ്പോൾ ഭൂമി എളുപ്പമാണ്. തണുപ്പിക്കാനുള്ള വെള്ളം, നിങ്ങൾ അത് ഉപയോഗിക്കുകയാണെങ്കിൽ, മഴ മോശമാകുമ്പോൾ അയൽവാസിയുടെ പ്രശ്നമായി മാറുന്നു. ശബ്ദം. ദൃശ്യ ബൾക്ക്. അതിർത്തി വേലിയിൽ ചൂട്. ഒരു വയലും നദിയും ആവശ്യമുള്ള നിമിഷം "മേഘത്തെ"ക്കുറിച്ചുള്ള അഭിപ്രായങ്ങൾ ആസൂത്രണ സമിതികൾ കണ്ടെത്തുന്നു.

ലേറ്റൻസി മറ്റൊരു വഴിക്ക് വലിക്കുന്നു. ഉപയോക്താക്കളുടെയും ഇന്റർകണക്റ്റുകളുടെയും അടുത്തായിരിക്കുക എന്നതാണ് അനുമാനം ഇഷ്ടപ്പെടുന്നത്. വിലകുറഞ്ഞ വൈദ്യുതി വിപണികളിലും തണുത്ത കാലാവസ്ഥയിലും പരിശീലനം ഒളിച്ചിരിക്കാം. ഒരു പൂർണമായ സൈറ്റ് ഉണ്ടെന്ന് വ്യവസായം പറയുന്നു. ഇല്ല. ഒരു പത്രക്കുറിപ്പിൽ ഒരു വിട്ടുവീഴ്ചയുണ്ട്.

ശേഷിക്കുന്ന ചൂടും ക്ഷണിക്കപ്പെടാത്ത ചൂളയും

ബ്രോഷറുകൾക്ക് ഇത് വളരെ ഇഷ്ടമാണ്. വീടുകളിലേക്കും, കുളങ്ങളിലേക്കും, ഹരിതഗൃഹങ്ങളിലേക്കും മാലിന്യത്തിന്റെ ചൂട് പകരുക; അതൊരു മനോഹരമായ വാക്യമാണ്. ചിലപ്പോൾ ജില്ലാ ലൂപ്പ് യഥാർത്ഥമായിരിക്കും. ചിലപ്പോൾ കാമ്പസ് തെറ്റായ സ്ഥലത്തായിരിക്കും, ചൂട് ഇപ്പോഴും വായുവിലേക്ക് പോകുന്നു. ബ്രോഷർ പതിപ്പിനെക്കുറിച്ച് എനിക്ക് സംശയമുണ്ട്; ഭൗതികശാസ്ത്രത്തെക്കുറിച്ച് എനിക്ക് സംശയമില്ല.

ആർക്കാണ് ഒന്ന് വേണ്ടത് (പകരം ആരാണ് വാടകയ്ക്ക് എടുക്കേണ്ടത്)

മിക്ക ആളുകൾക്കും ഈ ഹാളുകളിൽ ഒന്ന് സ്വന്തമാക്കേണ്ട ആവശ്യമില്ല.

വ്യക്തമായ പട്ടിക:

• ഹൈപ്പർസ്കെയിലറുകൾ, കാരണം ഉൽപ്പന്നം ഫ്ലീറ്റ് ആണ്

• ക്യൂ സമയം തടസ്സമാകുമ്പോഴോ ഡാറ്റ വിട്ടുപോകാൻ കഴിയാത്തപ്പോഴോ ലാബുകൾ

• രഹസ്യ ഡാറ്റാസെറ്റ് ഉള്ള ഒരു ബാങ്ക്, ആശുപത്രി ഗ്രൂപ്പ്, സർക്കാർ, അല്ലെങ്കിൽ നിർമ്മാതാവ് - ഓൺ-പ്രേം അല്ലെങ്കിൽ ഒരു സ്വകാര്യ കോളോ കേജ് എന്നിവ യുക്തിസഹമായിരിക്കാം, അത് ഒരു തെറ്റാണെങ്കിൽ പോലും

മറ്റെല്ലാവരും വാടകയ്‌ക്കെടുക്കണം. AI-യ്ക്ക് അനുയോജ്യമായ സാന്ദ്രതയുള്ള കോലോക്കേഷൻ. ഒരു ക്ലൗഡ് റിസർവേഷൻ. ഒരു മാനേജ്ഡ് ക്ലസ്റ്റർ. പവർ-പ്ലാന്റ് ഓപ്പറേറ്ററാകാതെ തന്നെ നിങ്ങൾക്ക് ആക്സിലറേറ്ററുകൾ ലഭിക്കും. പുലർച്ചെ 3 മണിക്ക് കൂളന്റ് ലൂപ്പിനായി ആരാണ് വിളിക്കുന്നതെന്ന് ആരെങ്കിലും ആദ്യമായി ചോദിക്കുമ്പോൾ പ്രണയം മങ്ങുന്നു.

അഭിമാനകരമായ ഒരു കാര്യമുണ്ട്, ഞാൻ സമ്മതിക്കുന്നു. ക്ലസ്റ്റർ സ്വന്തമാക്കുന്നത് പ്രവചന മാർഗം സ്വന്തമാക്കിയതുപോലെയാണ്. അപ്പോൾ വൈദ്യുതി ബിൽ വരുന്നു, അഭിമാനം ശമിക്കുന്നു.

കെട്ടിടം എന്തിനുവേണ്ടിയാണ്?

അപ്പോൾ, ഒരു AI ഡാറ്റാ സെന്റർ എന്താണ്? പരിശീലനത്തിനും സെർവിംഗ് മോഡലുകൾക്കും ചുറ്റും ആക്സിലറേറ്ററുകൾ, പവർ, കൂളിംഗ്, ഫാബ്രിക്, സ്റ്റോറേജ് എന്നിവ ക്രമീകരിച്ചിരിക്കുന്ന ഒരു പ്രത്യേക, ഉയർന്ന സാന്ദ്രതയുള്ള ക്യാമ്പസ് - മൂലയിൽ ഒരു GPU ഉള്ള പൊതു ആവശ്യത്തിനുള്ള IT അല്ല. ഇത് ഒരു വെയർഹൗസ് പോലെ കാണപ്പെടുന്നു. ഇത് ഗണിതം ചെയ്യുന്ന ഒരു പവർ സ്റ്റേഷൻ പോലെയാണ് പ്രവർത്തിക്കുന്നത്.

മറ്റൊന്നും നിങ്ങൾക്ക് ഓർമ്മയില്ലെങ്കിൽ: ചിപ്പുകൾ പ്രശസ്തി നേടുന്നു; സബ്‌സ്റ്റേഷൻ, കൂളന്റ്, നെറ്റ്‌വർക്ക് എന്നിവയാണ് ആ ചിപ്പുകൾ നല്ല ആശയമായിരുന്നോ എന്ന് തീരുമാനിക്കുന്നത്. പരിശീലനത്തിനും അനുമാനത്തിനും ഒരു മേൽക്കൂര പങ്കിടാൻ കഴിയും; അവർക്ക് ഇപ്പോഴും വ്യത്യസ്തമായ പെരുമാറ്റം വേണം. മിക്ക സ്ഥാപനങ്ങളും വാടകയ്ക്ക് എടുക്കണം. ചുരുക്കം ചിലത് പണിയണം. അയൽക്കാർ ഏത് വഴിയും ശ്രദ്ധിക്കും.

മേഘത്തിന് എപ്പോഴും ഒരു കെട്ടിടം ഉണ്ടായിരുന്നു. ഇക്കാലത്ത് കെട്ടിടത്തിന് അഭിപ്രായങ്ങളുണ്ട്.

യഥാർത്ഥ ലോക ഉദാഹരണം: ചിത്രങ്ങൾ പുറത്തുപോകാൻ കഴിയാത്തപ്പോൾ രണ്ട് റാക്ക് പരിശീലന സെൽ

രംഗം

വെസ്റ്റ് മിഡ്‌ലാൻഡ്‌സിലെ 400 പേരടങ്ങുന്ന നിർമ്മാതാക്കളായ കെസ്ട്രൽ പ്രിസിഷനിലെ ഇൻഫ്രാസ്ട്രക്ചർ ലീഡാണ് ടോമോസ്. അവർക്ക് ഇതിനകം തന്നെ ഒരു ചെറിയ ഓൺ-പ്രേം ഹാൾ ഉണ്ട്: ERP, ഫയൽ ഷെയറുകൾ, വെർച്വൽ മെഷീനുകൾ, ഈ ലേഖനം ആരംഭിച്ച മിക്സഡ് അയൽപക്കം. എയർ കൂളിംഗ്. സാധാരണ ഇതർനെറ്റ്. ഓഫീസ് ഡിസ്കുകൾക്ക് തികച്ചും മാന്യമായ ഒരു SAN.

ഫാക്ടറി സ്റ്റില്ലുകളിൽ മെഷീൻ-വിഷൻ ടീമിന് ഒരു പരിശോധനാ മാതൃക പരിശീലിപ്പിക്കേണ്ടതുണ്ട്. സ്റ്റില്ലുകൾക്ക് സൈറ്റ് വിട്ടുപോകാൻ കഴിയില്ല. കമ്പനി ഒരു ക്ലൗഡ് ഡിസ്കിൽ, ഒരു സ്വകാര്യ ഡിസ്കിൽ പോലും സ്ഥാപിക്കാത്ത ഒരു പ്രക്രിയ അവ കാണിക്കുന്നു. നാല് ഡ്യുവൽ-ആക്സിലറേറ്റർ സെർവറുകളും "ഞങ്ങളുടെ AI ഡാറ്റ സെന്റർ" എന്ന് പേരിട്ടിരിക്കുന്ന ഒരു സ്ലൈഡും ആണ് സംഭരണത്തിന്റെ പരിഹാരം. സെർവറുകൾ നിലവിലുള്ള രണ്ട് റാക്കുകളിലേക്ക് പോകുന്നു, കാരണം അവിടെ സ്ഥലമുണ്ട്, സ്ഥലമാണ് ഒരു പരിമിതിയായി തോന്നിയത്.

അങ്ങനെയല്ല. രണ്ടാഴ്ചയ്ക്കുള്ളിൽ GPU-കൾ തിരക്കേറിയതായി തോന്നുന്നു, തുടർന്ന് നിശബ്ദമായി ത്രോട്ടിൽ ചെയ്യുന്നു. ഒരു ചെക്ക്‌പോയിന്റ് SAN-ൽ എത്തുമ്പോൾ ജോലികൾ ക്രാൾ ചെയ്യുന്നു. പതിനൊന്ന് മണിക്ക് ഒരു നോഡ് മരിക്കുന്നു, ഓട്ടം... പോയി. ചിപ്പുകൾ വാങ്ങുന്നതിൽ ടോമോസ് പരാജയപ്പെട്ടിട്ടില്ല. പോസ്റ്റ് കോഡ് പങ്കിടുന്ന വിലയേറിയ വർക്ക്സ്റ്റേഷനുകളുടെ ഒരു കൂമ്പാരം അദ്ദേഹം വാങ്ങിയിട്ടുണ്ട്. കെട്ടിടം ഇപ്പോഴും ഒരു എന്റർപ്രൈസ് ഹാളായിരുന്നു.

അവർക്ക് ഒരു കാമ്പസോ, പുതിയ സബ്‌സ്റ്റേഷനോ, നദിയോ ആവശ്യമില്ല. ഒരു AI ഡാറ്റാ സെന്റർ പോലെ പ്രവർത്തിക്കുന്ന ഒരു ചെറിയ സെൽ അവർക്ക് ആവശ്യമാണ്: റാക്കുകൾക്ക് യഥാർത്ഥത്തിൽ ഉൾക്കൊള്ളാൻ കഴിയുന്ന വൈദ്യുതി, ചിപ്പുകൾ പാകം ചെയ്യാതെ പുറത്തുവിടുന്ന ചൂട്, പരിശീലന ജോലിക്ക് സംസാരിക്കാൻ കഴിയുന്ന ഒരു തുണി, ഒരു ചെക്ക്‌പോയിന്റ് എടുക്കാൻ കഴിയുന്ന സംഭരണം, ഒരു നോഡ് മരിക്കുമ്പോൾ ഉപയോഗിക്കാവുന്ന ഒരു റൺബുക്ക്. ചിത്രങ്ങൾ വിട്ടുപോകാൻ കഴിയാത്തതിനാൽ, നാൽപ്പത് മിനിറ്റ് അകലെ ഒരു കൊളോ കേജ് വാടകയ്‌ക്കെടുക്കുക എന്നത് പരിഹാരമല്ല. രണ്ട് റാക്കുകൾ വീണ്ടും ഘടിപ്പിക്കുക എന്നതാണ് പരിഹാരം.

സെല്ലിന് എന്താണ് വേണ്ടത്

• ആ നിരയിലെ അളന്ന പവർ ബജറ്റ്, GPU വിഷ്‌ലിസ്റ്റിൽ നിന്നല്ല, PDU-കളിൽ നിന്നാണ്. പരിശീലന ലോഡിൽ നാല് സെർവറുകൾക്കും സ്പെയർ കപ്പാസിറ്റി നൽകാൻ കഴിയുന്നില്ലെങ്കിൽ, സംഭാഷണം അവിടെ അവസാനിക്കുന്നു, അവർ ഒരു അത്ഭുതമല്ല, മറിച്ച് ഒരു സാന്ദ്രമായ കൊളോയിലേക്ക് നോക്കുന്നു

• ഈ സാന്ദ്രതയിൽ വായു തണുപ്പിക്കൽ കൈകാര്യം ചെയ്യാൻ ഒരിക്കലും ആവശ്യപ്പെട്ടിട്ടില്ല: ഹാളിന് അവ എടുക്കാൻ കഴിയുമെങ്കിൽ പിൻവാതിലിലെ ചൂട് എക്സ്ചേഞ്ചറുകൾ, അല്ലെങ്കിൽ പകരം അത് എടുക്കാൻ കഴിയുമെങ്കിൽ ഒരു ചെറിയ ദ്രാവക ലൂപ്പ്. രണ്ടും ഇല്ലെങ്കിൽ, സെർവറുകൾ അകത്തേക്ക് പോകില്ല

• ഓഫീസ് ഇതർനെറ്റിനല്ല, നാല് നോഡുകൾക്കിടയിൽ ഒരു സമർപ്പിത ഹൈ-ബാൻഡ്‌വിഡ്ത്ത് ഫാബ്രിക്. കാറ്റലോഗിൽ വെണ്ടറുടെ കൈവശം 10 ജിബി സ്വിച്ച് മാത്രമേ ഉള്ളൂവെങ്കിൽ, അത് ഒരു ക്ലസ്റ്റർ അല്ല

• ചെക്ക്‌പോസ്റ്റുകൾക്കും പരിശീലന ഷാർഡുകൾക്കുമുള്ള ലോക്കൽ ഫാസ്റ്റ് സ്റ്റോറേജ്, VM SAN അല്ല

• ഒരു ഷെഡ്യൂളർ, ഒരു ചെക്ക്‌പോയിന്റ് ഇടവേള, ഒരു ലിഖിത പുനരാരംഭ പാത. ഹാർഡ്‌വെയർ ആണ് സെലിബ്രിറ്റി. ഈ ലെയറാണ് ജോലി

• ഫാക്ടറി ലൈനിനായി വേലി കെട്ടിയ ഒരു അനുമാന പെട്ടി, പരിശീലന ചാറ്ററിൽ നിന്ന് വേറിട്ട്, കാരണം സെർവിംഗിന് വേണ്ടത് ടെയിൽ ലേറ്റൻസിയും ഐസൊലേഷനുമാണ്, ഒരു കൂട്ടായ്‌മയല്ല

• പവർ, GPU ക്ലോക്കുകൾ, ത്രോട്ടിൽ ഇവന്റുകൾ, വാൾ-ക്ലോക്ക് ജോലി എന്നിവ ലോഗ് ചെയ്യാനുള്ള അനുമതി. അവ പരിശോധിക്കാൻ കഴിയുന്നില്ലെങ്കിൽ, അവർ GPU-കളുടെ ഫോട്ടോ എടുക്കുകയും സ്വിച്ചുകൾ കാണാതിരിക്കുകയും ചെയ്യും

ഉദാഹരണ നിർദ്ദേശം

ടോമോസ് ഇത് സൗകര്യങ്ങളുടെ ചുരുക്കത്തിൽ, സാധാരണ ഭാഷയിൽ ഇങ്ങനെ പറയുന്നു:

ഇതിനെ ഒരു AI കാമ്പസ് എന്ന് വിളിക്കരുത്. നിലവിലുള്ള ഹാളിൽ നാല് ഡ്യുവൽ-ആക്സിലറേറ്റർ സെർവറുകൾക്കായി ഒരു രണ്ട്-റാക്ക് പരിശീലന സെൽ നിർമ്മിക്കുക. ഫാക്ടറി ഇമേജുകൾ സൈറ്റിൽ തന്നെ തുടരുന്നു. വിജയം ഇതാണ്: നാല് നോഡുകൾ തെർമൽ ത്രോട്ടിൽ ഇല്ലാതെ 12-എപ്പോച്ച് പരിശോധന-പരിശീലന പാചകക്കുറിപ്പ് പൂർത്തിയാക്കുന്നു, പത്ത് മിനിറ്റുകൾക്കുള്ളിൽ അല്ല, മിനിറ്റുകൾക്കുള്ളിൽ ഒരു ചെക്ക്‌പോയിന്റ് എഴുതുന്നു, കൂടാതെ നമ്മൾ ഒരു റാങ്ക് മനഃപൂർവ്വം ഇല്ലാതാക്കുമ്പോൾ ആ ചെക്ക്‌പോയിന്റിൽ നിന്ന് പുനരാരംഭിക്കുന്നു. കൂളിംഗ് GPU-കളെ അവയുടെ പരിശീലന ക്ലോക്കുകളിൽ നിലനിർത്തണം. നെറ്റ്‌വർക്കിംഗ് ആ നാല് ബോക്സുകളും പങ്കിടുന്ന ഒരു തുണിത്തരമായിരിക്കണം, ഓഫീസ് സ്റ്റാക്കിലൂടെയുള്ള ഒരു പാതയല്ല. സംഭരണം ചിപ്പുകളെ പോഷിപ്പിക്കണം. പിൻവാതിൽ ഹീറ്റ് എക്സ്ചേഞ്ചറുകൾ യോജിക്കുന്നില്ലെങ്കിൽ, അങ്ങനെ പറഞ്ഞ് നിർത്തുക. മിക്സഡ് ഹാളിലെ രണ്ട് റാക്കുകൾക്ക് PUE എന്ന് പറയരുത്. ആ നമ്പർ ഒരു തിയേറ്ററായിരിക്കും.

പിന്നെ അവൻ പരിശീലന ജോലിയിൽ തന്നെ ഇത് ഉൾപ്പെടുത്തുന്നു:

ലോക്കൽ ഫാസ്റ്റ് പൂളിലേക്ക് ഓരോ 30 മിനിറ്റിലും ചെക്ക്‌പോയിന്റ്. ഒരു റാങ്ക് മരിക്കുകയാണെങ്കിൽ, അവസാനത്തെ പൂർണ്ണമായ ചെക്ക്‌പോയിന്റിൽ നിന്ന് പുനരാരംഭിക്കുക. SAN-ൽ കാത്തിരിക്കരുത്. ക്ലോക്കുകൾ ചൂടിൽ നിന്ന് കുറയുമ്പോൾ പരിശീലനം തുടരരുത്. അത് ലോഗ് ചെയ്‌ത് നിർത്തുക, അങ്ങനെ നമുക്ക് സ്റ്റാൾ കാണാൻ കഴിയും.

ഒരു നല്ല മണിക്കൂർ ഇതുപോലെയാണ് കാണപ്പെടുന്നത്: എട്ട് GPU-കളും പരിശീലന ക്ലോക്കുകളിൽ, ചെക്ക്‌പോയിന്റ് ഫയൽ ലാൻഡ് ചെയ്‌തു, ജോലി ഇപ്പോഴും ലോക്ക്‌സ്റ്റെപ്പിലാണ്. ഒരു മോശം മണിക്കൂർ ഇതുപോലെ കാണപ്പെടുന്നു: ആരാധകർ പൂർണ്ണമായി ഷൗട്ട് ചെയ്യുന്നു, ക്ലോക്കുകൾ ഡൗൺ ചെയ്യുന്നു, പത്ത് മിനിറ്റിനുശേഷം ചെക്ക്‌പോയിന്റ് 2% എഴുതുന്നു, ഓഫീസിലെ ഒരാൾ "ക്ലസ്റ്റർ മുകളിലാണ്" എന്ന് പറയുന്നു. മുകളിലേക്ക് എന്നത് പരിശീലനമല്ല.

എങ്ങനെ പരീക്ഷിക്കാം

ഒരു ഡെമോയെ വിശ്വസിക്കാതിരിക്കുന്നതിന്റെ മുഴുവൻ കാര്യവും റെട്രോഫിറ്റിന് മുമ്പാണ് അവർ പരീക്ഷ എഴുതുന്നത്.

• 12 യുഗങ്ങളിലെ അതേ പാചകക്കുറിപ്പ്, 120,000 പരിശോധനാ സ്റ്റില്ലുകളുടെ അതേ ചിത്രം, എട്ട് റൺസ്

• പന്ത്രണ്ടാം യുഗത്തിലെ അവസാന ചെക്ക്‌പോയിന്റ് വരെയുള്ള ജോലി സമർപ്പിക്കൽ മുതൽ കണക്കാക്കിയ, ഏതെങ്കിലും പുനരാരംഭിക്കൽ ഉൾപ്പെടെ, പൂർത്തിയായ പാചകക്കുറിപ്പിലേക്കുള്ള സമയം വാൾ-ക്ലോക്കാണ്

• ഒരു പാസ് ഓൺ ഹീറ്റ്: റണ്ണിനുള്ള പരിശീലന ലക്ഷ്യത്തിൽ GPU ക്ലോക്കുകൾ തുടരുന്നു. ജോലി ഒടുവിൽ പൂർത്തിയായാലും ഒരു ത്രോട്ടിൽ ഇവന്റ് പരാജയമാണ്

• സംഭരണത്തിനുള്ള പാസ്: ജോലി ലോഗിൽ നിന്നുള്ള ചെക്ക്‌പോയിന്റ് എഴുത്ത് സമയം, ശരാശരിയും ഏറ്റവും മോശം സമയവും

• തുണിയുടെ കാര്യത്തിൽ ഒരു പാസ്: ഒരു റാങ്ക് ആരോഗ്യമുള്ളപ്പോൾ ജോലി കൂട്ടായ കാത്തിരിപ്പിൽ ഇരിക്കില്ല. അവർക്ക് ആ കാത്തിരിപ്പ് കാണാൻ കഴിയുന്നില്ലെങ്കിൽ, ഇൻസ്ട്രുമെന്റേഷൻ പൂർത്തിയായിട്ടില്ല

• എട്ട് റൺസിൽ രണ്ടെണ്ണം റീസ്റ്റാർട്ട് പാത്ത് പരീക്ഷിക്കുന്നതിനായി, മനഃപൂർവ്വം ഒരു നിശ്ചിത ഘട്ടത്തിൽ ഒരു റാങ്ക് കിൽ ചെയ്യപ്പെടുന്നു

• ഫാക്ടറി ലൈനിൽ നിന്ന് വേലികെട്ടിയ സെർവിംഗ് ബോക്സിലേക്കുള്ള 200 ഇമേജുകളുടെ ഒരു പ്രത്യേക പരീക്ഷണമാണ് ഇൻഫറൻസ്. പരിശീലന വിജയം സെർവിംഗ് വിജയമായി കണക്കാക്കില്ല

• 15 മിനിറ്റ് സാമ്പിളുകളിൽ PDU-കളിൽ നിന്നുള്ള റാക്ക് പവർ അവർ രേഖപ്പെടുത്തുന്നു, അതിനാൽ ആരും ഒരു മെഗാവാട്ട് കണ്ടുപിടിക്കേണ്ടതില്ല

സെല്ലിനെ "AI-റെഡി" എന്ന് വിളിക്കുന്നതിനുള്ള സ്വീകാര്യത: 8 പാചകക്കുറിപ്പുകളിൽ 8 എണ്ണം പൂർത്തിയായി; 8 ൽ 0 എണ്ണം തെർമൽ ത്രോട്ടിൽ കാണിക്കുന്നു; രണ്ട് കിൽഡ് റണ്ണുകളും പുനരാരംഭിക്കുന്നു; ചെക്ക്‌പോസ്റ്റുകൾ മിനിറ്റുകൾക്കുള്ളിൽ നിലനിൽക്കും. അവർ അത് നഷ്‌ടപ്പെടുത്തിയാലും, അവർക്ക് ഇപ്പോഴും ഫാൻസി ഗ്രാഫിക്സ് കാർഡുകളുള്ള ഒരു സെർവർ റൂം ഉണ്ട്.

ഫലമായി

പ്രസിദ്ധീകരിച്ച കെസ്ട്രൽ കണക്കല്ല, മറിച്ച്, എട്ട് റൺസിന്റെ ഒരു കൃത്രിമ ടെസ്റ്റിൽ നിന്നുള്ള ഉദാഹരണ ഫലം.

അനുമാനങ്ങൾ: രണ്ട് റാക്കുകളിലായി നാല് ഡ്യുവൽ-ആക്സിലറേറ്റർ സെർവറുകൾ; ഒരു പരിശോധന മോഡൽ; 120,000 സ്റ്റില്ലുകൾ; 12-എപ്പോച്ച് പാചകക്കുറിപ്പിന്റെ എട്ട് റൺസ്; പാചകക്കുറിപ്പ് പൂർത്തിയാകുന്നതുവരെ വാൾ-ക്ലോക്കിൽ പുനരാരംഭങ്ങൾ ഉൾപ്പെടുന്നു; ത്രോട്ടിൽ എന്നാൽ പരിശീലന ക്ലോക്കിൽ നിന്ന് ലോഗ് ചെയ്ത ഡ്രോപ്പ് എന്നാണ് അർത്ഥമാക്കുന്നത്; ചെക്ക്‌പോയിന്റ് സമയം എഴുത്താണ്, ആഗ്രഹമല്ല; റാക്ക് പവർ PDU സാമ്പിളുകളാണ്, ഒരു ക്യാമ്പസ് PUE അല്ല.

റീട്രോഫിറ്റിന് മുമ്പ്, ഓഫീസ് ഇതർനെറ്റിലും VM SAN-ലും സാധാരണ എയർ-കൂൾഡ് റാക്കുകളിലെ GPU-കൾ:

• ആദ്യ ശ്രമത്തിൽ തന്നെ 8 റൺസിൽ 5 എണ്ണം പൂർത്തിയായി. ആ അഞ്ച് റൺസിലെ ശരാശരി വാൾ-ക്ലോക്ക്: 14 മണിക്കൂർ

• 8-ൽ 3 എണ്ണം ഏകദേശം 11-ാം മണിക്കൂറിലെ ഒരു സ്റ്റാളിന് ശേഷം വീണ്ടും ആരംഭിക്കേണ്ടിവന്നു (രണ്ടെണ്ണം പഴകിയ ചെക്ക്‌പോയിന്റുള്ള ഒരു നോഡ് മരിച്ചതിനുശേഷം, ഒന്ന് ഒരു ചെക്ക്‌പോയിന്റ് SAN നിറച്ചതിനുശേഷം). ഉടനടി വീണ്ടും ശ്രമിക്കുക, ക്ലോക്കിൽ രാത്രി മുഴുവൻ കാത്തിരിക്കേണ്ടതില്ല: 11 മണിക്കൂർ പാഴാക്കലും 14 മണിക്കൂർ രണ്ടാമത്തെ ശ്രമവും, അല്ലെങ്കിൽ ആ മൂന്നിലും പൂർത്തിയായ പാചകക്കുറിപ്പ് ലഭിക്കാൻ 25 മണിക്കൂർ

• എട്ട് എണ്ണത്തിലും, പുനരാരംഭങ്ങളിൽ ഉൾപ്പെടുന്ന പാചകക്കുറിപ്പ് പൂർത്തിയാക്കാനുള്ള ശരാശരി സമയം: 18 മണിക്കൂർ. (14-ന് അഞ്ച്, 25-ന് മൂന്ന്. എട്ടിന്റെയും ശരാശരി ഇപ്പോഴും 14 ആണ്, ഇത് പുനരാരംഭങ്ങളെ മറയ്ക്കും. അതുകൊണ്ടാണ് ഇവിടെ ശരാശരി അടിസ്ഥാനമായി കണക്കാക്കുന്നത്.)

• തെർമൽ ത്രോട്ടിൽ 8 റൺസിൽ 7 റൺസ് രേഖപ്പെടുത്തി. കുറഞ്ഞ ക്ലോക്കിൽ ശരാശരി സമയം: 14 മണിക്കൂർ ശ്രമത്തിൽ 3 മണിക്കൂർ

• ചെക്ക്‌പോയിന്റ് റൈറ്റ്: ശരാശരി 22 മിനിറ്റ്

• റാങ്ക്-കിൽ അവർക്ക് വിജയിക്കാൻ കഴിയുന്ന ഒരു പരീക്ഷയായിരുന്നില്ല. അവരുടെ കൈവശം ഒരു റൺബുക്ക് ഉണ്ടായിരുന്നില്ല. രണ്ട് അപകട മരണങ്ങളാണ് കണ്ടെത്തൽ

• പരിശീലന സമയത്ത് രണ്ട് റാക്കുകളിലും പീക്ക് ഐടി ലോഡ്: ഏകദേശം 18 kW. വരിയിൽ വാട്ട്സ് ഉണ്ടായിരുന്നു. അതിൽ കൂളിംഗോ തുണിയോ ഉണ്ടായിരുന്നില്ല

ആ രണ്ട് റാക്കുകളിലെയും പിൻവാതിൽ ഹീറ്റ് എക്സ്ചേഞ്ചറുകൾക്ക് ശേഷം, നാല് നോഡുകൾക്കിടയിൽ ഒരു പ്രത്യേക തുണി, ചെക്ക്‌പോസ്റ്റുകൾക്കായി ഒരു ചെറിയ NVMe പൂൾ, 30 മിനിറ്റ് ചെക്ക്‌പോയിന്റിംഗ്, ഒരു റീസ്റ്റാർട്ട് റൺബുക്ക്:

• 8 ൽ 8 എണ്ണം ആദ്യ ശ്രമത്തിൽ തന്നെ പൂർത്തിയാക്കി. ശരാശരി വാൾ-ക്ലോക്ക്: 9 മണിക്കൂർ

• തെർമൽ ത്രോട്ടിൽ: 8 ൽ 0

• ചെക്ക്‌പോയിന്റ് റൈറ്റ്: ശരാശരി 90 സെക്കൻഡ്. സെറ്റിലെ ഏറ്റവും മോശം സമയം: 3 മിനിറ്റ്

• അവസാന 30 മിനിറ്റ് ചെക്ക് പോയിന്റിൽ നിന്നാണ് രണ്ട് മനഃപൂർവമായ റാങ്ക്-കില്ലുകളും പുനരാരംഭിച്ചത്. ആ രണ്ട് റണ്ണുകളിലും അധിക വാൾ-ക്ലോക്ക്: രോഗനിർണയവും ഉൾപ്പെടെ ഏകദേശം 40 മിനിറ്റ് വീതം, അതിനാൽ ആ രണ്ടുപേരും 9 മണിക്കൂർ 40 മിനിറ്റിനടുത്ത് ഇരുന്നു. എട്ട് സ്റ്റിൽ റൗണ്ടുകൾ മുതൽ 9 മണിക്കൂർ വരെ

• പീക്ക് ഐടി ലോഡ് ഇപ്പോഴും ഏകദേശം 18 kW ആണ്. അതേ ചിപ്പുകൾ. വ്യത്യസ്ത കെട്ടിട സ്വഭാവം

ഈ സാമ്പിളിൽ, ഒരു പാചകക്കുറിപ്പ് പൂർത്തിയാക്കാനുള്ള ശരാശരി സമയം 18 മണിക്കൂറിൽ നിന്ന് 9 മണിക്കൂറായി, അല്ലെങ്കിൽ ഓരോന്നിനും 9 മണിക്കൂറായി കുറഞ്ഞു, എട്ട് റൺസിൽ 72 മണിക്കൂർ. ആദ്യമായി പൂർത്തിയാക്കിയതിന് 8 ൽ 5 ൽ നിന്ന് 8 ൽ 8 ആയി. ത്രോട്ടിൽ 8 ൽ 7 ൽ നിന്ന് 8 ൽ 0 ആയി. ആ അവസാന സംഖ്യയാണ് അവർ ആക്സിലറേറ്ററുകൾ വാങ്ങിയതാണോ അതോ പേപ്പർ വെയ്റ്റുകൾ വാങ്ങിയതാണോ എന്ന് പറയുന്നത്. സമയ മാറ്റത്തെ ഉൽപ്പാദനത്തിൽ 50% ലാഭം എന്ന് അവർ വിളിക്കില്ല. എട്ട് റൺസ് എന്നത് ചെറുതും എളുപ്പമുള്ളതുമായ ഒരു സെറ്റാണ്.

ഈ കണക്കുകൾ പ്രസ്താവിച്ച ടെസ്റ്റ്, ഒരു ചെറിയ സാമ്പിൾ, ഒരു മോഡൽ, ഒരു മിക്സഡ് ഹാൾ എന്നിവയെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ഉദാഹരണ കണക്കാണ്. അവ ഒരു PUE അല്ല, ഒരു ക്യാമ്പസ് മെഗാവാട്ട് അല്ല, കൂടാതെ കെസ്ട്രൽ ഒരു ഫീൽഡിൽ ഒരു പരിശീലന സൈറ്റ് നിർമ്മിക്കണമെന്നതിന്റെ തെളിവുമല്ല. ലോഗുകളുടെ അവലോകനം 9 മണിക്കൂറിനുള്ളിൽ നടന്നു; അവർ അത് മറച്ചുവെച്ചില്ല. 18 kW കണക്ക് ഒരു വൃത്താകൃതിയിലുള്ള PDU റീഡിംഗാണ്, യൂട്ടിലിറ്റി ഇൻവോയ്‌സല്ല. ഫാക്ടറിയുടെ ബ്ലെൻഡഡ് വൈദ്യുതി നിരക്ക് വ്യാജ ബിസിനസ്സ് കേസാകുമായിരുന്നു എന്നതിനാൽ അവർ 72 മണിക്കൂർ ചെലവാക്കി മാറ്റിയില്ല.

സെർവിംഗ് ചെക്ക് വേറിട്ടതും ചെറുതുമായിരുന്നു: വേലികെട്ടിയ പെട്ടിയിലേക്ക് 200 ലൈൻ ഇമേജുകൾ, എല്ലാം സൈറ്റിൽ തന്നെ. അത് പരിശീലനമല്ല, അനുമാനമാണ്. രണ്ടും കൂട്ടിക്കലർത്തുന്നത് മിനിയേച്ചറിലെ ഹൈബ്രിഡ്-ഹാൾ തെറ്റാകുമായിരുന്നു.

എന്ത് തെറ്റ് സംഭവിക്കാം?

• സംഭരണം നാല് സെർവറുകളെ "AI ഡാറ്റാ സെന്റർ" എന്ന് വിളിക്കുന്നു. ലേബൽ പ്ലംബിംഗ് മറയ്ക്കുന്നു, അടുത്ത വാങ്ങൽ അതേ സിക്ക് ഐസലിനുള്ള കൂടുതൽ GPU-കൾ ആയിരിക്കും

• പിൻവാതിലിലെ എക്സ്ചേഞ്ചറുകൾ അകത്തേക്ക് കടക്കുന്നു, ആരും വാട്ടർ സൈഡ് കമ്മീഷൻ ചെയ്യുന്നില്ല. ഫാനുകൾ ഇപ്പോഴും ആർത്തുവിളിക്കുന്നു. ക്ലോക്കുകൾ ഇപ്പോഴും താഴുന്നു

• തുണി ഒരു പാത്ത് ഇല്ലാത്ത ഒറ്റ സ്വിച്ചാണ്. ഒരു ലിങ്ക് പരാജയപ്പെട്ടു, "ക്ലസ്റ്റർ" വീണ്ടും നാല് വർക്ക്സ്റ്റേഷനുകളാണ്

• NVMe പൂൾ "രണ്ടാം ഘട്ടം" ആയിരുന്നതിനാൽ ചെക്ക്‌പോസ്റ്റുകൾ SAN-ൽ തന്നെ തുടരുന്നു. അടുത്ത ഡെഡ് നോഡിന് മുമ്പ് രണ്ടാം ഘട്ടം എത്തുന്നില്ല

• ഒരു മിക്സഡ് ഹാളിലെ രണ്ട് റാക്കുകൾക്ക് അവർ ഒരു PUE ഉദ്ധരിക്കുന്നു. കാലാവസ്ഥ, അതിർത്തി, ERP നിരയുടെ ബാക്കി ഭാഗങ്ങൾ എന്നിവ ആ അനുപാതത്തെ ഒരു വേഷവിധാനമാക്കുന്നു

• പരിശീലനവും സെർവിംഗും തുണി പങ്കിടുന്നു. ചെക്ക്‌പോയിന്റ് വെള്ളപ്പൊക്കം ഫാക്ടറി ലൈനിനെ കാത്തിരിക്കാൻ പ്രേരിപ്പിക്കുന്നു. ടെയിൽ ലേറ്റൻസിയാണ് അവിടെ ഉൽപ്പന്നം, സാന്ദ്രതയല്ല

• ഒരു നോഡ് മരിക്കുന്നു, ഒരാൾ അതിനെ ചെക്ക്‌പോയിന്റ് പുനരാരംഭിക്കുന്നതിനുപകരം ഒരു അപ്‌ടൈം ടിക്കറ്റായി കണക്കാക്കുന്നു. എന്റർപ്രൈസ് പ്രവർത്തനങ്ങളും AI പ്രവർത്തനങ്ങളും ഒരു ഉച്ചതിരിഞ്ഞ് മുഴുവൻ പരസ്പരം സംസാരിക്കുന്നു

• അവർക്ക് ഒരു കൂട് വാടകയ്‌ക്കെടുക്കാമായിരുന്നു, പക്ഷേ ചിത്രങ്ങൾ വിട്ടുപോകാൻ കഴിയില്ല. ആ നിയന്ത്രണം മറന്നാൽ അവർ വിശ്രമിക്കേണ്ടി വരും, ഒരു മേഘ സംഭാഷണത്തിലേക്ക് അവരെ തള്ളിവിടും

പ്രായോഗിക ഉപദേശം

ഈ രൂപത്തിൽ ഒരു AI ഡാറ്റാ സെന്റർ ഒരു വെയർഹൗസല്ല, അത് ഒരു GPU ഇൻവോയ്‌സുമല്ല. ആക്‌സിലറേറ്ററുകൾക്ക് ഓട്ടം പൂർത്തിയാക്കാൻ അനുവദിക്കുന്നത് സെല്ലാണ്: അവയ്ക്ക് നിലനിർത്താൻ കഴിയുന്ന പവർ, വിടുന്ന ചൂട്, ഒരു തുണി, ഒരു ചെക്ക്‌പോയിന്റ്, ഒരു റാങ്ക് മരിക്കുമ്പോൾ ഹുക്കിലുള്ള ഒരാൾ. കെസ്ട്രലിന് ഒരു ക്യാമ്പസ് ആവശ്യമില്ലായിരുന്നു. വ്യാജം പറയുന്നത് നിർത്താൻ അവർക്ക് രണ്ട് റാക്കുകൾ ആവശ്യമായിരുന്നു. മിക്ക ടീമുകളും ആ പെരുമാറ്റം വാടകയ്‌ക്കെടുക്കണം. രഹസ്യ ഡാറ്റാസെറ്റും ചൂട് ഏറ്റെടുക്കാൻ കഴിയുന്ന ഒരു ഹാളും ഉള്ള ചുരുക്കം ചിലർ ഒരു സെൽ നിർമ്മിച്ച് സ്ലൈഡ് നിരസിക്കണം.

പതിവുചോദ്യങ്ങൾ

ഒരു AI ഡാറ്റാ സെന്റർ എന്താണ്?

ഉയർന്ന സാന്ദ്രതയുള്ള കമ്പ്യൂട്ട് സൈറ്റായ ഇവിടെ പവർ, കൂളിംഗ്, നെറ്റ്‌വർക്കിംഗ്, സ്റ്റോറേജ് എന്നിവ പൊതു-ഉദ്ദേശ്യ സെർവറുകളുടെ വൃത്തിയുള്ള നിരകൾക്ക് ചുറ്റും വളഞ്ഞിട്ടില്ല, സമാന്തര പരിശീലനത്തിനും മോഡൽ സെർവിംഗിനും ചുറ്റും വളഞ്ഞിരിക്കുന്നു. ഉരുകാതെ, നെറ്റ്‌വർക്കിൽ സ്തംഭിക്കാതെ, ഡിസ്കിൽ കാത്തിരിക്കാതെ നിരവധി ആക്സിലറേറ്ററുകൾക്ക് മോഡലുകളെ പരിശീലിപ്പിക്കാനും സേവിക്കാനും കഴിയുന്ന തരത്തിലാണ് ഇത് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. ഒരു സാധാരണ എന്റർപ്രൈസ് ഹാൾ ഒരു മിശ്രിത അയൽപക്കമാണ്. ഒരു AI ഹാൾ എന്നത് ഒരു മോണോകൾച്ചറാണ്, അതിന്റെ മൂല്യ യൂണിറ്റ് GPU-കൾ അല്ലെങ്കിൽ TPU-സ്റ്റൈൽ ചിപ്പുകൾ പോലെയാണ്. ഇത് ഒരു വെയർഹൗസ് പോലെ കാണപ്പെടുന്നു, കൂടാതെ ഗണിതം ചെയ്യുന്ന ഒരു പവർ സ്റ്റേഷൻ പോലെ പ്രവർത്തിക്കുന്നു.

ഒരു സാധാരണ ഡാറ്റാ സെന്ററിൽ നിന്ന് ഒരു AI ഡാറ്റാ സെന്റർ എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു?

പരമ്പരാഗത ഹാളുകൾ നിരവധി ചെറിയ സേവനങ്ങളിലുടനീളം സമ്മിശ്ര ജോലിഭാരത്തിനും പ്രവർത്തന സമയത്തിനും ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. AI സൈറ്റുകൾ അനുപാതങ്ങൾ മാറ്റിമറിക്കുന്നു: സാന്ദ്രത വർദ്ധിക്കുന്നു, നെറ്റ്‌വർക്ക് പരിശീലന ജോലിക്ക് തടസ്സമാകാത്ത ഒരു തുണിത്തരമായി മാറുന്നു, കൂടാതെ സംഭരണം ചെക്ക്‌പോസ്റ്റുകൾ ചലിപ്പിക്കുകയോ ആക്സിലറേറ്ററുകൾ നിഷ്‌ക്രിയമായി ഇരിക്കുകയോ ചെയ്യേണ്ടതുണ്ട്. എന്റർപ്രൈസ് ഓപ്‌സുകൾ ടിക്കറ്റുകളിലും മാറ്റ വിൻഡോകളിലും ചിന്തിക്കുന്നു. AI ഓപ്‌സുകൾ ജോലി ക്യൂകളിൽ ചിന്തിക്കുന്നു, ഒരു നോഡ് ദീർഘകാലാടിസ്ഥാനത്തിൽ മരിക്കുമ്പോൾ അസുഖകരമായ തോന്നൽ. നിങ്ങൾക്ക് ഇപ്പോഴും രണ്ട് ഡാറ്റാ സെന്ററുകളെയും വിളിക്കാം. ലേബൽ പ്ലംബിംഗിനെ മറയ്ക്കുന്നു.

എന്തുകൊണ്ടാണ് AI ഡാറ്റാ സെന്ററുകൾ ഇത്രയധികം പവർ ഉപയോഗിക്കുന്നത്?

മികച്ച ഹാർഡ്‌വെയർ ഒരു സമർത്ഥമായ സിപിയു അല്ല. അത് ആക്സിലറേറ്റർ ട്രേയാണ്: സെർവറുകളിൽ പായ്ക്ക് ചെയ്ത GPU-കൾ അല്ലെങ്കിൽ മറ്റ് AI ചിപ്പുകൾ, തുടർന്ന് റാക്കുകൾ, തുടർന്ന് ഉയർന്ന ബാൻഡ്‌വിഡ്ത്ത് ഫാബ്രിക് പങ്കിടുന്ന വരികൾ. ഓരോ റാക്കിനും സാന്ദ്രത എന്നത് പ്ലോട്ട് ട്വിസ്റ്റാണ്: കുറച്ച് റാക്കുകൾ, ഓരോന്നിനും ഒരു ചെറിയ ഫർണസ്. ഒരു ഹാൾ നിറഞ്ഞുകഴിഞ്ഞാൽ മെഗാവാട്ട് ഐടി ലോഡ് പ്രത്യക്ഷപ്പെടുന്നു, എന്നിരുന്നാലും ഒരു സാധാരണ കണക്ക് കണ്ടുപിടിക്കുന്നത് വിലമതിക്കുന്നില്ല. പരിമിതപ്പെടുത്തുന്ന ഘടകം പലപ്പോഴും സബ്സ്റ്റേഷനാണ്, GPU-കളുടെ വിഷ്‌ലിസ്റ്റല്ല.

AI ഡാറ്റാ സെന്ററുകൾ എങ്ങനെയാണ് തണുപ്പിക്കുന്നത്?

ഉയർന്ന സാന്ദ്രതയുള്ള റാക്കുകൾ വായു ഒരിക്കലും കൈകാര്യം ചെയ്യാൻ ആവശ്യപ്പെടാത്ത വിധത്തിൽ ചൂട് പുറന്തള്ളുന്നു. പിൻവാതിലിലെ ഹീറ്റ് എക്സ്ചേഞ്ചറുകൾ, ഹോട്ടർ ഐസലുകൾ, ബുദ്ധിപൂർവ്വമായ കണ്ടെയ്ൻമെന്റ് എന്നിവ ഉപയോഗിച്ച് നിങ്ങൾക്ക് വായുവിനെ കൂടുതൽ ശക്തമായി തള്ളാൻ കഴിയും. അപ്പോൾ ദ്രാവകം ദൃശ്യമാകും: ഡയറക്ട്-ടു-ചിപ്പ് കൂളിംഗ്, കൂളന്റ് ലൂപ്പുകൾ, കുറച്ച് ഡിസൈനുകളിൽ ഇമ്മർഷൻ. ത്രോട്ടിൽ ചെയ്യുന്ന ഒരു ആക്സിലറേറ്റർ നിങ്ങൾ ഇതിനകം പണം നൽകിയിട്ടുള്ളതും പൂർണ്ണമായും ഉപയോഗിക്കാൻ കഴിയാത്തതുമാണ്. ഫാനുകൾക്കും പമ്പുകൾക്കുമായി ചെലവഴിക്കുന്ന ഓരോ വാട്ടും ഒരു GPU-യിലേക്ക് പോകാത്ത ഒരു വാട്ട് ആയതിനാൽ PUE ഇപ്പോഴും പ്രധാനമാണ്. കഥയിലും വെള്ളമുണ്ട്: ചില സസ്യങ്ങൾ കുടിക്കുന്നു, ചിലത് കുടിക്കുന്നു.

GPU-കൾ പോലെ നെറ്റ്‌വർക്കിംഗും പ്രധാനമായിരിക്കുന്നത് എന്തുകൊണ്ട്?

പരിശീലനം ഒരു സംഭാഷണമാണ്: ആയിരക്കണക്കിന് ആക്സിലറേറ്ററുകൾ ഒരു മോഡലിന്റെ ഗ്രേഡിയന്റുകൾ, പാരാമീറ്ററുകൾ, ഷാർഡുകൾ എന്നിവ പരസ്പരം കൈമാറ്റം ചെയ്യുന്നു. തുണി കുലുങ്ങുകയാണെങ്കിൽ, മുഴുവൻ ജോലിയും ഏറ്റവും മന്ദഗതിയിലുള്ള ചാട്ടത്തിനായി കാത്തിരിക്കും. അതുകൊണ്ടാണ് AI ഉയർന്ന ബാൻഡ്‌വിഡ്ത്ത് നെറ്റ്‌വർക്കിംഗ്, കുറഞ്ഞ ലേറ്റൻസി, ഇൻഫിനിബാൻഡ്-ഇഷ് തുണിത്തരങ്ങൾ അല്ലെങ്കിൽ അതേ റോളിലുള്ള ഇതർനെറ്റ്, ഒരു ലിങ്ക് പരാജയപ്പെടുമ്പോൾ പകുതിയായി മടക്കാത്ത ടോപ്പോളജികൾ എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്. ടെയിൽ ലേറ്റൻസി, നിരവധി ചെറിയ അഭ്യർത്ഥനകൾ, ഒറ്റപ്പെടൽ എന്നിവയെക്കുറിച്ച് ഇൻഫറൻസ് ശ്രദ്ധിക്കുന്നു. ഈ കെട്ടിടത്തിൽ പ്ലംബിംഗ് റെസ്റ്റോറന്റാണ്.

ഒരു AI ഡാറ്റാ സെന്റർ എന്തിനാണ് ഉപയോഗിക്കുന്നത്: പരിശീലനം അല്ലെങ്കിൽ അനുമാനം?

പരിശീലനം ഒരു കാമ്പെയ്‌നാണ്: ഒരു ക്ലസ്റ്റർ കൂട്ടിച്ചേർക്കുക, ഡാറ്റ നൽകുക, മതപരമായി ചെക്ക്‌പോയിന്റ് ചെയ്യുക, മണിക്കൂറുകളോ ആഴ്ചകളോ ഓടുക. അനുമാനം ഒരു ഷോപ്പ്ഫ്രണ്ട് ആണ്: ഇതിനകം പരിശീലനം ലഭിച്ച മോഡലുകൾ, ഇപ്പോൾ ഉത്തരം നൽകുന്നു, ലേറ്റൻസി പ്രധാനമാണ്. പരിശീലന കാമ്പസുകൾ ശക്തി, ഭൂമി, സാന്ദ്രത എന്നിവ പിന്തുടരുന്നു. അനുമാന സൈറ്റുകൾ ലേറ്റൻസിയെയും സാന്നിധ്യത്തെയും പിന്തുടരുന്നു. മൂലധനം അനന്തമല്ലാത്തതിനാൽ ഹൈബ്രിഡ് ഹാളുകൾ നിലനിൽക്കുന്നു, ചിലപ്പോൾ രണ്ട് കൂളിംഗ് ലൂപ്പുകളുള്ള ഒരു ഹാൾ. ഉപഭോക്താവിനടുത്തുള്ള അൽപ്പം പഴയ ആക്സിലറേറ്ററിന് ഒരു ഭൂഖണ്ഡം അകലെയുള്ള ഒരു ഗ്ലാമറസിനെ മറികടക്കാൻ കഴിയും.

ഒരു AI ഡാറ്റാ സെന്ററിൽ സംഭരണം പ്രധാനമായിരിക്കുന്നത് എന്തുകൊണ്ട്?

പരിശീലന ഡാറ്റ വളരെ വേഗത്തിൽ എത്തേണ്ടതുണ്ട്, അങ്ങനെ GPU-കൾ കാലിൽ തട്ടാതിരിക്കാൻ കഴിയും. ഒരു ക്രാഷ് ഒരു ആഴ്ച പോലും പാഴാകാതിരിക്കാൻ ചെക്ക്‌പോസ്റ്റുകൾ ലാൻഡ് ചെയ്യണം. സെർവിംഗ് റെപ്ലിക്ക ലൈവ് ആകുന്നതിന് മുമ്പ് മോഡൽ വെയ്റ്റുകൾ ലോഡ് ചെയ്യണം. ശേഷി മാത്രമല്ല, സ്റ്റോറേജ് ത്രൂപുട്ടും നിശബ്ദമായ തടസ്സമാണ്. നിങ്ങൾക്ക് ആക്സിലറേറ്ററുകൾക്കായി ധാരാളം ചെലവഴിക്കാനും വെർച്വൽ മെഷീനുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഒരു മര്യാദയുള്ള ശ്രേണി ഉപയോഗിച്ച് അവയെ പട്ടിണിയിലാക്കാനും കഴിയും.

ഒരു നോഡ് റൺ ചെയ്യുന്നതിനിടയിൽ മരിക്കുമ്പോൾ എന്ത് സംഭവിക്കും?

കർശനമായി ബന്ധിപ്പിച്ച പരിശീലന ജോലിയിൽ ഒരു ഡെഡ് ആക്സിലറേറ്ററിന് മുഴുവൻ കോറസിനെയും സ്തംഭിപ്പിക്കാൻ കഴിയും. പരിശീലനത്തിന് വേണ്ടത് ശുഭാപ്തിവിശ്വാസമല്ല, ചെക്ക്‌പോസ്റ്റുകളാണ്. അനുമാനം സിക്ക് നോഡിനെ ഇല്ലാതാക്കുന്നു, ഒരു പകർപ്പ് ഉത്തരം നൽകുന്നതായി നിലനിർത്തുന്നു, സജീവമായി തുടരുന്നു. മാറ്റ വിൻഡോകൾ ഇപ്പോഴും നിങ്ങളുടെ കലണ്ടറിനെ പരിഗണിക്കാത്ത പരിശീലന റണ്ണുകളുമായി കൂട്ടിയിടിക്കുന്നു. പവർ, കൂളിംഗ്, പാതകൾ, സംഭരണം എന്നിവയ്ക്ക് ആവർത്തനം ഇപ്പോഴും പ്രധാനമാണ്, പക്ഷേ പരാജയ മോഡ് പഴയ ഒൻപത്-ഓഫ്-അപ്‌ടൈം സ്ലൈഡിനേക്കാൾ വൃത്തിയുള്ളതല്ല.

ഗ്രിഡ്, ജലം, അയൽക്കാർ എന്നിവയിൽ ഒരു AI ഡാറ്റാ സെന്ററിന്റെ സ്വാധീനം എന്താണ്?

ഗ്രിഡ് കണക്ഷൻ പലപ്പോഴും യഥാർത്ഥ സൈറ്റ്-തിരഞ്ഞെടുപ്പ് പ്രക്രിയയാണ്. ഒരു സബ്സ്റ്റേഷനുമായും മറ്റ് ഉപഭോക്താക്കളുള്ള ഒരു യൂട്ടിലിറ്റിയുമായും താരതമ്യപ്പെടുത്തുമ്പോൾ ഭൂമി എളുപ്പമാണ്. തണുപ്പിക്കാനുള്ള വെള്ളം, നിങ്ങൾ അത് ഉപയോഗിക്കുകയാണെങ്കിൽ, അതിർത്തി വേലിയിൽ മഴ മോശമാകുമ്പോൾ, ശബ്ദം, ദൃശ്യ ബൾക്ക്, ചൂട് എന്നിവയ്‌ക്കൊപ്പം അയൽവാസികളുടെ പ്രശ്‌നമായി മാറുന്നു. വിലകുറഞ്ഞ വൈദ്യുതി വിപണികളിലും തണുത്ത കാലാവസ്ഥയിലും പരിശീലനം മറഞ്ഞിരിക്കാം. ഉപയോക്താക്കളുടെ അടുത്തായിരിക്കാൻ അനുമാനം ഇഷ്ടപ്പെടുന്നു. തികഞ്ഞ ഒരു സൈറ്റ് ഇല്ല. ഒരു പത്രക്കുറിപ്പുമായി ഒരു വിട്ടുവീഴ്ചയുണ്ട്.

എനിക്ക് ഒരു AI ഡാറ്റാ സെന്റർ സ്വന്തമാക്കേണ്ടതുണ്ടോ, അതോ വാടകയ്‌ക്കെടുക്കണോ?

മിക്ക ആളുകൾക്കും ഈ ഹാളുകളിൽ ഒന്ന് സ്വന്തമാക്കേണ്ടതില്ല. ഹൈപ്പർസ്കെയിലർമാർ നിർമ്മിക്കുന്നത് ഉൽപ്പന്നം ഫ്ലീറ്റ് ആയതിനാലാണ്. ക്യൂ സമയം തടസ്സമാകുമ്പോഴോ ഡാറ്റ പോകാൻ കഴിയാത്തപ്പോഴോ ലാബുകൾ നിർമ്മിക്കപ്പെടുന്നു. രഹസ്യ ഡാറ്റാസെറ്റുള്ള ഒരു ബാങ്ക്, ആശുപത്രി, ഗവൺമെന്റ് അല്ലെങ്കിൽ നിർമ്മാതാവിന് ഓൺ-പ്രേം അല്ലെങ്കിൽ ഒരു സ്വകാര്യ കോള കേജ് യുക്തിസഹമാക്കാൻ കഴിയും. മറ്റെല്ലാവരും വാടകയ്‌ക്കെടുക്കണം: AI-റെഡി കോലോക്കേഷൻ, ഒരു ക്ലൗഡ് റിസർവേഷൻ, അല്ലെങ്കിൽ ഒരു മാനേജ്ഡ് ക്ലസ്റ്റർ. ഒരു പവർ-പ്ലാന്റ് ഓപ്പറേറ്ററാകാതെ തന്നെ നിങ്ങൾക്ക് ആക്സിലറേറ്ററുകൾ ലഭിക്കും.

അവലംബം

1. ഐഇഎ - www.iea.org

2. എൽബിഎൻഎൽ - ഡാറ്റാസെന്ററുകൾ.എൽബിഎൽ.ഗോവ്

3. ദി ഗ്രീൻ ഗ്രിഡ് - www.thegreengrid.org

4. എൽബിഎൻഎൽ - ഡാറ്റാസെന്ററുകൾ.എൽബിഎൽ.ഗോവ്

5. എൽബിഎൻഎൽ - ഡാറ്റാസെന്ററുകൾ.എൽബിഎൽ.ഗോവ്

6. അപ്‌ടൈം ഇൻസ്റ്റിറ്റ്യൂട്ട് - journal.uptimeinstitute.com

7. എൻവിഡിയ - developer.nvidia.com

8. എൻവിഡിയ - docs.nvidia.com

9. എൻവിഡിയ - docs.nvidia.com

10. എൻവിഡിയ - docs.nvidia.com

11. ഗൂഗിൾ ക്ലൗഡ് - docs.cloud.google.com

ഔദ്യോഗിക AI അസിസ്റ്റന്റ് സ്റ്റോറിൽ ഏറ്റവും പുതിയ AI കണ്ടെത്തുക

ഞങ്ങളേക്കുറിച്ച്