AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു? [വീഡിയോയും ക്വിസും]

ഉത്തരം: ലളിതമായ ഒരു ടെക്സ്റ്റ് ടാസ്‌ക്കിന് AI വളരെ കുറച്ച് വൈദ്യുതി മാത്രമേ ഉപയോഗിക്കുന്നുള്ളൂ, എന്നാൽ പ്രോംപ്റ്റുകൾ ദൈർഘ്യമേറിയതായിരിക്കുമ്പോഴോ, ഔട്ട്‌പുട്ടുകൾ മൾട്ടിമോഡലായിരിക്കുമ്പോഴോ, സിസ്റ്റങ്ങൾ വൻതോതിൽ പ്രവർത്തിക്കുമ്പോഴോ ഇത് വളരെ കൂടുതലാണ്. പരിശീലനമാണ് സാധാരണയായി പ്രധാന മുൻകൂർ ഊർജ്ജ നേട്ടം, അതേസമയം അഭ്യർത്ഥനകൾ കുമിഞ്ഞുകൂടുമ്പോൾ ദൈനംദിന അനുമാനം പ്രാധാന്യമർഹിക്കുന്നു.

പ്രധാന കാര്യങ്ങൾ:

സന്ദർഭം: ഏതെങ്കിലും ഊർജ്ജ എസ്റ്റിമേറ്റ് ഉദ്ധരിക്കുന്നതിന് മുമ്പ് ടാസ്‌ക്, മോഡൽ, ഹാർഡ്‌വെയർ, സ്കെയിൽ എന്നിവ നിർവചിക്കുക.

പരിശീലനം: ബജറ്റ് ആസൂത്രണം ചെയ്യുമ്പോൾ മോഡൽ പരിശീലനത്തെ പ്രധാന ഊർജ്ജ പരിപാടിയായി കണക്കാക്കുക.

അനുമാനം: ആവർത്തിച്ചുള്ള അനുമാനങ്ങൾ സൂക്ഷ്മമായി നിരീക്ഷിക്കുക, കാരണം ഓരോ അഭ്യർത്ഥനയ്ക്കും ചെറിയ ചെലവുകൾ വേഗത്തിൽ വർദ്ധിക്കുന്നു.

അടിസ്ഥാന സൗകര്യങ്ങൾ: ഏതൊരു യഥാർത്ഥ കണക്കിലും തണുപ്പിക്കൽ, സംഭരണം, നെറ്റ്‌വർക്കുകൾ, നിഷ്‌ക്രിയ ശേഷി എന്നിവ ഉൾപ്പെടുത്തുക.

കാര്യക്ഷമത: ഊർജ്ജ ഉപയോഗം കുറയ്ക്കുന്നതിന് ചെറിയ മോഡലുകൾ, ചെറിയ പ്രോംപ്റ്റുകൾ, കാഷിംഗ്, ബാച്ചിംഗ് എന്നിവ ഉപയോഗിക്കുക.

ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:

🔗 AI പരിസ്ഥിതിയെ എങ്ങനെ ബാധിക്കുന്നു
AI-യുടെ കാർബൺ കാൽപ്പാടുകൾ, ഊർജ്ജ ഉപയോഗം, സുസ്ഥിരതാ ട്രേഡ്-ഓഫുകൾ എന്നിവ വിശദീകരിക്കുന്നു.

🔗 AI പരിസ്ഥിതിക്ക് ദോഷകരമാണോ?
AI മോഡലുകളുടെയും ഡാറ്റാ സെന്ററുകളുടെയും മറഞ്ഞിരിക്കുന്ന പാരിസ്ഥിതിക ചെലവുകൾ അനാവരണം ചെയ്യുന്നു.

🔗 AI നല്ലതാണോ ചീത്തയാണോ? ഗുണദോഷങ്ങൾ
AI നേട്ടങ്ങൾ, അപകടസാധ്യതകൾ, ധാർമ്മികത, യഥാർത്ഥ പ്രത്യാഘാതങ്ങൾ എന്നിവയെക്കുറിച്ചുള്ള സമതുലിതമായ വീക്ഷണം.

🔗 എന്താണ് AI? ഒരു ലളിതമായ ഗൈഡ്
മിനിറ്റുകൾക്കുള്ളിൽ AI അടിസ്ഥാനകാര്യങ്ങൾ, പ്രധാന പദങ്ങൾ, ദൈനംദിന ഉദാഹരണങ്ങൾ എന്നിവ പഠിക്കൂ.

ഈ ചോദ്യം ആളുകൾ ചിന്തിക്കുന്നതിനേക്കാൾ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട് 🔍

AI ഊർജ്ജ ഉപയോഗം എന്നത് പാരിസ്ഥിതിക ചർച്ചാവിഷയം മാത്രമല്ല. ഇത് വളരെ യഥാർത്ഥമായ ചില കാര്യങ്ങളെ സ്പർശിക്കുന്നു:

• വൈദ്യുതി ചെലവ് - പ്രത്യേകിച്ച് ധാരാളം AI അഭ്യർത്ഥനകൾ നടത്തുന്ന ബിസിനസുകൾക്ക്

• കാർബൺ ആഘാതം - സെർവറുകൾക്ക് പിന്നിലുള്ള പവർ സ്രോതസ്സിനെ ആശ്രയിച്ചിരിക്കുന്നു.

• ഹാർഡ്‌വെയർ സമ്മർദ്ദം - ശക്തമായ ചിപ്പുകൾ ഗണ്യമായ വൈദ്യുതി ഉപയോഗിക്കുന്നു

• സ്കെയിലിംഗ് തീരുമാനങ്ങൾ - ഒരു വിലകുറഞ്ഞ പ്രോംപ്റ്റ് ദശലക്ഷക്കണക്കിന് ചെലവേറിയ തീരുമാനങ്ങളായി മാറും.

• ഉൽപ്പന്ന രൂപകൽപ്പന - കാര്യക്ഷമത പലപ്പോഴും ആളുകൾ തിരിച്ചറിയുന്നതിനേക്കാൾ മികച്ച ഒരു സവിശേഷതയാണ് (ഗൂഗിൾ ക്ലൗഡ്, ഗ്രീൻ AI)

"AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു?" എന്ന് പലരും ചോദിക്കുന്നത് ഒരു നാടകീയ സംഖ്യ ആഗ്രഹിക്കുന്നതുകൊണ്ടാണ്. എന്തോ വലിയ കാര്യം. വാർത്തകൾക്ക് അനുയോജ്യമായ ഒന്ന്. എന്നാൽ ഏറ്റവും നല്ല ചോദ്യം ഇതാണ്: ഏത് തരത്തിലുള്ള AI ഉപയോഗത്തെക്കുറിച്ചാണ് നമ്മൾ സംസാരിക്കുന്നത്? കാരണം അത് എല്ലാം മാറ്റുന്നു. (IEA)

ഒരു ഒറ്റ ഓട്ടോകംപ്ലീറ്റ് നിർദ്ദേശമോ? വളരെ ചെറുതാണ്.
വലിയ ക്ലസ്റ്ററുകളിൽ ഒരു അതിർത്തി മോഡലിനെ പരിശീലിപ്പിക്കണോ? വളരെ, വളരെ വലുത്.
ദശലക്ഷക്കണക്കിന് ഉപയോക്താക്കളെ സ്പർശിക്കുന്ന എപ്പോഴും ഓണായിരിക്കുന്ന എന്റർപ്രൈസ് AI വർക്ക്ഫ്ലോ? അതെ, അത് വേഗത്തിൽ വർദ്ധിക്കുന്നു... പെന്നികൾ വാടക പേയ്‌മെന്റായി മാറുന്നത് പോലെ. (DOE, Google ക്ലൗഡ്)

AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു? ചെറിയ ഉത്തരം ⚡

ഇതാ പ്രായോഗിക പതിപ്പ്.

ഭാരം കുറഞ്ഞ ജോലികൾക്ക് ഒരു വാട്ട്-മണിക്കൂറിന്റെ ഒരു ചെറിയ ഭാഗം മുതൽ വലിയ തോതിലുള്ള പരിശീലനത്തിനും വിന്യാസത്തിനും വലിയ അളവിൽ വൈദ്യുതി വരെ AI-ക്ക് ഉപയോഗിക്കാൻ കഴിയും. ആ ശ്രേണി വിശാലമായതിനാൽ അത് വളരെ വിശാലമാണെന്ന് തോന്നുന്നു. (Google Cloud, Strubell et al.)

ലളിതമായി പറഞ്ഞാൽ:

• ലളിതമായ അനുമാന ജോലികൾ - പലപ്പോഴും ഉപയോഗാനുസരണം താരതമ്യേന മിതമായത്.

• നീണ്ട സംഭാഷണങ്ങൾ, വലിയ ഔട്ട്‌പുട്ടുകൾ, ഇമേജ് ജനറേഷൻ, വീഡിയോ ജനറേഷൻ - കൂടുതൽ ഊർജ്ജം ആവശ്യമുള്ളത്.

• വലിയ മോഡലുകളുടെ പരിശീലനം - വൈദ്യുതി ഉപഭോഗത്തിൽ ഹെവിവെയ്റ്റ് ചാമ്പ്യൻ

• ദിവസം മുഴുവൻ സ്കെയിലിൽ AI പ്രവർത്തിപ്പിക്കുന്നു - ഇവിടെ "ചെറിയ പെർ റിക്വസ്റ്റ്" എന്നത് "വലിയ മൊത്തം ബിൽ" ആയി മാറുന്നു (Google ക്ലൗഡ്, DOE)

ഒരു നല്ല പെരുമാറ്റച്ചട്ടം ഇതാണ്:

• പരിശീലനം എന്നത് ഭീമാകാരമായ മുൻകൂർ ഊർജ്ജ പരിപാടിയാണ് 🏭

• അനുമാനം നിലവിലുള്ള യൂട്ടിലിറ്റി ബില്ലാണ് 💡 (സ്ട്രുബെൽ തുടങ്ങിയവർ, ഗൂഗിൾ റിസർച്ച്)

അപ്പോൾ ആരെങ്കിലും " AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു?" എന്ന് ചോദിക്കുമ്പോൾ , നേരിട്ടുള്ള ഉത്തരം ഇതാണ്, "ഒരു അളവല്ല - പക്ഷേ കാര്യക്ഷമത പ്രധാനമാണെങ്കിൽ മതി, സ്കെയിൽ മുഴുവൻ കഥയും മാറ്റും." ( IEA , ഗ്രീൻ AI )

അത് ആളുകൾ ആഗ്രഹിക്കുന്നത്ര ആകർഷകമല്ലെന്ന് എനിക്കറിയാം. പക്ഷേ അത് സത്യമാണ്.

ഒരു AI ഊർജ്ജ എസ്റ്റിമേറ്റിന്റെ നല്ല പതിപ്പ് എന്താണ്? 🧠

ഒരു നല്ല കണക്ക് എന്നത് ഒരു ഗ്രാഫിക്കിൽ വലിച്ചെറിയപ്പെട്ട നാടകീയമായ ഒരു സംഖ്യ മാത്രമല്ല. ഒരു പ്രായോഗിക കണക്കിൽ സന്ദർഭവും ഉൾപ്പെടുന്നു. അല്ലെങ്കിൽ അത് ഒരു ബാത്ത്റൂം സ്കെയിൽ ഉപയോഗിച്ച് മൂടൽമഞ്ഞ് തൂക്കുന്നത് പോലെയാണ്. മതിപ്പുളവാക്കുന്ന തരത്തിൽ തോന്നാൻ കഴിയുന്നത്ര അടുത്താണ്, വിശ്വസിക്കാൻ കഴിയുന്നത്ര അടുത്തല്ല. (IEA, Google Cloud)

മാന്യമായ ഒരു AI ഊർജ്ജ എസ്റ്റിമേറ്റിൽ ഇവ ഉൾപ്പെടണം:

• ടാസ്‌ക് തരം - വാചകം, ചിത്രം, ഓഡിയോ, വീഡിയോ, പരിശീലനം, ഫൈൻ-ട്യൂണിംഗ്.

• മോഡൽ വലുപ്പം - വലിയ മോഡലുകൾക്ക് സാധാരണയായി കൂടുതൽ കമ്പ്യൂട്ട് ആവശ്യമാണ്

• ഉപയോഗിക്കുന്ന ഹാർഡ്‌വെയർ - എല്ലാ ചിപ്പുകളും ഒരുപോലെ കാര്യക്ഷമമല്ല.

• സെഷൻ ദൈർഘ്യം - ചെറിയ പ്രോംപ്റ്റുകളും നീണ്ട മൾട്ടി-സ്റ്റെപ്പ് വർക്ക്ഫ്ലോകളും വളരെ വ്യത്യസ്തമാണ്.

• ഉപയോഗം - നിഷ്‌ക്രിയ സിസ്റ്റങ്ങൾ ഇപ്പോഴും വൈദ്യുതി ഉപയോഗിക്കുന്നു

• കൂളിംഗും അടിസ്ഥാന സൗകര്യങ്ങളും - സെർവർ മാത്രമല്ല പ്രധാനം.

• സ്ഥലവും ഊർജ്ജ മിശ്രിതവും - എല്ലായിടത്തും വൈദ്യുതി ഒരുപോലെ ശുദ്ധമല്ല (Google ക്ലൗഡ്, IEA)

അതുകൊണ്ടാണ് രണ്ട് പേർക്ക് AI വൈദ്യുതി ഉപയോഗത്തെക്കുറിച്ച് വാദിക്കാൻ കഴിയുന്നത്, ഇരുവരും തികച്ചും വ്യത്യസ്തമായ കാര്യങ്ങളെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ ആത്മവിശ്വാസത്തോടെ തോന്നുന്നു. ഒരാൾ ഒരു ചാറ്റ്ബോട്ട് പ്രതികരണത്തെയാണ് അർത്ഥമാക്കുന്നത്. മറ്റൊരാൾ ഒരു വലിയ പരിശീലന ഓട്ടത്തെയാണ് അർത്ഥമാക്കുന്നത്. ഇരുവരും "AI" എന്ന് പറയുമ്പോൾ പെട്ടെന്ന് സംഭാഷണം പാളത്തിൽ നിന്ന് തെന്നിമാറുന്നു 😅

താരതമ്യ പട്ടിക - AI ഊർജ്ജ ഉപയോഗം കണക്കാക്കാനുള്ള ഏറ്റവും നല്ല മാർഗ്ഗങ്ങൾ 📊

പെർഫോമൻസ് ആർട്ടാക്കി മാറ്റാതെ ഈ ചോദ്യത്തിന് ഉത്തരം നൽകാൻ ശ്രമിക്കുന്ന ആർക്കും വേണ്ടിയുള്ള ഒരു പ്രായോഗിക പട്ടിക ഇതാ.

ഉപകരണം അല്ലെങ്കിൽ രീതി	മികച്ച പ്രേക്ഷകർ	വില	എന്തുകൊണ്ട് ഇത് പ്രവർത്തിക്കുന്നു
ലളിതമായ ഒരു പൊതു കണക്കുകൂട്ടൽ	ജിജ്ഞാസുക്കളായ വായനക്കാർ, വിദ്യാർത്ഥികൾ	സൗ ജന്യം	വേഗതയുള്ളത്, എളുപ്പമുള്ളത്, അൽപ്പം അവ്യക്തം - പക്ഷേ ഏകദേശ താരതമ്യങ്ങൾക്ക് പര്യാപ്തമാണ്
ഉപകരണ വശ വാട്ട് മീറ്റർ	സോളോ ബിൽഡർമാർ, ഹോബിയിസ്റ്റുകൾ	താഴ്ന്നത്	യഥാർത്ഥ മെഷീൻ ഡ്രോ അളക്കുന്നു, അത് ഉന്മേഷദായകമായി മൂർത്തമാണ്
ജിപിയു ടെലിമെട്രി ഡാഷ്‌ബോർഡ്	എഞ്ചിനീയർമാർ, എംഎൽ ടീമുകൾ	ഇടത്തരം	കമ്പ്യൂട്ട്-ഹെവി ടാസ്‌ക്കുകളെക്കുറിച്ച് മികച്ച വിശദാംശങ്ങൾ, എന്നിരുന്നാലും വലിയ സൗകര്യ ഓവർഹെഡ് നഷ്ടപ്പെടുത്താൻ ഇതിന് കഴിയും
ക്ലൗഡ് ബില്ലിംഗ് + ഉപയോഗ ലോഗുകൾ	സ്റ്റാർട്ടപ്പുകൾ, ഓപ്‌സ് ടീമുകൾ	ഇടത്തരം മുതൽ ഉയർന്നത് വരെ	AI ഉപയോഗത്തെ യഥാർത്ഥ ചെലവുമായി ബന്ധിപ്പിക്കുന്നു - പൂർണമല്ല, ഇപ്പോഴും വളരെ വിലപ്പെട്ടതാണ്
ഡാറ്റാ സെന്റർ എനർജി റിപ്പോർട്ടിംഗ്	എന്റർപ്രൈസ് ടീമുകൾ	ഉയർന്ന	വിശാലമായ പ്രവർത്തന ദൃശ്യപരത, തണുപ്പിക്കൽ, അടിസ്ഥാന സൗകര്യങ്ങൾ ഇവിടെ ദൃശ്യമാകാൻ തുടങ്ങൽ എന്നിവ നൽകുന്നു
പൂർണ്ണ ജീവിതചക്ര വിലയിരുത്തൽ	സുസ്ഥിരതാ ടീമുകൾ, വലിയ സംഘടനകൾ	ഉയർന്നത്, ചിലപ്പോൾ വേദനാജനകമാണ്	ഗൗരവമേറിയ വിശകലനത്തിന് ഏറ്റവും അനുയോജ്യം കാരണം അത് ചിപ്പിന് അപ്പുറത്തേക്ക് പോകുന്നു... പക്ഷേ അത് മന്ദഗതിയിലുള്ളതും ഒരുതരം മൃഗീയവുമാണ്

പൂർണതയുള്ള രീതി എന്നൊന്നില്ല. അതാണ് നേരിയ നിരാശാജനകമായ ഭാഗം. പക്ഷേ മൂല്യത്തിന്റെ തലങ്ങളുണ്ട്. സാധാരണയായി, സേവനയോഗ്യമായ എന്തെങ്കിലും പൂർണതയെ മറികടക്കും. (ഗൂഗിൾ ക്ലൗഡ്)

ഏറ്റവും വലിയ ഘടകം മാജിക്കല്ല - അത് കമ്പ്യൂട്ടും ഹാർഡ്‌വെയറുമാണ് 🖥️🔥

ആളുകൾ AI ഊർജ്ജ ഉപയോഗം സങ്കൽപ്പിക്കുമ്പോൾ, അവർ പലപ്പോഴും മോഡലിനെ വൈദ്യുതി ഉപയോഗിക്കുന്ന വസ്തുവായി സങ്കൽപ്പിക്കുന്നു. എന്നാൽ മോഡൽ ഹാർഡ്‌വെയറിൽ പ്രവർത്തിക്കുന്ന സോഫ്റ്റ്‌വെയർ ലോജിക്കാണ്. വൈദ്യുതി ബിൽ കാണിക്കുന്നത് ഹാർഡ്‌വെയറിലാണ്. (സ്ട്രബെൽ തുടങ്ങിയവർ, ഗൂഗിൾ ക്ലൗഡ്)

ഏറ്റവും വലിയ വേരിയബിളുകളിൽ സാധാരണയായി ഇവ ഉൾപ്പെടുന്നു:

• GPU അല്ലെങ്കിൽ ആക്സിലറേറ്റർ തരം

• എത്ര ചിപ്പുകൾ ഉപയോഗിക്കുന്നു?

• അവ എത്ര നേരം സജീവമായിരിക്കും?

• മെമ്മറി ലോഡ്

• ബാച്ച് വലുപ്പവും ത്രൂപുട്ടും

• സിസ്റ്റം നന്നായി ഒപ്റ്റിമൈസ് ചെയ്തിട്ടുണ്ടോ അതോ എല്ലാം ക്രൂരമായി നിർബന്ധിച്ചോ (ഗൂഗിൾ ക്ലൗഡ്, ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് സ്ട്രാറ്റജീസ് ഇൻ എൽഎൽഎം എനർജി യൂസ്)

വളരെ ഒപ്റ്റിമൈസ് ചെയ്ത ഒരു സിസ്റ്റത്തിന് കുറഞ്ഞ ഊർജ്ജം ഉപയോഗിച്ച് കൂടുതൽ ജോലി ചെയ്യാൻ കഴിയും. ഒരു മന്ദബുദ്ധിയായ സിസ്റ്റം അതിശയിപ്പിക്കുന്ന ആത്മവിശ്വാസത്തോടെ വൈദ്യുതി പാഴാക്കും. അത് എങ്ങനെയാണെന്ന് നിങ്ങൾക്കറിയാം - ചില സജ്ജീകരണങ്ങൾ റേസ് കാറുകളാണ്, ചിലത് ഡക്റ്റ്-ടേപ്പ് ചെയ്ത റോക്കറ്റുകളുള്ള ഷോപ്പിംഗ് കാർട്ടുകളാണ് 🚀🛒

അതെ, മോഡൽ വലുപ്പം പ്രധാനമാണ്. വലിയ മോഡലുകൾക്ക് കൂടുതൽ മെമ്മറിയും കൂടുതൽ കമ്പ്യൂട്ടേഷനും ആവശ്യമാണ്, പ്രത്യേകിച്ച് ദൈർഘ്യമേറിയ ഔട്ട്‌പുട്ടുകൾ സൃഷ്ടിക്കുമ്പോഴോ സങ്കീർണ്ണമായ ന്യായവാദം കൈകാര്യം ചെയ്യുമ്പോഴോ. എന്നാൽ കാര്യക്ഷമത തന്ത്രങ്ങൾക്ക് ചിത്രം മാറ്റാൻ കഴിയും: (Green AI, Quantization, Batching, and Serving Strategies in LLM Energy Use)

• ക്വാണ്ടൈസേഷൻ

• മികച്ച റൂട്ടിംഗ്

• ചെറിയ സ്പെഷ്യലിസ്റ്റ് മോഡലുകൾ

• കാഷിംഗ്

• ബാച്ചിംഗ്

• മികച്ച ഹാർഡ്‌വെയർ ഷെഡ്യൂളിംഗ് (LLM എനർജി ഉപയോഗത്തിലെ ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് തന്ത്രങ്ങൾ)

അപ്പോൾ ചോദ്യം "ആ മോഡൽ എത്ര വലുതാണ്?" എന്നത് മാത്രമല്ല, "എത്ര ബുദ്ധിപൂർവ്വമാണ് ഇത് പ്രവർത്തിപ്പിക്കപ്പെടുന്നത്?" എന്നതാണ്

പരിശീലനം vs അനുമാനം - ഇവ വ്യത്യസ്ത മൃഗങ്ങളാണ് 🐘🐇

ഇതാണ് മിക്കവാറും എല്ലാവരെയും ആശയക്കുഴപ്പത്തിലാക്കുന്ന വിഭജനം.

പരിശീലനം

ഒരു മോഡൽ വലിയ ഡാറ്റാസെറ്റുകളിൽ നിന്ന് പാറ്റേണുകൾ പഠിക്കുന്നതിനെയാണ് പരിശീലനം എന്ന് പറയുന്നത്. ഇതിൽ ദീർഘനേരം പ്രവർത്തിക്കുന്ന നിരവധി ചിപ്പുകൾ ഉൾപ്പെട്ടേക്കാം, ഭീമമായ അളവിലുള്ള ഡാറ്റയിലൂടെ ചവയ്ക്കാം. ഈ ഘട്ടം ഊർജ്ജദാഹമുള്ളതാണ്. ചിലപ്പോൾ അത് വളരെ വലുതാണ്. (സ്ട്രുബെൽ തുടങ്ങിയവർ.)

പരിശീലന ഊർജ്ജം ഇവയെ ആശ്രയിച്ചിരിക്കുന്നു:

• മോഡൽ വലുപ്പം

• ഡാറ്റാസെറ്റ് വലുപ്പം

• പരിശീലന റണ്ണുകളുടെ എണ്ണം

• പരാജയപ്പെട്ട പരീക്ഷണങ്ങൾ

• ഫൈൻ-ട്യൂണിംഗ് പാസുകൾ

• ഹാർഡ്‌വെയർ കാര്യക്ഷമത

• കൂളിംഗ് ഓവർഹെഡ് (സ്ട്രുബെൽ തുടങ്ങിയവർ, ഗൂഗിൾ റിസർച്ച്)

ആളുകൾ പലപ്പോഴും ശ്രദ്ധിക്കാതെ പോകുന്ന ഒരു ഭാഗം ഇതാണ് - പൊതുജനങ്ങൾ പലപ്പോഴും സങ്കൽപ്പിക്കുന്നത് ഒരു വലിയ പരിശീലന ഓട്ടം, ഒരിക്കൽ പൂർത്തിയാക്കിയാൽ, കഥയുടെ അവസാനം എന്നാണ്. പ്രായോഗികമായി, വികസനത്തിൽ ആവർത്തിച്ചുള്ള ഓട്ടങ്ങൾ, ട്യൂണിംഗ്, പുനർപരിശീലനം, വിലയിരുത്തൽ, പ്രധാന ഇവന്റിനെ ചുറ്റിപ്പറ്റിയുള്ള എല്ലാ ഗദ്യപരവും എന്നാൽ ചെലവേറിയതുമായ ആവർത്തനങ്ങൾ എന്നിവ ഉൾപ്പെടാം. (സ്ട്രുബെൽ തുടങ്ങിയവർ, ഗ്രീൻ AI)

നിഗമനം

ഉപയോക്തൃ അഭ്യർത്ഥനകൾക്ക് ഉത്തരം നൽകുന്ന മാതൃകയാണ് അനുമാനം. ഒരു അഭ്യർത്ഥന അത്ര വലുതായി തോന്നണമെന്നില്ല. പക്ഷേ അനുമാനം വീണ്ടും വീണ്ടും സംഭവിക്കുന്നു. ദശലക്ഷക്കണക്കിന് തവണ. ചിലപ്പോൾ കോടിക്കണക്കിന്. (ഗൂഗിൾ റിസർച്ച്, DOE)

അനുമാന ഊർജ്ജം ഇനിപ്പറയുന്നവയ്‌ക്കൊപ്പം വളരുന്നു:

• പ്രോംപ്റ്റ് ദൈർഘ്യം

• ഔട്ട്പുട്ട് ദൈർഘ്യം

• ഉപയോക്താക്കളുടെ എണ്ണം

• ലേറ്റൻസി ആവശ്യകതകൾ

• മൾട്ടിമോഡൽ സവിശേഷതകൾ

• പ്രവർത്തന സമയ പ്രതീക്ഷകൾ

• സുരക്ഷയും പോസ്റ്റ്-പ്രോസസ്സിംഗ് ഘട്ടങ്ങളും ( എൽഎൽഎം എനർജി ഉപയോഗത്തിലെ ഗൂഗിൾ ക്ലൗഡ് , ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് തന്ത്രങ്ങൾ )

അപ്പോൾ പരിശീലനം ഭൂകമ്പമാണ്. അനുമാനം വേലിയേറ്റമാണ്. ഒന്ന് നാടകീയമാണ്, ഒന്ന് സ്ഥിരതയുള്ളതാണ്, രണ്ടിനും തീരത്തെ അല്പം പുനർനിർമ്മിക്കാൻ കഴിയും. ഇത് അസാധാരണമായ ഒരു രൂപകമായിരിക്കാം, പക്ഷേ അത് ഒരുമിച്ച് നിൽക്കുന്നു... കൂടുതലോ കുറവോ.

ആളുകൾ മറക്കുന്ന മറഞ്ഞിരിക്കുന്ന ഊർജ്ജ ചെലവുകൾ 😬

ചിപ്പ് മാത്രം നോക്കി ആരെങ്കിലും AI പവർ ഉപയോഗം കണക്കാക്കുമ്പോൾ, അവർ സാധാരണയായി അത് കുറച്ചുകാണുകയാണ് ചെയ്യുന്നത്. എല്ലായ്‌പ്പോഴും വിനാശകരമല്ല, പക്ഷേ പ്രാധാന്യമർഹിക്കാൻ പര്യാപ്തമാണ്. (Google ക്ലൗഡ്, IEA)

മറഞ്ഞിരിക്കുന്ന ഭാഗങ്ങൾ ഇതാ:

കൂളിംഗ് ❄️

സെർവറുകൾ ചൂട് ഉത്പാദിപ്പിക്കുന്നു. ശക്തമായ AI ഹാർഡ്‌വെയർ അതിൽ ധാരാളം ഉത്പാദിപ്പിക്കുന്നു. തണുപ്പിക്കൽ ഓപ്ഷണൽ അല്ല. കമ്പ്യൂട്ടേഷനിൽ ഉപയോഗിക്കുന്ന ഓരോ വാട്ടും താപനിലയെ ന്യായമായി നിലനിർത്താൻ കൂടുതൽ ഊർജ്ജ ഉപയോഗം ക്ഷണിച്ചുവരുത്തുന്നു. (IEA, Google ക്ലൗഡ്)

ഡാറ്റാ ചലനം 🌐

സംഭരണം, മെമ്മറി, നെറ്റ്‌വർക്കുകൾ എന്നിവയിലൂടെ ഡാറ്റ നീക്കുന്നതിനും ഊർജ്ജം ആവശ്യമാണ്. AI വെറും "ചിന്തിക്കുക" മാത്രമല്ല. അത് നിരന്തരം വിവരങ്ങൾ കലർത്തുകയും ചെയ്യുന്നു. (IEA)

നിഷ്‌ക്രിയ ശേഷി 💤

പീക്ക് ഡിമാൻഡിനായി നിർമ്മിച്ച സിസ്റ്റങ്ങൾ എല്ലായ്പ്പോഴും പീക്ക് ഡിമാൻഡിൽ പ്രവർത്തിക്കണമെന്നില്ല. നിഷ്‌ക്രിയമായതോ ഉപയോഗിക്കാത്തതോ ആയ അടിസ്ഥാന സൗകര്യങ്ങൾ ഇപ്പോഴും വൈദ്യുതി ഉപയോഗിക്കുന്നു. (Google ക്ലൗഡ്)

ആവർത്തനവും വിശ്വാസ്യതയും 🧱

ബാക്കപ്പുകൾ, പരാജയ സംവിധാനങ്ങൾ, ഡ്യൂപ്ലിക്കേറ്റ് മേഖലകൾ, സുരക്ഷാ പാളികൾ - എല്ലാം വിലപ്പെട്ടതാണ്, എല്ലാം വലിയ ഊർജ്ജ ചിത്രത്തിന്റെ ഭാഗമാണ്. (IEA)

സംഭരണം 📦

പരിശീലന ഡാറ്റ, ഉൾച്ചേർക്കലുകൾ, ലോഗുകൾ, ചെക്ക്‌പോസ്റ്റുകൾ, ജനറേറ്റുചെയ്‌ത ഔട്ട്‌പുട്ടുകൾ - ഇവയെല്ലാം എവിടെയോ ഉണ്ട്. കമ്പ്യൂട്ട് ചെയ്യുന്നതിനേക്കാൾ സംഭരണം വിലകുറഞ്ഞതാണ്, തീർച്ചയായും, പക്ഷേ ഊർജ്ജത്തിന്റെ കാര്യത്തിൽ സൗജന്യമല്ല. (IEA)

അതുകൊണ്ടാണ് AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു? എന്ന ചോദ്യത്തിന് ഒരൊറ്റ ബെഞ്ച്മാർക്ക് ചാർട്ട് നോക്കി ഉത്തരം നൽകാൻ കഴിയില്ല. മുഴുവൻ സ്റ്റാക്കും പ്രധാനമാണ്. (ഗൂഗിൾ ക്ലൗഡ്, ഐഇഎ)

ഒരു AI പ്രോംപ്റ്റ് ചെറുതായിരിക്കാൻ കഴിയുന്നത് എന്തുകൊണ്ട് - അടുത്തത് ഒരു ഭീകരനാകാം 📝➡️🎬

എല്ലാ പ്രോംപ്റ്റുകളും തുല്യമായി സൃഷ്ടിക്കപ്പെട്ടിട്ടില്ല. ഒരു വാക്യം മാറ്റിയെഴുതാനുള്ള ഒരു ചെറിയ അഭ്യർത്ഥന, ഒരു നീണ്ട വിശകലനം, മൾട്ടി-സ്റ്റെപ്പ് കോഡിംഗ് സെഷൻ അല്ലെങ്കിൽ ഉയർന്ന റെസല്യൂഷൻ ഇമേജ് ജനറേഷൻ എന്നിവ ആവശ്യപ്പെടുന്നതിന് തുല്യമല്ല. (Google ക്ലൗഡ്)

ഓരോ ഇടപെടലിലും ഊർജ്ജ ഉപയോഗം വർദ്ധിപ്പിക്കുന്ന കാര്യങ്ങൾ:

• ദൈർഘ്യമേറിയ സന്ദർഭ വിൻഡോകൾ

• ദൈർഘ്യമേറിയ പ്രതികരണങ്ങൾ

• ഉപകരണ ഉപയോഗവും വീണ്ടെടുക്കൽ ഘട്ടങ്ങളും

• യുക്തിവാദത്തിനോ സാധൂകരണത്തിനോ വേണ്ടി ഒന്നിലധികം പാസുകൾ

• ചിത്രം, ഓഡിയോ അല്ലെങ്കിൽ വീഡിയോ ജനറേഷൻ

• ഉയർന്ന കൺകറൻസി

• താഴ്ന്ന ലേറ്റൻസി ടാർഗെറ്റുകൾ ( എൽഎൽഎം എനർജി ഉപയോഗത്തിലെ ഗൂഗിൾ ക്ലൗഡ് , ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് തന്ത്രങ്ങൾ )

ഒരു ഭാരം കുറഞ്ഞ ടെക്സ്റ്റ് ഉത്തരം താരതമ്യേന വിലകുറഞ്ഞതായിരിക്കാം. ഒരു ഭീമൻ മൾട്ടിമോഡൽ വർക്ക്ഫ്ലോ വിലകുറഞ്ഞതായിരിക്കില്ല. ഇത് കോഫി ഓർഡർ ചെയ്യുന്നതും ഒരു വിവാഹത്തിന് ഭക്ഷണം നൽകുന്നതും പോലെയാണ്. സാങ്കേതികമായി രണ്ടും “ഭക്ഷണ സേവനം” ആയി കണക്കാക്കപ്പെടുന്നു. ഒന്ന് മറ്റൊന്ന് പോലെയല്ല ☕🎉

പ്രത്യേകിച്ചും ഉൽപ്പന്ന ടീമുകൾക്ക് ഇത് പ്രധാനമാണ്. കുറഞ്ഞ ഉപയോഗത്തിൽ നിരുപദ്രവകരമെന്ന് തോന്നുന്ന ഒരു സവിശേഷത, ഓരോ ഉപയോക്തൃ സെഷനും ദൈർഘ്യമേറിയതും, സമ്പന്നവും, കൂടുതൽ കമ്പ്യൂട്ട്-ഹെവിയുമായി മാറുകയാണെങ്കിൽ, സ്കെയിലിൽ ചെലവേറിയതായി മാറിയേക്കാം. (DOE, Google Cloud)

കൺസ്യൂമർ AI ഉം എന്റർപ്രൈസ് AI ഉം ഒന്നല്ല 🏢📱

AI ഉപയോഗിക്കുന്ന ഒരു ശരാശരി വ്യക്തി, ഇടയ്ക്കിടെയുള്ള പ്രോംപ്റ്റുകളാണ് വലിയ പ്രശ്‌നമെന്ന് കരുതിയേക്കാം. സാധാരണയായി, പ്രധാന ഊർജ്ജ കഥ നിലനിൽക്കുന്നത് അവിടെയല്ല. (Google ക്ലൗഡ്)

എന്റർപ്രൈസ് ഉപയോഗം ഗണിതത്തെ മാറ്റുന്നു:

• ആയിരക്കണക്കിന് ജീവനക്കാർ

• എപ്പോഴും ഓൺ കോപൈലറ്റുകൾ

• ഓട്ടോമേറ്റഡ് ഡോക്യുമെന്റ് പ്രോസസ്സിംഗ്

• കോൾ സംഗ്രഹം

• ചിത്ര വിശകലനം

• കോഡ് അവലോകന ഉപകരണങ്ങൾ

• പശ്ചാത്തല ഏജന്റുകൾ നിരന്തരം പ്രവർത്തിക്കുന്നു

അവിടെയാണ് മൊത്തം ഊർജ്ജ ഉപയോഗം വളരെയധികം പ്രാധാന്യമർഹിക്കുന്നത്. ഓരോ പ്രവൃത്തിയും അപ്പോക്കലിപ്റ്റിക് ആയതുകൊണ്ടല്ല, മറിച്ച് ആവർത്തനം ഒരു ഗുണിതമായതുകൊണ്ടാണ്. (DOE, IEA)

എന്റെ സ്വന്തം ടെസ്റ്റിംഗിലും വർക്ക്ഫ്ലോ അവലോകനങ്ങളിലും, ആളുകൾ ആശ്ചര്യപ്പെടുന്നത് ഇവിടെയാണ്. അവർ മോഡലിന്റെ പേരിലോ മിന്നുന്ന ഡെമോയിലോ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, വോളിയം അവഗണിക്കുന്നു. വോളിയം പലപ്പോഴും യഥാർത്ഥ ഡ്രൈവർ ആണ് - അല്ലെങ്കിൽ ലാഭിക്കൽ ഗ്രേസ്, നിങ്ങൾ ഉപഭോക്താക്കളെ ബില്ല് ചെയ്യുകയാണോ അതോ യൂട്ടിലിറ്റി ടാബ് അടയ്ക്കുകയാണോ എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു 😅

ഉപഭോക്താക്കൾക്ക്, ആഘാതം അമൂർത്തമായി തോന്നാം. ബിസിനസുകൾക്ക്, ഇത് വളരെ വേഗത്തിൽ മൂർത്തമാകും:

• കൂടുതൽ അടിസ്ഥാന സൗകര്യ ബില്ലുകൾ

• ഒപ്റ്റിമൈസ് ചെയ്യാൻ കൂടുതൽ സമ്മർദ്ദം

• സാധ്യമാകുന്നിടത്തെല്ലാം ചെറിയ മോഡലുകളുടെ ശക്തമായ ആവശ്യം

• ആന്തരിക സുസ്ഥിരതാ റിപ്പോർട്ടിംഗ്

• കാഷിംഗിലും റൂട്ടിംഗിലും കൂടുതൽ ശ്രദ്ധ (Google ക്ലൗഡ്, ഗ്രീൻ AI)

AI ഉപേക്ഷിക്കാതെ AI ഊർജ്ജ ഉപയോഗം എങ്ങനെ കുറയ്ക്കാം 🌱

ഈ ഭാഗം പ്രധാനമാണ്, കാരണം ലക്ഷ്യം "AI ഉപയോഗിക്കുന്നത് നിർത്തുക" എന്നതല്ല. സാധാരണയായി അത് യാഥാർത്ഥ്യബോധമുള്ളതല്ല, ആവശ്യമില്ല. മികച്ച ഉപയോഗമാണ് മികച്ച മാർഗം.

ഏറ്റവും വലിയ ലിവറുകൾ ഇതാ:

1. ജോലി പൂർത്തിയാക്കുന്ന ഏറ്റവും ചെറിയ മോഡൽ ഉപയോഗിക്കുക

എല്ലാ ജോലികൾക്കും ഹെവിവെയ്റ്റ് ഓപ്ഷൻ ആവശ്യമില്ല. വർഗ്ഗീകരണത്തിനോ സംഗ്രഹത്തിനോ വേണ്ടിയുള്ള ഒരു ഭാരം കുറഞ്ഞ മോഡലിന് പാഴാക്കൽ വേഗത്തിൽ കുറയ്ക്കാൻ കഴിയും. (ഗ്രീൻ AI, ഗൂഗിൾ ക്ലൗഡ്)

2. പ്രോംപ്റ്റുകളും ഔട്ട്പുട്ടുകളും ചെറുതാക്കുക

വെർബോസ് ഇൻ, വെർബോസ് ഔട്ട്. അധിക ടോക്കണുകൾ അധിക കണക്കുകൂട്ടൽ എന്നാണ് അർത്ഥമാക്കുന്നത്. ചിലപ്പോൾ പ്രോംപ്റ്റ് ട്രിം ചെയ്യുന്നത് ഏറ്റവും എളുപ്പമുള്ള വിജയമാണ്. (LLM എനർജി യൂസിലെ ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് തന്ത്രങ്ങൾ, ഗൂഗിൾ ക്ലൗഡ്)

3. ആവർത്തിച്ചുള്ള ഫലങ്ങൾ കാഷെ ചെയ്യുക

ഒരേ ചോദ്യം വീണ്ടും വീണ്ടും പ്രത്യക്ഷപ്പെടുകയാണെങ്കിൽ, അത് എല്ലായ്‌പ്പോഴും പുനഃസൃഷ്ടിക്കരുത്. ഇത് മിക്കവാറും അരോചകമായി വ്യക്തമാണ്, പക്ഷേ അത് നഷ്ടപ്പെടും. (Google ക്ലൗഡ്)

4. സാധ്യമാകുമ്പോൾ ബാച്ച് ജോലികൾ

ബാച്ചുകളായി ജോലികൾ ചെയ്യുന്നത് ഉപയോഗം മെച്ചപ്പെടുത്താനും മാലിന്യം കുറയ്ക്കാനും സഹായിക്കും. (LLM ഊർജ്ജ ഉപയോഗത്തിലെ ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് തന്ത്രങ്ങൾ)

5. ജോലികൾ ബുദ്ധിപരമായി റൂട്ട് ചെയ്യുക

ആത്മവിശ്വാസം കുറയുമ്പോഴോ ജോലി സങ്കീർണ്ണത വർദ്ധിക്കുമ്പോഴോ മാത്രം വലിയ മോഡലുകൾ ഉപയോഗിക്കുക. (ഗ്രീൻ AI, ഗൂഗിൾ ക്ലൗഡ്)

6. അടിസ്ഥാന സൗകര്യങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യുക

മികച്ച ഷെഡ്യൂളിംഗ്, മികച്ച ഹാർഡ്‌വെയർ, മികച്ച കൂളിംഗ് തന്ത്രം - പ്രായോഗിക കാര്യങ്ങൾ, വലിയ പ്രതിഫലം. (ഗൂഗിൾ ക്ലൗഡ്, DOE)

7. അനുമാനിക്കുന്നതിന് മുമ്പ് അളക്കുക

പല ടീമുകളും കരുതുന്നത് വൈദ്യുതി എവിടേക്കാണ് പോകുന്നതെന്ന് തങ്ങൾക്ക് അറിയാമെന്ന്. പിന്നെ അവർ അളക്കുന്നു, അതാ - വിലയേറിയ ഭാഗം മറ്റെവിടെയോ ഇരിക്കുന്നു. (ഗൂഗിൾ ക്ലൗഡ്)

കാര്യക്ഷമതയുള്ള ജോലി അത്ര ഗംഭീരമല്ല. ഇതിന് വളരെ അപൂർവമായി മാത്രമേ കൈയ്യടി ലഭിക്കൂ. എന്നാൽ AI കൂടുതൽ താങ്ങാനാവുന്നതും സ്കെയിലിൽ കൂടുതൽ പ്രതിരോധാത്മകവുമാക്കുന്നതിനുള്ള ഏറ്റവും നല്ല മാർഗങ്ങളിൽ ഒന്നാണിത് 👍

AI വൈദ്യുതി ഉപയോഗത്തെക്കുറിച്ചുള്ള പൊതുവായ മിഥ്യാധാരണകൾ 🚫

ഈ വിഷയം പെട്ടെന്ന് കുഴപ്പത്തിലാകുന്നതിനാൽ, ചില മിഥ്യാധാരണകൾ നമുക്ക് മാറ്റാം.

മിത്ത് 1 - ഓരോ AI അന്വേഷണവും വളരെയധികം പാഴാക്കുന്നതാണ്

അങ്ങനെയല്ല. ചിലത് എളിമയുള്ളവയാണ്. അളവും ടാസ്‌ക് തരവും വളരെ പ്രധാനമാണ്. (Google ക്ലൗഡ്)

മിത്ത് 2 - പരിശീലനം മാത്രമാണ് പ്രധാനം

ഇല്ല. ഉപയോഗം വളരെ കൂടുതലാകുമ്പോൾ കാലക്രമേണ അനുമാനങ്ങൾക്ക് ആധിപത്യം സ്ഥാപിക്കാൻ കഴിയും. (ഗൂഗിൾ റിസർച്ച്, DOE)

മിത്ത് 3 - വലിയ മോഡൽ എപ്പോഴും മികച്ച ഫലം എന്നാണ് അർത്ഥമാക്കുന്നത്

ചിലപ്പോൾ അതെ, ചിലപ്പോൾ ഒട്ടും തന്നെ അല്ല. ചെറിയ സിസ്റ്റങ്ങളിൽ ധാരാളം ജോലികൾ നന്നായി ചെയ്യും. (ഗ്രീൻ AI)

മിത്ത് 4 - ഊർജ്ജ ഉപയോഗം കാർബൺ ആഘാതത്തിന് തുല്യമാണ്

കൃത്യമായി അങ്ങനെയല്ല. കാർബൺ ഊർജ്ജ സ്രോതസ്സിനെയും ആശ്രയിച്ചിരിക്കുന്നു. (IEA, Strubell et al.)

മിത്ത് 5 - AI ഊർജ്ജ ഉപയോഗത്തിന് നിങ്ങൾക്ക് ഒരു സാർവത്രിക നമ്പർ ലഭിക്കും

നിങ്ങൾക്ക് കഴിയില്ല, കുറഞ്ഞപക്ഷം അർത്ഥവത്തായി നിലനിൽക്കുന്ന ഒരു രൂപത്തിലെങ്കിലും. അല്ലെങ്കിൽ നിങ്ങൾക്ക് കഴിയും, പക്ഷേ അത് വളരെ ശരാശരിയായി കണക്കാക്കുകയും അത് വിലപ്പെട്ടതായി മാറുകയും ചെയ്യും. (IEA)

അതുകൊണ്ടാണ് AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു എന്ന് ബുദ്ധിപരമാകുന്നത് - പക്ഷേ ഒരു മുദ്രാവാക്യത്തിന് പകരം ഒരു പാളിയായ ഉത്തരത്തിന് നിങ്ങൾ തയ്യാറാണെങ്കിൽ മാത്രം.

അപ്പോൾ... AI ശരിക്കും എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു? 🤔

അടിസ്ഥാനപരമായ നിഗമനം ഇതാ.

AI ഉപയോഗിക്കുന്നത്:

• കുറച്ച്, ചില ലളിതമായ ജോലികൾക്ക്

• ഹെവി മൾട്ടിമോഡൽ ജനറേഷനായി ഒരുപാട് കൂടുതൽ

• വലിയ തോതിലുള്ള മോഡൽ പരിശീലനത്തിന് വളരെ വലിയ തുക

• ദശലക്ഷക്കണക്കിന് അഭ്യർത്ഥനകൾ കാലക്രമേണ കുന്നുകൂടുമ്പോൾ, മൊത്തത്തിൽ ഒരു വലിയ തുക ( Google ക്ലൗഡ് , DOE )

അതാണ് അതിന്റെ ആകൃതി.

പ്രധാന കാര്യം, മുഴുവൻ പ്രശ്നത്തെയും ഒരു ഭയാനകമായ സംഖ്യയിലോ ഒരു തള്ളിക്കളയുന്ന തോളിൽ തട്ടിമാറ്റുന്നതിലോ ഒതുക്കി നിർത്തരുത് എന്നതാണ്. AI ഊർജ്ജ ഉപയോഗം യഥാർത്ഥമാണ്. അത് പ്രധാനമാണ്. അത് മെച്ചപ്പെടുത്താൻ കഴിയും. അതിനെക്കുറിച്ച് സംസാരിക്കാനുള്ള ഏറ്റവും നല്ല മാർഗം നാടകീയതയല്ല, സന്ദർഭവുമായി പൊരുത്തപ്പെടുന്നതാണ്. (IEA, ഗ്രീൻ AI)

പൊതു സംഭാഷണങ്ങളിൽ ഭൂരിഭാഗവും അതിരുകടന്ന ആശയങ്ങൾക്കിടയിൽ ചാഞ്ചാടുന്നു - ഒരു വശത്ത് “AI അടിസ്ഥാനപരമായി സ്വതന്ത്രമാണ്”, മറുവശത്ത് “AI ഒരു വൈദ്യുത അപ്പോക്കലിപ്‌സ് ആണ്”. യാഥാർത്ഥ്യം കൂടുതൽ സാധാരണമാണ്, അത് അതിനെ കൂടുതൽ വിവരദായകമാക്കുന്നു. ഇത് ഒരു സിസ്റ്റം പ്രശ്‌നമാണ്. ഹാർഡ്‌വെയർ, സോഫ്റ്റ്‌വെയർ, ഉപയോഗം, സ്കെയിൽ, കൂളിംഗ്, ഡിസൈൻ തിരഞ്ഞെടുപ്പുകൾ. പ്രോസൈക്? അൽപ്പം. പ്രധാനമാണോ? വളരെ. (IEA, Google ക്ലൗഡ്)

പ്രധാന കാര്യങ്ങൾ ⚡🧾

"AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു?" എന്ന് ചോദിച്ചാണ് നിങ്ങൾ ഇവിടെ വന്നതെങ്കിൽ, അതിനുള്ള ഉത്തരം ഇതാ:

• എല്ലാവർക്കും യോജിക്കുന്ന ഒരു നമ്പർ ഇല്ല

• സാധാരണയായി പരിശീലനത്തിന് മുമ്പായി ഏറ്റവും കൂടുതൽ ഊർജ്ജം ചെലവഴിക്കുന്നു

• സ്കെയിലിൽ അനുമാനം ഒരു പ്രധാന ഘടകമായി മാറുന്നു

• മോഡൽ വലുപ്പം, ഹാർഡ്‌വെയർ, ജോലിഭാരം, തണുപ്പിക്കൽ എന്നിവയെല്ലാം പ്രധാനമാണ്

• ചെറിയ ഒപ്റ്റിമൈസേഷനുകൾക്ക് അതിശയകരമാംവിധം വലിയ മാറ്റമുണ്ടാക്കാൻ കഴിയും

• ഏറ്റവും ബുദ്ധിമാനായ ചോദ്യം “എത്ര” എന്നല്ല, “ഏത് ജോലിക്ക്, ഏത് സിസ്റ്റത്തിൽ, ഏത് സ്കെയിലിൽ?” എന്നതാണ് (IEA, Google Cloud).

അതെ, AI യഥാർത്ഥ ഊർജ്ജം ഉപയോഗിക്കുന്നു. ശ്രദ്ധ അർഹിക്കാൻ മാത്രം മതി. മികച്ച എഞ്ചിനീയറിംഗിനെ ന്യായീകരിക്കാൻ മതി. പക്ഷേ കാർട്ടൂണിഷ്, ഒറ്റ സംഖ്യാ രീതിയിൽ അല്ല.

യഥാർത്ഥ ലോക ഉദാഹരണം: ഒരു AI സപ്പോർട്ട് അസിസ്റ്റന്റിന്റെ ഊർജ്ജ ചെലവ് അളക്കൽ

രംഗം

ഒരു ചെറിയ SaaS കമ്പനി ഒരു AI അസിസ്റ്റന്റിനെ ഉപയോഗിച്ച് ഉപഭോക്തൃ പിന്തുണ ടിക്കറ്റുകൾക്കുള്ള മറുപടികൾ തയ്യാറാക്കുന്നത് സങ്കൽപ്പിക്കുക. ഇത് ഒരു സാങ്കൽപ്പികവും എന്നാൽ യാഥാർത്ഥ്യബോധമുള്ളതുമായ ഉദാഹരണമാണ്, ഒരു കമ്പനി കേസ് സ്റ്റഡി അല്ല.

ഈ ടീം ഓരോ ആഴ്ചയും ഏകദേശം 500 സപ്പോർട്ട് ടിക്കറ്റുകൾ കൈകാര്യം ചെയ്യുന്നു. പാസ്‌വേഡ് പുനഃസജ്ജീകരണങ്ങൾ, ബില്ലിംഗ് ചോദ്യങ്ങൾ, ഫീച്ചർ വിശദീകരണങ്ങൾ, അടിസ്ഥാന പ്രശ്‌നപരിഹാരം എന്നിവ മിക്കതും ലളിതമാണ്. അസിസ്റ്റന്റ് മറുപടികൾ സ്വയമേവ അയയ്ക്കണമെന്ന് കമ്പനി ആഗ്രഹിക്കുന്നില്ല. ഒരു മനുഷ്യ സപ്പോർട്ട് ഏജന്റിനായി അവലോകനം ചെയ്യുന്നതിനായി ഇത് ഉത്തരങ്ങൾ ഡ്രാഫ്റ്റ് ചെയ്യുന്നു.

ഊർജ്ജ പ്രശ്നം, "എഐ പൊതുവെ എത്രത്തോളം ഉപയോഗിക്കുന്നു?" എന്നതല്ല. അത് കൂടുതൽ പ്രായോഗികമാണ്:

"ഈ വർക്ക്ഫ്ലോയിലേക്ക് AI ചേർക്കുന്നതിലൂടെ നമ്മൾ എത്രത്തോളം അധിക കമ്പ്യൂട്ട് സൃഷ്ടിക്കുന്നുണ്ട്, ഗുണനിലവാരത്തെ ബാധിക്കാതെ നമുക്ക് അത് കുറയ്ക്കാൻ കഴിയുമോ?"

അസിസ്റ്റന്റിന് എന്താണ് വേണ്ടത്

ടീം ഇങ്ങനെയായിരിക്കും തുടങ്ങുന്നത്:

ശുദ്ധമായ ഒരു സഹായ കേന്ദ്ര വിജ്ഞാന ശേഖരം

അംഗീകൃത റീഫണ്ട്, സ്വകാര്യത, എസ്കലേഷൻ നിയമങ്ങളുടെ ഒരു ലിസ്റ്റ്

ശക്തമായ മുൻകാല പിന്തുണ മറുപടികളുടെ 20-30 ഉദാഹരണങ്ങൾ

അസിസ്റ്റന്റ് അയയ്ക്കേണ്ടതല്ല, മറിച്ച് ഡ്രാഫ്റ്റ് ചെയ്യേണ്ട വ്യക്തമായ നിർദ്ദേശം

ക്ലൗഡ് ഉപയോഗ ലോഗുകൾ അല്ലെങ്കിൽ മോഡൽ API ഉപയോഗ ലോഗുകൾ

ടിക്കറ്റ് തരം, പ്രോംപ്റ്റ് ദൈർഘ്യം, ഔട്ട്‌പുട്ട് ദൈർഘ്യം, അവലോകന സമയം, ഉത്തരം സ്വീകരിച്ചോ എന്ന് എന്നിവ ട്രാക്ക് ചെയ്യുന്നതിനുള്ള ഒരു ലളിതമായ സ്‌പ്രെഡ്‌ഷീറ്റ്

പ്രധാനപ്പെട്ട കാര്യം അളവെടുപ്പാണ്. ലോഗുകൾ ഇല്ലാതെ, ടീം ഊഹിക്കുക മാത്രമാണ് ചെയ്യുന്നത്.

ഉദാഹരണ നിർദ്ദേശം

നിങ്ങൾ ഒരു SaaS ഉൽപ്പന്നത്തിന്റെ പിന്തുണാ ഡ്രാഫ്റ്റിംഗ് അസിസ്റ്റന്റാണ്. അംഗീകൃത സഹായ കേന്ദ്ര ഉള്ളടക്കവും നൽകിയിരിക്കുന്ന നയ കുറിപ്പുകളും മാത്രം ഉപയോഗിക്കുക. 180 വാക്കുകളിൽ താഴെ വ്യക്തവും മാന്യവുമായ ഒരു മറുപടി തയ്യാറാക്കുക. ഉപഭോക്താവ് റീഫണ്ട്, അക്കൗണ്ട് ഇല്ലാതാക്കൽ, നിയമോപദേശം, സുരക്ഷാ വിശദാംശങ്ങൾ അല്ലെങ്കിൽ രേഖകളിൽ ഉൾപ്പെടുത്തിയിട്ടില്ലാത്ത എന്തെങ്കിലും ആവശ്യപ്പെട്ടാൽ നേരിട്ട് ഉത്തരം നൽകരുത്. മനുഷ്യ അവലോകനത്തിനായി അത് ഫ്ലാഗ് ചെയ്‌ത് എന്ത് വിവരമാണ് നഷ്ടപ്പെട്ടതെന്ന് വിശദീകരിക്കുക.

മറുപടി എഴുതുന്നതിനുമുമ്പ്, ടിക്കറ്റിനെ ഇങ്ങനെ തരംതിരിക്കുക: ലളിതം, നയപരമായ സെൻസിറ്റീവ്, സാങ്കേതികം, അല്ലെങ്കിൽ വർദ്ധനവ് ആവശ്യമാണ്.

എങ്ങനെ പരീക്ഷിക്കാം

അസിസ്റ്റന്റിനെ തത്സമയം ഉപയോഗിക്കുന്നതിന് മുമ്പ് ടീമിന് 50 പഴയ ടിക്കറ്റുകളിൽ പരീക്ഷിക്കാൻ കഴിയും.

ഒരു ലളിതമായ പരീക്ഷണ സെറ്റിൽ ഇവ ഉൾപ്പെട്ടേക്കാം:

10 പാസ്‌വേഡ് അല്ലെങ്കിൽ ലോഗിൻ ടിക്കറ്റുകൾ

10 ബില്ലിംഗ് ടിക്കറ്റുകൾ

10 സാങ്കേതിക പ്രശ്‌നപരിഹാര ടിക്കറ്റുകൾ

10 അവ്യക്തമായ അല്ലെങ്കിൽ അപൂർണ്ണമായ ഉപഭോക്തൃ സന്ദേശങ്ങൾ

റീഫണ്ടുകൾ, സ്വകാര്യത, അല്ലെങ്കിൽ അക്കൗണ്ട് അവസാനിപ്പിക്കൽ എന്നിവ ഉൾപ്പെടുന്ന 10 നയ-സെൻസിറ്റീവ് ടിക്കറ്റുകൾ

ഓരോ ടിക്കറ്റിനും, ടീം രേഖപ്പെടുത്തേണ്ടത്:

ഡ്രാഫ്റ്റ് വസ്തുതാപരമായി ശരിയായിരുന്നോ?

അംഗീകൃത വിവരങ്ങൾ മാത്രമാണോ ഉപയോഗിച്ചത്?

അത് പദ പരിധിയിൽ തന്നെ തുടർന്നുവോ?

സെൻസിറ്റീവ് കേസുകൾ അത് ശരിയായി ഫ്ലാഗ് ചെയ്‌തോ?

മനുഷ്യ ഏജന്റ് അത് എഡിറ്റ് ചെയ്യാൻ എത്ര സമയം ചെലവഴിച്ചു?

വർക്ക്ഫ്ലോ എത്ര ടോക്കണുകൾ അല്ലെങ്കിൽ അഭ്യർത്ഥനകൾ ഉപയോഗിച്ചു?

ഇത് ഊഹങ്ങളെ ആശ്രയിക്കുന്നതിനുപകരം താരതമ്യം ചെയ്യാൻ ടീമിന് മൂർത്തമായ എന്തെങ്കിലും നൽകുന്നു.

ഫലമായി

ഉദാഹരണ ഫലം: വർക്ക്ഫ്ലോ ഉപയോഗിക്കുന്നതിന് മുമ്പും ശേഷവുമുള്ള 50 സാമ്പിൾ ടിക്കറ്റുകളുടെ സമയക്രമീകരണത്തെ അടിസ്ഥാനമാക്കി, ഒരു ടിക്കറ്റിന് ശരാശരി ഫസ്റ്റ്-ഡ്രാഫ്റ്റ് സമയം 6 മിനിറ്റിൽ നിന്ന് 2 മിനിറ്റായി കുറയുമെന്ന് ടീം കണക്കാക്കുന്നു.

ആഴ്ചയിൽ 500 ടിക്കറ്റുകൾക്ക്, ഏകദേശം 2,000 മിനിറ്റ് ലാഭിക്കുന്നു, അല്ലെങ്കിൽ ഏകദേശം 33 മണിക്കൂർ ഡ്രാഫ്റ്റിംഗ് സമയം.

എന്നാൽ ലോഗുകൾ വിലപ്പെട്ട ഒരു കാര്യം കൂടി കാണിക്കുന്നു: 38% ടിക്കറ്റുകളും ലളിതമായ ആവർത്തനങ്ങളാണ്. ഓരോ ഡ്രാഫ്റ്റും ആദ്യം മുതൽ പുനരുജ്ജീവിപ്പിക്കുന്നതിനുപകരം, ആവർത്തിച്ചുള്ള ചോദ്യങ്ങൾക്കുള്ള അംഗീകൃത ഉത്തരങ്ങൾ കാഷെ ചെയ്യുന്നതിലൂടെ, ടീം ആഴ്ചയിൽ 500 എന്ന AI അഭ്യർത്ഥനകളിൽ നിന്ന് ആഴ്ചയിൽ 310 ആയി കുറയ്ക്കുന്നു.

AI സവിശേഷത നീക്കം ചെയ്യാതെ തന്നെ, ഈ വർക്ക്ഫ്ലോയ്ക്കുള്ള പ്രതിവാര അനുമാന കോളുകളിൽ 38% കുറവ് വരുത്തുക എന്നതാണ് ഇതിന്റെ സാരം.

താരതമ്യം ചെയ്തുകൊണ്ട് ടീമിന് ഇത് സ്ഥിരീകരിക്കാൻ കഴിയും:

കാഷിംഗിന് മുമ്പും ശേഷവുമുള്ള ആകെ പ്രതിവാര AI അഭ്യർത്ഥനകൾ

ശരാശരി പ്രോംപ്റ്റും ഔട്ട്പുട്ട് ദൈർഘ്യവും

മനുഷ്യ സ്വീകാര്യത നിരക്ക്

കൃത്യമായി പിടിക്കപ്പെട്ട എസ്കലേഷനുകളുടെ എണ്ണം

പിന്തുണ നിലവാര സ്കോറുകൾ അല്ലെങ്കിൽ പുനരവലോകന എണ്ണങ്ങൾ

മോഡൽ, ഹാർഡ്‌വെയർ, ദാതാവ്, അടിസ്ഥാന സൗകര്യങ്ങൾ എന്നിവയെ ആശ്രയിച്ചിരിക്കും കൃത്യമായ വൈദ്യുതി ലാഭം. എന്നാൽ ജോലിഭാരം കുറയ്ക്കൽ തന്നെ അളക്കാവുന്നതാണ്.

എന്ത് തെറ്റ് സംഭവിക്കാം?

എസ്കലേഷൻ നിയമങ്ങൾ അവ്യക്തമാണെങ്കിൽ, അസിസ്റ്റന്റ് നയപരമായ ചോദ്യങ്ങൾക്ക് അമിതമായി ഉത്തരം നൽകിയേക്കാം.

വീണ്ടെടുക്കൽ സജ്ജീകരണം മോശമായി ക്രമീകരിച്ചിട്ടുണ്ടെങ്കിൽ, സഹായ കേന്ദ്ര രേഖകളുടെ ദൈർഘ്യം ദൈർഘ്യം വർദ്ധിപ്പിക്കാൻ സാധ്യതയുണ്ട്.

ഏജന്റുമാർ ഒഴുക്കുള്ള ഡ്രാഫ്റ്റുകളെ വളരെ വേഗത്തിൽ വിശ്വസിക്കുകയും സൂക്ഷ്മമായ പിശകുകൾ ഒഴിവാക്കുകയും ചെയ്തേക്കാം.

പഴയ റീഫണ്ട്, വിലനിർണ്ണയം അല്ലെങ്കിൽ സ്വകാര്യതാ നയങ്ങൾ പ്രചാരത്തിൽ തുടരുകയാണെങ്കിൽ കാഷിംഗ് അപകടകരമാകും.

അബദ്ധവശാൽ സഹായകരമായ മറുപടികൾ കുറഞ്ഞ സമയത്ത്, ടീം കുറച്ച് ടോക്കണുകൾ ഒപ്റ്റിമൈസ് ചെയ്തേക്കാം.

ഏറ്റവും സുരക്ഷിതമായ പതിപ്പ് മനുഷ്യരെ വിവരങ്ങൾ ശേഖരിക്കുകയും, സ്വീകാര്യമായ ഉത്തരങ്ങൾ അളക്കുകയും, നയങ്ങൾ മാറുമ്പോഴെല്ലാം കാഷെ ചെയ്ത പ്രതികരണങ്ങൾ അവലോകനം ചെയ്യുകയും ചെയ്യുന്നു.

പ്രായോഗിക ഉപദേശം

ഒരു കൃത്യമായ വർക്ക്ഫ്ലോയോടെയാണ് ഒരു മികച്ച AI ഊർജ്ജ കണക്ക് ആരംഭിക്കുന്നത്. അഭ്യർത്ഥനകൾ എണ്ണുക, പ്രോംപ്റ്റുകൾ ചുരുക്കുക, ആവർത്തിച്ചുള്ള ഉത്തരങ്ങൾ കാഷെ ചെയ്യുക, അവലോകന നിലവാരം അളക്കുക. അത് "AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു?" എന്നതിനെ അവ്യക്തമായ ഒരു സംവാദത്തിൽ നിന്ന് ഒരു ടീമിന് പ്രായോഗികമായി മെച്ചപ്പെടുത്താൻ കഴിയുന്ന സംഖ്യകളുള്ള ഒരു പ്രായോഗിക എഞ്ചിനീയറിംഗ് ചോദ്യമാക്കി മാറ്റുന്നു.

പതിവുചോദ്യങ്ങൾ

ഒരു പ്രോംപ്റ്റിന് AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു?

ഒരൊറ്റ പ്രോംപ്റ്റിന് സാർവത്രിക സംഖ്യയില്ല, കാരണം ഊർജ്ജ ഉപയോഗം മോഡൽ, ഹാർഡ്‌വെയർ, പ്രോംപ്റ്റിന്റെ ദൈർഘ്യം, ഔട്ട്‌പുട്ടിന്റെ ദൈർഘ്യം, ഉൾപ്പെട്ടിരിക്കുന്ന ഏതെങ്കിലും അധിക ഉപകരണ ഉപയോഗം എന്നിവയെ ആശ്രയിച്ചിരിക്കുന്നു. ഒരു ചെറിയ ടെക്സ്റ്റ് പ്രതികരണം താരതമ്യേന മിതമായിരിക്കും, അതേസമയം ഒരു നീണ്ട മൾട്ടിമോഡൽ ടാസ്‌ക്ക് ശ്രദ്ധേയമായി കൂടുതൽ ഉപയോഗിക്കും. ഏറ്റവും അർത്ഥവത്തായ ഉത്തരം ഒരു തലക്കെട്ട് ചിത്രമല്ല, മറിച്ച് ടാസ്‌ക്കിനെ ചുറ്റിപ്പറ്റിയുള്ള സന്ദർഭമാണ്.

AI പവർ ഉപയോഗത്തിന്റെ കണക്കുകൾ ഇത്രയധികം വ്യത്യാസപ്പെടുന്നത് എന്തുകൊണ്ട്?

AI എന്ന ഒറ്റ ലേബലിൽ ആളുകൾ പലപ്പോഴും വളരെ വ്യത്യസ്തമായ കാര്യങ്ങൾ താരതമ്യം ചെയ്യുന്നതിനാൽ എസ്റ്റിമേറ്റുകൾ വ്യത്യാസപ്പെടുന്നു. ഒരു എസ്റ്റിമേറ്റിൽ ഒരു ലൈറ്റ്‌വെയ്റ്റ് ചാറ്റ്ബോട്ട് മറുപടിയെ വിവരിക്കാം, മറ്റൊന്നിൽ ഇമേജ് ജനറേഷൻ, വീഡിയോ അല്ലെങ്കിൽ വലിയ തോതിലുള്ള മോഡൽ പരിശീലനം എന്നിവ ഉൾപ്പെട്ടേക്കാം. ഒരു എസ്റ്റിമേറ്റ് അർത്ഥവത്താകണമെങ്കിൽ, ടാസ്‌ക് തരം, മോഡൽ വലുപ്പം, ഹാർഡ്‌വെയർ, ഉപയോഗം, കൂളിംഗ്, ലൊക്കേഷൻ തുടങ്ങിയ സന്ദർഭങ്ങൾ ആവശ്യമാണ്.

AI പരിശീലിപ്പിക്കുന്നതോ AI ദിവസവും പ്രവർത്തിപ്പിക്കുന്നതോ ആണോ കൂടുതൽ ഊർജ്ജ ചെലവ്?

പരിശീലനം സാധാരണയായി വലിയ തോതിലുള്ള ഊർജ്ജ പരിപാടിയാണ്, കാരണം ഇതിൽ വലിയ ഡാറ്റാസെറ്റുകളിൽ ദീർഘനേരം പ്രവർത്തിക്കുന്ന നിരവധി ചിപ്പുകൾ ഉൾപ്പെട്ടേക്കാം. ഉപയോക്താക്കൾ അഭ്യർത്ഥനകൾ അയയ്ക്കുമ്പോഴെല്ലാം ദൃശ്യമാകുന്ന തുടർച്ചയായ ചെലവാണ് അനുമാനം, കൂടാതെ സ്കെയിലിൽ ഇത് വളരെ വലുതായിത്തീരുകയും ചെയ്യും. പ്രായോഗികമായി, രണ്ടും വ്യത്യസ്ത രീതികളിൽ പ്രാധാന്യമുള്ളതാണെങ്കിലും.

ഒരു AI അഭ്യർത്ഥന മറ്റൊന്നിനേക്കാൾ വളരെയധികം ഊർജ്ജം ആവശ്യമുള്ളതാക്കുന്നത് എന്തുകൊണ്ടാണ്?

ദൈർഘ്യമേറിയ കോൺടെക്സ്റ്റ് വിൻഡോകൾ, ദൈർഘ്യമേറിയ ഔട്ട്‌പുട്ടുകൾ, ആവർത്തിച്ചുള്ള റീസണിംഗ് പാസുകൾ, ടൂൾ കോളുകൾ, വീണ്ടെടുക്കൽ ഘട്ടങ്ങൾ, മൾട്ടിമോഡൽ ജനറേഷൻ എന്നിവയെല്ലാം ഓരോ ഇടപെടലിലും ഊർജ്ജ ഉപയോഗം വർദ്ധിപ്പിക്കുന്നു. ലേറ്റൻസി ടാർഗെറ്റുകളും പ്രധാനമാണ്, കാരണം വേഗത്തിലുള്ള പ്രതികരണ ആവശ്യകതകൾ കാര്യക്ഷമത കുറയ്ക്കും. ഒരു ചെറിയ റീറൈറ്റ് അഭ്യർത്ഥനയും ഒരു നീണ്ട കോഡിംഗ് അല്ലെങ്കിൽ ഇമേജ് വർക്ക്ഫ്ലോയും താരതമ്യപ്പെടുത്താനാവില്ല.

AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു എന്ന് ചോദിക്കുമ്പോൾ ആളുകൾക്ക് എന്തൊക്കെ മറഞ്ഞിരിക്കുന്ന ഊർജ്ജ ചെലവുകളാണ് നഷ്ടപ്പെടുന്നത്?

പലരും ചിപ്പിൽ മാത്രം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, പക്ഷേ അത് കൂളിംഗ്, ഡാറ്റ മൂവ്മെന്റ്, സ്റ്റോറേജ്, ഐഡിൽ കപ്പാസിറ്റി, ബാക്കപ്പുകൾ അല്ലെങ്കിൽ ഫെയിൽഓവർ റീജിയണുകൾ പോലുള്ള വിശ്വാസ്യത സിസ്റ്റങ്ങൾ എന്നിവയെ അവഗണിക്കുന്നു. ഈ പിന്തുണയ്ക്കുന്ന ലെയറുകൾക്ക് മൊത്തം കാൽപ്പാടുകളെ സാരമായി മാറ്റാൻ കഴിയും. അതുകൊണ്ടാണ് ഒരു ബെഞ്ച്മാർക്ക് സ്വന്തമായി പൂർണ്ണ ഊർജ്ജ ചിത്രം പകർത്തുന്നത് അപൂർവ്വമായി മാത്രം.

ഒരു വലിയ AI മോഡൽ എപ്പോഴും കൂടുതൽ ഊർജ്ജം ഉപയോഗിക്കുമോ?

വലിയ മോഡലുകൾക്ക് സാധാരണയായി കൂടുതൽ കമ്പ്യൂട്ടും മെമ്മറിയും ആവശ്യമാണ്, പ്രത്യേകിച്ച് ദൈർഘ്യമേറിയതോ സങ്കീർണ്ണമായതോ ആയ ഔട്ട്‌പുട്ടുകൾക്ക്, അതിനാൽ അവ പലപ്പോഴും കൂടുതൽ ഊർജ്ജം ഉപയോഗിക്കുന്നു. എന്നാൽ വലുത് എന്നത് ഓരോ ജോലിക്കും യാന്ത്രികമായി മികച്ചതാണെന്ന് അർത്ഥമാക്കുന്നില്ല, കൂടാതെ ഒപ്റ്റിമൈസേഷൻ ചിത്രം ഗണ്യമായി മാറ്റും. ചെറിയ സ്പെഷ്യലിസ്റ്റ് മോഡലുകൾ, ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, കാഷിംഗ്, മികച്ച റൂട്ടിംഗ് എന്നിവയെല്ലാം കാര്യക്ഷമത മെച്ചപ്പെടുത്തും.

ഉപഭോക്തൃ AI ഉപയോഗമാണോ പ്രധാന ഊർജ്ജ പ്രശ്നം, അതോ എന്റർപ്രൈസ് AI ആണോ വലിയ പ്രശ്നം?

സാധാരണ ഉപഭോക്തൃ ഉപയോഗം വർദ്ധിച്ചേക്കാം, പക്ഷേ വലിയ ഊർജ്ജ കഥ പലപ്പോഴും എന്റർപ്രൈസ് വിന്യാസങ്ങളിൽ പ്രത്യക്ഷപ്പെടുന്നു. എപ്പോഴും ഓൺ-ഓൺ കോപൈലറ്റുകൾ, ഡോക്യുമെന്റ് പ്രോസസ്സിംഗ്, കോൾ സംഗ്രഹീകരണം, കോഡ് അവലോകനം, പശ്ചാത്തല ഏജന്റുകൾ എന്നിവ വലിയ ഉപയോക്തൃ അടിത്തറകളിൽ ആവർത്തിച്ചുള്ള ആവശ്യം സൃഷ്ടിക്കുന്നു. പ്രശ്നം സാധാരണയായി ഒരു നാടകീയ പ്രവർത്തനത്തെക്കുറിച്ചല്ല, കാലക്രമേണ സുസ്ഥിരമായ വോളിയത്തെക്കുറിച്ചാണ്.

ഡാറ്റാ സെന്ററുകളും കൂളിംഗും ഉൾപ്പെടുത്തുമ്പോൾ AI എത്ര ഊർജ്ജം ഉപയോഗിക്കുന്നു?

വിശാലമായ സിസ്റ്റം ഉൾപ്പെടുത്തിക്കഴിഞ്ഞാൽ, ഉത്തരം കൂടുതൽ യാഥാർത്ഥ്യബോധമുള്ളതായിത്തീരുകയും സാധാരണയായി ചിപ്പ് മാത്രമുള്ള കണക്കുകൾ സൂചിപ്പിക്കുന്നതിനേക്കാൾ വലുതായിരിക്കുകയും ചെയ്യും. കമ്പ്യൂട്ടിംഗിന് മാത്രമല്ല, കൂളിംഗ്, നെറ്റ്‌വർക്കിംഗ്, സംഭരണം, സ്പെയർ കപ്പാസിറ്റി നിലനിർത്തൽ എന്നിവയ്ക്കും ഡാറ്റാ സെന്ററുകൾക്ക് വൈദ്യുതി ആവശ്യമാണ്. അതുകൊണ്ടാണ് മോഡൽ ഡിസൈൻ പോലെ തന്നെ അടിസ്ഥാന സൗകര്യ രൂപകൽപ്പനയും സൗകര്യ കാര്യക്ഷമതയും പ്രധാനമാകുന്നത്.

ഒരു യഥാർത്ഥ വർക്ക്ഫ്ലോയിൽ AI ഊർജ്ജ ഉപയോഗം അളക്കുന്നതിനുള്ള ഏറ്റവും പ്രായോഗികമായ മാർഗം ഏതാണ്?

ആരാണ് അളക്കുന്നത്, എന്ത് ഉദ്ദേശ്യത്തോടെയാണ് എന്നതിനെ ആശ്രയിച്ചിരിക്കും ഏറ്റവും മികച്ച രീതി. വാട്ട് മീറ്ററുകൾ, GPU ടെലിമെട്രി, ക്ലൗഡ് ബില്ലിംഗ് ലോഗുകൾ, ഡാറ്റാ സെന്റർ റിപ്പോർട്ടിംഗ് എന്നിവ ക്രമേണ ശക്തമായ പ്രവർത്തന ഉൾക്കാഴ്ച നൽകുമ്പോൾ, ഒരു ഏകദേശ നിയമം ദ്രുത താരതമ്യങ്ങൾക്ക് സഹായിക്കും. ഗുരുതരമായ സുസ്ഥിരതാ പ്രവർത്തനത്തിന്, ഒരു പൂർണ്ണമായ ജീവിതചക്ര വീക്ഷണം ഇപ്പോഴും ശക്തമാണ്, എന്നിരുന്നാലും അത് മന്ദഗതിയിലുള്ളതും കൂടുതൽ ആവശ്യപ്പെടുന്നതുമാണ്.

ഉപയോഗപ്രദമായ AI സവിശേഷതകൾ ഉപേക്ഷിക്കാതെ ടീമുകൾക്ക് എങ്ങനെ AI ഊർജ്ജ ഉപയോഗം കുറയ്ക്കാൻ കഴിയും?

ഏറ്റവും വലിയ നേട്ടങ്ങൾ സാധാരണയായി ലഭിക്കുന്നത് ജോലി ചെയ്യുന്ന ഏറ്റവും ചെറിയ മോഡൽ ഉപയോഗിക്കുന്നതിലൂടെയാണ്, പ്രോംപ്റ്റുകളും ഔട്ട്‌പുട്ടുകളും ചുരുക്കുന്നതിലൂടെ, ആവർത്തിച്ചുള്ള ഫലങ്ങൾ കാഷെ ചെയ്യുന്നതിലൂടെ, ബാച്ചിംഗ് ജോലികൾ ചെയ്യുന്നതിലൂടെ, കൂടുതൽ ബുദ്ധിമുട്ടുള്ള ജോലികൾ മാത്രം വലിയ മോഡലുകളിലേക്ക് റൂട്ട് ചെയ്യുന്നതിലൂടെയാണ്. അടിസ്ഥാന സൗകര്യ ഒപ്റ്റിമൈസേഷനും പ്രധാനമാണ്, പ്രത്യേകിച്ച് ഷെഡ്യൂളിംഗും ഹാർഡ്‌വെയർ കാര്യക്ഷമതയും. പല പൈപ്പ്‌ലൈനുകളിലും, ആദ്യം അളക്കുന്നത് ടീമുകൾ തെറ്റായ കാര്യം ഒപ്റ്റിമൈസ് ചെയ്യുന്നത് തടയാൻ സഹായിക്കുന്നു.

അവലംബം

1. ഇന്റർനാഷണൽ എനർജി ഏജൻസി (ഐഇഎ) - എഐയിൽ നിന്നുള്ള എനർജി ഡിമാൻഡ് - iea.org

2. യുഎസ് ഊർജ്ജ വകുപ്പ് (DOE) - വൈദ്യുതി ആവശ്യകതയിലെ വർദ്ധനവ് വിലയിരുത്തുന്ന പുതിയ റിപ്പോർട്ട് DOE പുറത്തിറക്കി ഡാറ്റാ സെന്ററുകൾ - energy.gov

3. ഗൂഗിൾ ക്ലൗഡ് - AI അനുമാനത്തിന്റെ പാരിസ്ഥിതിക ആഘാതം അളക്കൽ - cloud.google.com

4. ഗൂഗിൾ റിസർച്ച് - മെഷീൻ ലേണിംഗ് പരിശീലനത്തിന്റെ കാർബൺ കാൽപ്പാടുകളെക്കുറിച്ചുള്ള സന്തോഷവാർത്ത - research.google

5. ഗൂഗിൾ റിസർച്ച് - മെഷീൻ ലേണിംഗ് പരിശീലനത്തിന്റെ കാർബൺ കാൽപ്പാടുകൾ തുല്യമാക്കുകയും പിന്നീട് കുറയ്ക്കുകയും ചെയ്യും - research.google

6. arXiv - ഗ്രീൻ AI - arxiv.org

7. arXiv - Strubell et al. - arxiv.org

8. arXiv - എൽഎൽഎം എനർജി ഉപയോഗത്തിലെ ക്വാണ്ടൈസേഷൻ, ബാച്ചിംഗ്, സെർവിംഗ് തന്ത്രങ്ങൾ - arxiv.org

ഔദ്യോഗിക AI അസിസ്റ്റന്റ് സ്റ്റോറിൽ ഏറ്റവും പുതിയ AI കണ്ടെത്തുക

ഞങ്ങളേക്കുറിച്ച്