നിശബ്ദമായി ചിന്തിക്കുമ്പോൾ എല്ലാവരും തലയാട്ടുന്ന ഒരു മാന്ത്രിക തന്ത്രമായി ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് അനുഭവപ്പെടാം... കാത്തിരിക്കൂ, ഇത് യഥാർത്ഥത്തിൽ പ്രവർത്തിക്കും? നല്ല വാർത്ത. ഞങ്ങൾ അതിനെ ഒരു തടസ്സവുമില്ലാതെ വിശദീകരിക്കും, പ്രായോഗികമായി തുടരും, ഇപ്പോഴും അതിനെ ക്ലിക്ക് ആക്കുന്ന കുറച്ച് അപൂർണ്ണമായ സാമ്യങ്ങൾ ചേർക്കും. നിങ്ങൾക്ക് ചുരുക്കം മാത്രം വേണമെങ്കിൽ, താഴെയുള്ള ഒരു മിനിറ്റ് ഉത്തരത്തിലേക്ക് കടക്കുക; എന്നാൽ സത്യം പറഞ്ഞാൽ, ലൈറ്റ്ബൾബ് എവിടെയാണ് പൊട്ടിത്തെറിക്കുന്നത് എന്നതാണ് വിശദാംശങ്ങൾ 💡.
ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:
🔗 ജിപിടി എന്താണ് സൂചിപ്പിക്കുന്നത്?
ജിപിടി എന്ന ചുരുക്കപ്പേരിന്റെയും അതിന്റെ അർത്ഥത്തിന്റെയും ഒരു ദ്രുത വിശദീകരണം.
🔗 AI-ക്ക് എവിടെ നിന്നാണ് വിവരങ്ങൾ ലഭിക്കുന്നത്?
ചോദ്യങ്ങൾ പഠിക്കാനും, പരിശീലിപ്പിക്കാനും, ഉത്തരം നൽകാനും AI ഉപയോഗിക്കുന്ന ഉറവിടങ്ങൾ.
🔗 നിങ്ങളുടെ ബിസിനസ്സിൽ AI എങ്ങനെ ഉൾപ്പെടുത്താം
AI ഫലപ്രദമായി സംയോജിപ്പിക്കുന്നതിനുള്ള പ്രായോഗിക ഘട്ടങ്ങൾ, ഉപകരണങ്ങൾ, വർക്ക്ഫ്ലോകൾ.
🔗 ഒരു AI കമ്പനി എങ്ങനെ ആരംഭിക്കാം
ആശയം മുതൽ ലോഞ്ച് വരെ: സാധൂകരണം, ഫണ്ടിംഗ്, ടീം, നിർവ്വഹണം.
AI എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്? ഒരു മിനിറ്റ് ദൈർഘ്യമുള്ള ഉത്തരം ⏱️
ഡാറ്റയിൽ നിന്ന് പാറ്റേണുകൾ പഠിച്ച് പ്രവചനങ്ങൾ നടത്തുകയോ ഉള്ളടക്കം സൃഷ്ടിക്കുകയോ ചെയ്യുന്നു - കൈകൊണ്ട് എഴുതിയ നിയമങ്ങൾ ആവശ്യമില്ല. ഒരു സിസ്റ്റം ഉദാഹരണങ്ങൾ ഉൾക്കൊള്ളുന്നു, ഒരു ലോസ് ഫംഗ്ഷൻ വഴി അത് എത്രത്തോളം തെറ്റാണെന്ന് അളക്കുന്നു, കൂടാതെ ഓരോ തവണയും അൽപ്പം തെറ്റ് കുറയ്ക്കുന്നതിന് അതിന്റെ ആന്തരിക നോബുകൾ - പാരാമീറ്ററുകൾ - നഡ്ജ് ചെയ്യുന്നു. കഴുകുക, ആവർത്തിക്കുക, മെച്ചപ്പെടുത്തുക. മതിയായ സൈക്കിളുകൾ ഉപയോഗിച്ച്, ഇത് ഉപയോഗപ്രദമാകും. നിങ്ങൾ ഇമെയിലുകൾ തരംതിരിക്കുകയോ, ട്യൂമറുകൾ കണ്ടെത്തുകയോ, ബോർഡ് ഗെയിമുകൾ കളിക്കുകയോ, ഹൈക്കുകൾ എഴുതുകയോ ചെയ്താലും അതേ കഥ തന്നെ. “മെഷീൻ ലേണിംഗിൽ” ഒരു പ്ലെയിൻ-ലാംഗ്വേജ് ഗ്രൗണ്ടിംഗിനായി, IBM-ന്റെ അവലോകനം ഉറച്ചതാണ് [1].
ആധുനിക AI-കളിൽ ഭൂരിഭാഗവും മെഷീൻ ലേണിംഗ് ആണ്. ലളിതമായ പതിപ്പ്: ഡാറ്റ നൽകുക, ഇൻപുട്ടുകളിൽ നിന്ന് ഔട്ട്പുട്ടുകളിലേക്ക് മാപ്പിംഗ് പഠിക്കുക, തുടർന്ന് പുതിയ കാര്യങ്ങളിലേക്ക് സാമാന്യവൽക്കരിക്കുക. മാജിക്-ഗണിതമല്ല, കമ്പ്യൂട്ട് ചെയ്യുക, സത്യസന്ധമായി പറഞ്ഞാൽ, ഒരു നുള്ള് കല.
“AI എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?” ✅
AI എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്ന് തിരയുമ്പോൾ , അവർക്ക് സാധാരണയായി വേണ്ടത്:
-
അവർക്ക് വിശ്വസിക്കാൻ കഴിയുന്ന ഒരു പുനരുപയോഗിക്കാവുന്ന മാനസിക മാതൃക
-
പ്രധാന പഠന തരങ്ങളുടെ ഒരു ഭൂപടം, അങ്ങനെ പദപ്രയോഗങ്ങൾ ഭയപ്പെടുത്തുന്നത് നിർത്തുന്നു
-
വഴിതെറ്റാതെ ന്യൂറൽ നെറ്റ്വർക്കുകളിലേക്ക് ഒരു എത്തിനോട്ടം
-
എന്തുകൊണ്ടാണ് ഇപ്പോൾ ലോകത്തെ ട്രാൻസ്ഫോർമറുകൾ നിയന്ത്രിക്കുന്നത്?
-
ഡാറ്റയിൽ നിന്ന് വിന്യാസത്തിലേക്കുള്ള പ്രായോഗിക പൈപ്പ്ലൈൻ
-
നിങ്ങൾക്ക് സ്ക്രീൻഷോട്ട് എടുത്ത് സൂക്ഷിക്കാൻ കഴിയുന്ന ഒരു ദ്രുത താരതമ്യ പട്ടിക
-
ധാർമ്മികത, പക്ഷപാതം, വിശ്വാസ്യത എന്നിവയെക്കുറിച്ചുള്ള കൈകൊണ്ട് തരംഗമാകാത്ത സംരക്ഷണ ഭിത്തികൾ
അതാണ് നിങ്ങൾക്ക് ഇവിടെ കിട്ടുക. ഞാൻ അലഞ്ഞുതിരിയുകയാണെങ്കിൽ, അത് മനഃപൂർവ്വം മാത്രമാണ് - മനോഹരമായ വഴിയിലൂടെ സഞ്ചരിച്ച് അടുത്ത തവണ തെരുവുകളെ നന്നായി ഓർമ്മിക്കുന്നത് പോലെ. 🗺️
മിക്ക AI സിസ്റ്റങ്ങളുടെയും പ്രധാന ഘടകങ്ങൾ 🧪
ഒരു അടുക്കള പോലുള്ള ഒരു AI സിസ്റ്റത്തെക്കുറിച്ച് ചിന്തിക്കുക. നാല് ചേരുവകൾ വീണ്ടും വീണ്ടും പ്രത്യക്ഷപ്പെടുന്നു:
-
ഡാറ്റ — ലേബലുകൾ ഉള്ളതോ ഇല്ലാത്തതോ ആയ ഉദാഹരണങ്ങൾ.
-
മോഡൽ — ക്രമീകരിക്കാവുന്ന പാരാമീറ്ററുകളുള്ള ഒരു ഗണിതശാസ്ത്ര ഫംഗ്ഷൻ.
-
ഒബ്ജക്റ്റീവ് — ഊഹങ്ങൾ എത്രത്തോളം മോശമാണെന്ന് അളക്കുന്ന ഒരു നഷ്ട ഫംഗ്ഷൻ.
-
ഒപ്റ്റിമൈസേഷൻ — നഷ്ടം കുറയ്ക്കുന്നതിന് പാരാമീറ്ററുകളെ നഡ്ജ് ചെയ്യുന്ന ഒരു അൽഗോരിതം.
ആഴത്തിലുള്ള പഠനത്തിൽ, ആ നഡ്ജ് സാധാരണയായി ബാക്ക്പ്രൊപഗേഷനോടുകൂടിയ ഗ്രേഡിയന്റ് ഡിസെന്റ് ആണ് - ഒരു ഭീമാകാരമായ സൗണ്ട്ബോർഡിലെ ഏത് നോബ് സ്ക്വീക്ക് ചെയ്തുവെന്ന് കണ്ടെത്താനും പിന്നീട് അത് ഒരു മുടി താഴേക്ക് തിരിക്കാനും ഉള്ള കാര്യക്ഷമമായ മാർഗമാണിത് [2] .
മിനി-കേസ്: ഒരു ചെറിയ സൂപ്പർവൈസ്ഡ് മോഡൽ ഉപയോഗിച്ച് ഞങ്ങൾ ഒരു ദുർബലമായ റൂൾ-അധിഷ്ഠിത സ്പാം ഫിൽട്ടർ മാറ്റി. ലേബൽ → അളവ് → അപ്ഡേറ്റ് ലൂപ്പുകളുടെ ഒരു ആഴ്ചയ്ക്ക് ശേഷം, തെറ്റായ പോസിറ്റീവുകൾ കുറഞ്ഞു, പിന്തുണ ടിക്കറ്റുകൾ കുറഞ്ഞു. ഒന്നും ഫാൻസി അല്ല - കൂടുതൽ വ്യക്തമായ ലക്ഷ്യങ്ങൾ ("ഹാം" ഇമെയിലുകളിലെ കൃത്യത) കൂടാതെ മികച്ച ഒപ്റ്റിമൈസേഷനും.
ഒറ്റനോട്ടത്തിൽ മാതൃകകൾ പഠിക്കുന്നു 🎓
-
സൂപ്പർവൈസ്ഡ് ലേണിംഗ്
നിങ്ങൾ ഇൻപുട്ട്-ഔട്ട്പുട്ട് ജോഡികൾ നൽകുന്നു (ലേബലുകളുള്ള ഫോട്ടോകൾ, സ്പാം/സ്പാം അല്ല എന്ന് അടയാളപ്പെടുത്തിയ ഇമെയിലുകൾ). മോഡൽ ഇൻപുട്ട് → ഔട്ട്പുട്ട് പഠിക്കുന്നു. നിരവധി പ്രായോഗിക സിസ്റ്റങ്ങളുടെ നട്ടെല്ല് [1]. -
മേൽനോട്ടമില്ലാത്ത പഠനം
ലേബലുകളൊന്നുമില്ല. ഘടന-ക്ലസ്റ്ററുകൾ, കംപ്രഷനുകൾ, ഒളിഞ്ഞിരിക്കുന്ന ഘടകങ്ങൾ എന്നിവ കണ്ടെത്തുക. പര്യവേക്ഷണത്തിനോ പ്രീ-ട്രെയിനിംഗിനോ മികച്ചതാണ്. -
സ്വയം മേൽനോട്ടത്തിലുള്ള പഠനം
മോഡൽ സ്വന്തം ലേബലുകൾ നിർമ്മിക്കുന്നു (അടുത്ത വാക്ക്, നഷ്ടപ്പെട്ട ഇമേജ് പാച്ച് പ്രവചിക്കുക). അസംസ്കൃത ഡാറ്റയെ സ്കെയിലിൽ ഒരു പരിശീലന സിഗ്നലാക്കി മാറ്റുന്നു; ആധുനിക ഭാഷാ, ദർശന മാതൃകകൾക്ക് അടിത്തറയിടുന്നു. -
റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ്
ഒരു ഏജന്റ് പ്രവർത്തിക്കുകയും, റിവാർഡുകൾ , ക്യുമുലേറ്റീവ് റിവാർഡ് പരമാവധിയാക്കുന്ന ഒരു നയം പഠിക്കുകയും ചെയ്യുന്നു. "മൂല്യം പ്രവർത്തിക്കുന്നു," "നയങ്ങൾ", "താത്കാലിക-വ്യത്യാസ പഠനം" എന്നിവ ഒരു മണി മുഴക്കുകയാണെങ്കിൽ - ഇതാണ് അവരുടെ വീട് [5].
അതെ, പ്രായോഗികമായി വിഭാഗങ്ങൾ മങ്ങുന്നു. ഹൈബ്രിഡ് രീതികൾ സാധാരണമാണ്. യഥാർത്ഥ ജീവിതം കുഴപ്പമുള്ളതാണ്; നല്ല എഞ്ചിനീയറിംഗ് അത് എവിടെയാണോ അവിടെ ഒത്തുചേരുന്നു.
തലവേദനയില്ലാതെ ഒരു ന്യൂറൽ നെറ്റ്വർക്കിനുള്ളിൽ 🧠
ഒരു ന്യൂറൽ നെറ്റ്വർക്ക് ചെറിയ ഗണിത യൂണിറ്റുകളുടെ (ന്യൂറോണുകൾ) പാളികൾ അടുക്കി വയ്ക്കുന്നു. ഓരോ പാളിയും ഭാരം, പക്ഷപാതം, ReLU അല്ലെങ്കിൽ GELU പോലുള്ള നേർത്ത രേഖീയമല്ലാത്ത സ്വഭാവം എന്നിവ ഉപയോഗിച്ച് ഇൻപുട്ടുകളെ പരിവർത്തനം ചെയ്യുന്നു. ആദ്യകാല പാളികൾ ലളിതമായ സവിശേഷതകൾ പഠിക്കുന്നു; ആഴത്തിലുള്ളവ അമൂർത്തങ്ങളെ എൻകോഡ് ചെയ്യുന്നു. "മാജിക്" - നമുക്ക് അതിനെ അങ്ങനെ വിളിക്കാമെങ്കിൽ - കോമ്പോസിഷൻ : ചെറിയ ഫംഗ്ഷനുകളുടെ ശൃംഖല, നിങ്ങൾക്ക് വളരെ സങ്കീർണ്ണമായ പ്രതിഭാസങ്ങളെ മാതൃകയാക്കാൻ കഴിയും.
പരിശീലന ലൂപ്പ്, വൈബ്സിന് മാത്രം:
-
ഊഹിക്കുക → അളക്കൽ പിശക് → ബാക്ക്പ്രോപ്പ് വഴി കുറ്റബോധം ആരോപിക്കുക → നഡ്ജ് വെയ്റ്റുകൾ → ആവർത്തിക്കുക.
ഇത് ബാച്ചുകളിലുടനീളം ചെയ്യുക, ഓരോ പാട്ടും മെച്ചപ്പെടുത്തുന്ന ഒരു വികൃതിയായ നർത്തകിയെപ്പോലെ, മോഡൽ നിങ്ങളുടെ കാൽവിരലുകളിൽ ചവിട്ടുന്നത് നിർത്തുന്നു. സൗഹൃദപരവും കർശനവുമായ ഒരു ബാക്ക്പ്രോപ്പ് അധ്യായത്തിന്, [2] കാണുക.
എന്തുകൊണ്ടാണ് ട്രാൻസ്ഫോർമറുകൾ ഏറ്റെടുത്തത് - "ശ്രദ്ധ" എന്നാൽ എന്താണ് 🧲
ട്രാൻസ്ഫോർമറുകൾ സ്വയം ശ്രദ്ധ പരസ്പരം പ്രാധാന്യമുള്ള ഇൻപുട്ടിന്റെ ഏതൊക്കെ ഭാഗങ്ങളാണെന്ന് ഒരേസമയം വിലയിരുത്തുന്നു. പഴയ മോഡലുകൾ പോലെ ഇടത്തുനിന്ന് വലത്തോട്ട് ഒരു വാചകം കർശനമായി വായിക്കുന്നതിനുപകരം, ഒരു ട്രാൻസ്ഫോർമറിന് എല്ലായിടത്തും നോക്കാനും ബന്ധങ്ങളെ ചലനാത്മകമായി വിലയിരുത്താനും കഴിയും - ആരാണ് ആരോട് സംസാരിക്കുന്നതെന്ന് കാണാൻ തിരക്കേറിയ ഒരു മുറി സ്കാൻ ചെയ്യുന്നതുപോലെ.
ഈ രൂപകൽപ്പന സീക്വൻസ് മോഡലിംഗിനായി ആവർത്തനവും കൺവല്യൂഷനുകളും ഒഴിവാക്കി, വമ്പിച്ച സമാന്തരത്വവും മികച്ച സ്കെയിലിംഗും സാധ്യമാക്കി. ഇതിന് തുടക്കമിട്ട പ്രബന്ധം - നിങ്ങൾക്ക് ആവശ്യമുള്ളതെല്ലാം ശ്രദ്ധ - വാസ്തുവിദ്യയും ഫലങ്ങളും പ്രതിപാദിക്കുന്നു [3].
ഒറ്റ വരിയിൽ സ്വയം ശ്രദ്ധ: ക്വറി , കീ , മൂല്യ വെക്ടറുകൾ എന്നിവ ഉണ്ടാക്കുക; ശ്രദ്ധാ ഭാരങ്ങൾ ലഭിക്കുന്നതിന് സമാനതകൾ കണക്കാക്കുക; അതനുസരിച്ച് മൂല്യങ്ങൾ മിക്സ് ചെയ്യുക. വിശദമായി രസകരം, ആത്മാവിൽ ഗംഭീരം.
മുന്നറിയിപ്പ്: ട്രാൻസ്ഫോർമറുകൾ ആധിപത്യം സ്ഥാപിക്കുന്നു, കുത്തകയാക്കുന്നില്ല. CNN-കൾ, RNN-കൾ, ട്രീ എൻസെംബിളുകൾ എന്നിവ ഇപ്പോഴും ചില ഡാറ്റാ തരങ്ങളിലും ലേറ്റൻസി/ചെലവ് നിയന്ത്രണങ്ങളിലും വിജയിക്കുന്നു. ഹൈപ്പല്ല, ജോലിക്കായി ആർക്കിടെക്ചർ തിരഞ്ഞെടുക്കുക.
AI എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്? നിങ്ങൾ യഥാർത്ഥത്തിൽ ഉപയോഗിക്കുന്ന പ്രായോഗിക പൈപ്പ്ലൈൻ 🛠️
-
പ്രശ്നപരിഹാരം
നിങ്ങൾ എന്താണ് പ്രവചിക്കുന്നത് അല്ലെങ്കിൽ സൃഷ്ടിക്കുന്നത്, വിജയം എങ്ങനെ അളക്കും? -
ഡാറ്റ
ശേഖരിക്കുക, ആവശ്യമെങ്കിൽ ലേബൽ ചെയ്യുക, വൃത്തിയാക്കുക, വിഭജിക്കുക. നഷ്ടപ്പെട്ട മൂല്യങ്ങളും എഡ്ജ് കേസുകളും പ്രതീക്ഷിക്കുക. -
മോഡലിംഗ്
ലളിതമായി ആരംഭിക്കുക. അടിസ്ഥാനരേഖകൾ (ലോജിസ്റ്റിക് റിഗ്രഷൻ, ഗ്രേഡിയന്റ് ബൂസ്റ്റിംഗ്, അല്ലെങ്കിൽ ഒരു ചെറിയ ട്രാൻസ്ഫോർമർ) പലപ്പോഴും വീരോചിതമായ സങ്കീർണ്ണതയെ മറികടക്കുന്നു. -
പരിശീലനം
ഒരു ലക്ഷ്യം തിരഞ്ഞെടുക്കുക, ഒരു ഒപ്റ്റിമൈസർ തിരഞ്ഞെടുക്കുക, ഹൈപ്പർപാരാമീറ്ററുകൾ സജ്ജമാക്കുക. ആവർത്തിക്കുക. -
മൂല്യനിർണ്ണയം
നിങ്ങളുടെ യഥാർത്ഥ ലക്ഷ്യവുമായി (കൃത്യത, F1, AUROC, BLEU, ആശയക്കുഴപ്പം, ലേറ്റൻസി) ബന്ധപ്പെട്ട ഹോൾഡ്-ഔട്ടുകൾ, ക്രോസ്-വാലിഡേഷൻ, മെട്രിക്സ് എന്നിവ ഉപയോഗിക്കുക. -
വിന്യാസം
ഒരു API-ക്ക് പിന്നിൽ സേവിക്കുക അല്ലെങ്കിൽ ഒരു ആപ്പിൽ ഉൾച്ചേർക്കുക. ലേറ്റൻസി, ചെലവ്, ത്രൂപുട്ട് എന്നിവ ട്രാക്ക് ചെയ്യുക. -
മോണിറ്ററിംഗും ഗവേണൻസും
ഡ്രിഫ്റ്റ്, ന്യായബോധം, കരുത്ത്, സുരക്ഷ എന്നിവ നിരീക്ഷിക്കുക. NIST AI റിസ്ക് മാനേജ്മെന്റ് ഫ്രെയിംവർക്ക് (ഗവൺമെന്റ്, മാപ്പ്, മെഷർ, മാനേജ്മെന്റ്) വിശ്വസനീയമായ സിസ്റ്റങ്ങൾക്കായുള്ള ഒരു പ്രായോഗിക ചെക്ക്ലിസ്റ്റാണ് [4].
മിനി-കേസ്: ഒരു വിഷൻ മോഡൽ ലാബിൽ കയറി, പിന്നീട് ലൈറ്റിംഗ് മാറിയപ്പോൾ ഫീൽഡിൽ ഫ്ലബ് ചെയ്തു. ഇൻപുട്ട് ഹിസ്റ്റോഗ്രാമുകളിൽ ഫ്ലാഗ് ചെയ്ത ഡ്രിഫ്റ്റ് നിരീക്ഷിക്കൽ; ഒരു ദ്രുത ഓഗ്മെന്റേഷൻ + ഫൈൻ-ട്യൂൺ ബമ്പ് പ്രകടനം പുനഃസ്ഥാപിച്ചു. വിരസമാണോ? അതെ. ഫലപ്രദമാണോ? അതെ.
താരതമ്യ പട്ടിക - സമീപനങ്ങൾ, അവ ആർക്കുവേണ്ടിയാണ്, ഏകദേശ വില, അവ എന്തിനാണ് പ്രവർത്തിക്കുന്നത് 📊
മനഃപൂർവ്വം അപൂർണ്ണമാണ്: അല്പം അസമമായ പദപ്രയോഗം അതിനെ മാനുഷികമായി തോന്നിപ്പിക്കാൻ സഹായിക്കുന്നു.
| സമീപനം | അനുയോജ്യമായ പ്രേക്ഷകർ | വില കൂടിയത് | ഇത് എന്തുകൊണ്ട് പ്രവർത്തിക്കുന്നു / കുറിപ്പുകൾ |
|---|---|---|---|
| മേൽനോട്ടത്തിലുള്ള പഠനം | വിശകലന വിദഗ്ധർ, ഉൽപ്പന്ന ടീമുകൾ | താഴ്ന്ന-ഇടത്തരം | ഡയറക്ട് മാപ്പിംഗ് ഇൻപുട്ട്→ലേബൽ. ലേബലുകൾ നിലവിലുള്ളപ്പോൾ മികച്ചതാണ്; വിന്യസിച്ചിരിക്കുന്ന നിരവധി സിസ്റ്റങ്ങളുടെ നട്ടെല്ലാണ് [1]. |
| മേൽനോട്ടമില്ലാത്തത് | ഡാറ്റാ എക്സ്പ്ലോറർമാർ, ഗവേഷണ വികസനം | താഴ്ന്നത് | ക്ലസ്റ്ററുകൾ/കംപ്രഷനുകൾ/ഒളിഞ്ഞിരിക്കുന്ന ഘടകങ്ങൾ എന്നിവ കണ്ടെത്തുന്നു - കണ്ടെത്തലിനും പ്രീ-പരിശീലനത്തിനും നല്ലതാണ്. |
| സ്വയം മേൽനോട്ടം വഹിക്കുന്നത് | പ്ലാറ്റ്ഫോം ടീമുകൾ | ഇടത്തരം | കമ്പ്യൂട്ടും ഡാറ്റയും ഉപയോഗിച്ച് റോ ഡാറ്റ-സ്കെയിലുകളിൽ നിന്ന് സ്വന്തം ലേബലുകൾ നിർമ്മിക്കുന്നു. |
| ബലപ്പെടുത്തൽ പഠനം | റോബോട്ടിക്സ്, ഓപ്സ് ഗവേഷണം | മീഡിയം–ഹൈ | റിവാർഡ് സിഗ്നലുകളിൽ നിന്ന് നയങ്ങൾ പഠിക്കുന്നു; കാനോണിനായി സട്ടൺ & ബാർട്ടോ വായിക്കുക [5]. |
| ട്രാൻസ്ഫോർമറുകൾ | എൻഎൽപി, ദർശനം, മൾട്ടിമോഡൽ | മീഡിയം–ഹൈ | സ്വയം ശ്രദ്ധ ദീർഘദൂര ഡെപ്സുകളെ പിടിച്ചെടുക്കുകയും നന്നായി സമാന്തരമാക്കുകയും ചെയ്യുന്നു; യഥാർത്ഥ പേപ്പർ [3] കാണുക. |
| ക്ലാസിക് ML (മരങ്ങൾ) | ടാബുലാർ ബിസിനസ് ആപ്പുകൾ | താഴ്ന്നത് | ഘടനാപരമായ ഡാറ്റയിൽ വിലകുറഞ്ഞതും, വേഗതയേറിയതും, പലപ്പോഴും ഞെട്ടിപ്പിക്കുന്ന തരത്തിൽ ശക്തമായതുമായ അടിസ്ഥാനരേഖകൾ. |
| നിയമം അടിസ്ഥാനമാക്കിയുള്ള/പ്രതീകാത്മകം | അനുസരണം, നിർണായകം | വളരെ കുറവ് | സുതാര്യമായ യുക്തി; ഓഡിറ്റബിലിറ്റി ആവശ്യമുള്ളപ്പോൾ ഹൈബ്രിഡുകളിൽ ഉപയോഗപ്രദമാണ്. |
| വിലയിരുത്തലും അപകടസാധ്യതയും | എല്ലാവരും | വ്യത്യാസപ്പെടുന്നു | സുരക്ഷിതവും ഉപയോഗപ്രദവുമായി നിലനിർത്താൻ NIST യുടെ GOVERN-MAP-MEASURE-MANAGE ഉപയോഗിക്കുക [4]. |
വില-ഇഷ് = ഡാറ്റ ലേബലിംഗ് + കമ്പ്യൂട്ട് + ആളുകൾ + സേവനം.
ഡീപ് ഡൈവ് 1 - ലോസ് ഫംഗ്ഷനുകൾ, ഗ്രേഡിയന്റുകൾ, എല്ലാം മാറ്റുന്ന ചെറിയ ഘട്ടങ്ങൾ 📉
വലിപ്പത്തിൽ നിന്ന് വീടിന്റെ വില പ്രവചിക്കാൻ ഒരു രേഖ ഘടിപ്പിക്കുന്നത് സങ്കൽപ്പിക്കുക. നിങ്ങൾ (w) ഉം (b) ഉം പാരാമീറ്ററുകൾ തിരഞ്ഞെടുത്ത്, (\hat{y} = wx + b) പ്രവചിക്കുകയും, ശരാശരി വർഗ്ഗ നഷ്ടം ഉപയോഗിച്ച് പിശക് അളക്കുകയും ചെയ്യുന്നു. ഭൂമി ഏത് ദിശയിലേക്കാണ് ചരിഞ്ഞതെന്ന് അനുഭവിച്ചുകൊണ്ട്, മൂടൽമഞ്ഞിൽ താഴേക്ക് നടക്കുന്നത് പോലെ, നഷ്ടം വേഗത്തിൽ കുറയ്ക്കുന്നതിന് ഏത് ദിശയിലേക്ക് നീങ്ങണമെന്ന് (w) ഉം (b) ഉം ഗ്രേഡിയന്റ് നിങ്ങളോട് പറയുന്നു. ഓരോ ബാച്ചിനും ശേഷം അപ്ഡേറ്റ് ചെയ്യുക, നിങ്ങളുടെ രേഖ യാഥാർത്ഥ്യത്തോട് കൂടുതൽ അടുക്കുന്നു.
ഡീപ് നെറ്റ്സിൽ, വലിയ ബാൻഡുള്ള അതേ ഗാനം തന്നെയാണ് ഇത്. ബാക്ക്പ്രോപ്പ് കണക്കാക്കുന്നു - കാര്യക്ഷമമായി - അതിനാൽ നിങ്ങൾക്ക് ദശലക്ഷക്കണക്കിന് (അല്ലെങ്കിൽ കോടിക്കണക്കിന്) നോബുകളെ ശരിയായ ദിശയിലേക്ക് തള്ളാൻ കഴിയും [2].
പ്രധാന അവബോധങ്ങൾ:
-
നഷ്ടം ഭൂപ്രകൃതിയെ രൂപപ്പെടുത്തുന്നു.
-
ഗ്രേഡിയന്റുകളാണ് നിങ്ങളുടെ കോമ്പസ്.
-
പഠന നിരക്ക് വളരെ വലുതാണ് - നിങ്ങൾ ആടിയുലയുന്നു, വളരെ ചെറുതാണ്, നിങ്ങൾ ഉറങ്ങുന്നു.
-
ക്രമപ്പെടുത്തൽ നിങ്ങളെ പരിശീലന സെറ്റ് ഒരു തത്തയെപ്പോലെ പൂർണ്ണമായ ഓർമ്മയോടെയും എന്നാൽ യാതൊരു ഗ്രാഹ്യവുമില്ലാതെയും മനഃപാഠമാക്കുന്നതിൽ നിന്ന് തടയുന്നു.
ഡീപ്പ് ഡൈവ് 2 - ഉൾച്ചേർക്കലുകൾ, പ്രോംപ്റ്റിംഗ്, വീണ്ടെടുക്കൽ 🧭
പരസ്പരം അടുത്തുവരുന്ന വെക്റ്റർ ഇടങ്ങളിലേക്ക് വാക്കുകൾ, ചിത്രങ്ങൾ അല്ലെങ്കിൽ ഇനങ്ങൾ ഉൾച്ചേർക്കൽ
-
അർത്ഥപരമായി സമാനമായ ഭാഗങ്ങൾ കണ്ടെത്തുക
-
അർത്ഥം മനസ്സിലാക്കുന്ന പവർ സെർച്ച്
-
ഒരു ഭാഷാ മോഡലിന് എഴുതുന്നതിനുമുമ്പ് വസ്തുതകൾ പരിശോധിക്കാൻ കഴിയുന്ന തരത്തിൽ വീണ്ടെടുക്കൽ-ആഗ്മെന്റഡ് ജനറേഷൻ (RAG) പ്ലഗ് ഇൻ ചെയ്യുക.
പ്രോംപ്റ്റിംഗ് എന്നത് നിങ്ങൾ ജനറേറ്റീവ് മോഡലുകളെ നയിക്കുന്ന രീതിയാണ് - ടാസ്ക് വിവരിക്കുക, ഉദാഹരണങ്ങൾ നൽകുക, നിയന്ത്രണങ്ങൾ സജ്ജമാക്കുക. വളരെ വേഗതയുള്ള ഒരു ഇന്റേണിനായി വളരെ വിശദമായ ഒരു സ്പെക്ക് എഴുതുന്നത് പോലെ ഇതിനെ സങ്കൽപ്പിക്കുക: ആകാംക്ഷയുള്ള, ചിലപ്പോൾ അമിത ആത്മവിശ്വാസമുള്ള.
പ്രായോഗിക നുറുങ്ങ്: നിങ്ങളുടെ മോഡലിന് ഭ്രമാത്മകത തോന്നുന്നുവെങ്കിൽ, വീണ്ടെടുക്കൽ ചേർക്കുക, പ്രോംപ്റ്റ് കൂടുതൽ ശക്തമാക്കുക, അല്ലെങ്കിൽ "വൈബ്സ്" എന്നതിന് പകരം അടിസ്ഥാന മെട്രിക്സ് ഉപയോഗിച്ച് വിലയിരുത്തുക.
ഡീപ് ഡൈവ് 3 - മിഥ്യാധാരണകളില്ലാത്ത വിലയിരുത്തൽ 🧪
നല്ല വിലയിരുത്തൽ വിരസമായി തോന്നുന്നു - അതാണ് ശരിയായ കാര്യം.
-
ഒരു ലോക്ക് ചെയ്ത ടെസ്റ്റ് സെറ്റ് ഉപയോഗിക്കുക.
-
ഉപയോക്തൃ ബുദ്ധിമുട്ടുകൾ പ്രതിഫലിപ്പിക്കുന്ന ഒരു മെട്രിക് തിരഞ്ഞെടുക്കുക.
-
എന്താണ് യഥാർത്ഥത്തിൽ സഹായിച്ചതെന്ന് അറിയാൻ അബ്ലേഷനുകൾ നടത്തുക.
-
യഥാർത്ഥവും കുഴപ്പം പിടിച്ചതുമായ ഉദാഹരണങ്ങളുള്ള ലോഗ് പരാജയങ്ങൾ.
ഉൽപ്പാദനത്തിൽ, നിരീക്ഷണം എന്നത് ഒരിക്കലും നിലയ്ക്കാത്ത ഒരു വിലയിരുത്തലാണ്. ഡ്രിഫ്റ്റ് സംഭവിക്കുന്നു. പുതിയ ഭാഷ പ്രത്യക്ഷപ്പെടുന്നു, സെൻസറുകൾ വീണ്ടും കാലിബ്രേറ്റ് ചെയ്യപ്പെടുന്നു, ഇന്നലത്തെ മോഡൽ അല്പം സ്ലൈഡ് ചെയ്യുന്നു. NIST ചട്ടക്കൂട് നിലവിലുള്ള റിസ്ക് മാനേജ്മെന്റിനും ഭരണത്തിനുമുള്ള ഒരു പ്രായോഗിക റഫറൻസാണ് - മാറ്റിവയ്ക്കേണ്ട ഒരു നയ രേഖയല്ല [4].
ധാർമ്മികത, പക്ഷപാതം, വിശ്വാസ്യത എന്നിവയെക്കുറിച്ചുള്ള ഒരു കുറിപ്പ് ⚖️
AI സിസ്റ്റങ്ങൾ അവയുടെ ഡാറ്റയും വിന്യാസ സന്ദർഭവും പ്രതിഫലിപ്പിക്കുന്നു. അത് അപകടസാധ്യത കൊണ്ടുവരുന്നു: പക്ഷപാതം, ഗ്രൂപ്പുകളിലുടനീളം അസമമായ പിശകുകൾ, വിതരണ മാറ്റത്തിന് കീഴിൽ പൊട്ടൽ. ധാർമ്മിക ഉപയോഗം ഓപ്ഷണലല്ല - അത് ടേബിൾ സ്റ്റേക്കുകളാണ്. NIST മൂർത്തമായ രീതികളിലേക്ക് വിരൽ ചൂണ്ടുന്നു: അപകടസാധ്യതകളും ആഘാതങ്ങളും രേഖപ്പെടുത്തുക, ദോഷകരമായ ബയസുകൾ അളക്കുക, ഫാൾബാക്കുകൾ നിർമ്മിക്കുക, സ്റ്റേക്കുകൾ കൂടുതലായിരിക്കുമ്പോൾ മനുഷ്യരെ ലൂപ്പിൽ നിലനിർത്തുക [4].
സഹായിക്കുന്ന കോൺക്രീറ്റ് നീക്കങ്ങൾ:
-
വൈവിധ്യമാർന്ന, പ്രതിനിധാന ഡാറ്റ ശേഖരിക്കുക
-
ഉപജനസംഖ്യകളിലുടനീളമുള്ള പ്രകടനം അളക്കുക
-
ഡോക്യുമെന്റ് മോഡൽ കാർഡുകളും ഡാറ്റ ഷീറ്റുകളും
-
അപകടസാധ്യതകൾ കൂടുതലുള്ളിടത്ത് മനുഷ്യ മേൽനോട്ടം ചേർക്കുക
-
സിസ്റ്റം അനിശ്ചിതത്വത്തിലായിരിക്കുമ്പോൾ ഫെയിൽ-സേഫുകൾ രൂപകൽപ്പന ചെയ്യുക
AI എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്? ഒരു മാനസിക മാതൃക എന്ന നിലയിൽ നിങ്ങൾക്ക് വീണ്ടും ഉപയോഗിക്കാം 🧩
ഏത് AI സിസ്റ്റത്തിലും നിങ്ങൾക്ക് പ്രയോഗിക്കാൻ കഴിയുന്ന ഒരു ഒതുക്കമുള്ള ചെക്ക്ലിസ്റ്റ്:
-
എന്താണ് ലക്ഷ്യം? പ്രവചനം, റാങ്കിംഗ്, തലമുറ, നിയന്ത്രണം?
-
പഠന സിഗ്നൽ എവിടെ നിന്നാണ് വരുന്നത്? ലേബലുകൾ, സ്വയം മേൽനോട്ടത്തിലുള്ള ജോലികൾ, പ്രതിഫലങ്ങൾ?
-
ഏത് ആർക്കിടെക്ചറാണ് ഉപയോഗിക്കുന്നത്? ലീനിയർ മോഡൽ, ട്രീ എൻസെംബിൾ, സിഎൻഎൻ, ആർഎൻഎൻ, ട്രാൻസ്ഫോർമർ [3]?
-
ഇത് എങ്ങനെയാണ് ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നത്? ഗ്രേഡിയന്റ് ഡിസെന്റ് വ്യതിയാനങ്ങൾ/ബാക്ക്പ്രോപ്പ് [2]?
-
എന്ത് ഡാറ്റാ സംവിധാനം? ചെറിയ ലേബൽ ചെയ്ത സെറ്റ്, ലേബൽ ചെയ്യാത്ത വാചകങ്ങളുടെ സമുദ്രം, സിമുലേറ്റഡ് പരിസ്ഥിതി?
-
പരാജയ മോഡുകളും സുരക്ഷാ മാർഗങ്ങളും എന്തൊക്കെയാണ്? ബയസ്, ഡ്രിഫ്റ്റ്, ഹാലുസിനേഷൻ, ലേറ്റൻസി, NIST യുടെ GOVERN-MAP-MEASURE-MANAGE [4] ലേക്ക് ചെലവ്-മാപ്പ് ചെയ്തത്.
നിങ്ങൾക്ക് അവയ്ക്ക് ഉത്തരം നൽകാൻ കഴിയുമെങ്കിൽ, നിങ്ങൾക്ക് അടിസ്ഥാനപരമായി സിസ്റ്റം മനസ്സിലാകും - ബാക്കിയുള്ളത് നടപ്പിലാക്കൽ വിശദാംശങ്ങളും ഡൊമെയ്ൻ പരിജ്ഞാനവുമാണ്.
ബുക്ക്മാർക്ക് ചെയ്യാൻ പറ്റിയ ദ്രുത ഉറവിടങ്ങൾ 🔖
-
മെഷീൻ ലേണിംഗ് ആശയങ്ങളിലേക്കുള്ള (IBM) പ്ലെയിൻ-ലാംഗ്വേജ് ആമുഖം [1]
-
ഡയഗ്രമുകളും സൗമ്യമായ ഗണിതവും ഉപയോഗിച്ചുള്ള ബാക്ക്പ്രൊപ്പഗേഷൻ [2]
-
സീക്വൻസ് മോഡലിംഗിൽ മാറ്റം വരുത്തിയ ട്രാൻസ്ഫോർമർ പേപ്പർ [3]
-
NIST യുടെ AI റിസ്ക് മാനേജ്മെന്റ് ഫ്രെയിംവർക്ക് (പ്രായോഗിക ഭരണം) [4]
-
കാനോനിക്കൽ റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ടെക്സ്റ്റ്ബുക്ക് (സൗജന്യമായി) [5]
പതിവ് ചോദ്യങ്ങൾ മിന്നൽ റൗണ്ട് ⚡
AI വെറും സ്ഥിതിവിവരക്കണക്കുകളോ?
ഇത് സ്ഥിതിവിവരക്കണക്കുകളും ഒപ്റ്റിമൈസേഷനും, കമ്പ്യൂട്ട്, ഡാറ്റ എഞ്ചിനീയറിംഗ്, ഉൽപ്പന്ന രൂപകൽപ്പനയും ചേർന്നതാണ്. സ്ഥിതിവിവരക്കണക്കുകൾ അസ്ഥികൂടമാണ്; ബാക്കിയുള്ളത് പേശിയാണ്.
വലിയ മോഡലുകൾ എപ്പോഴും വിജയിക്കുമോ?
സ്കെയിലിംഗ് സഹായിക്കുന്നു, പക്ഷേ ഡാറ്റ ഗുണനിലവാരം, വിലയിരുത്തൽ, വിന്യാസ പരിമിതികൾ എന്നിവ പലപ്പോഴും കൂടുതൽ പ്രധാനമാണ്. നിങ്ങളുടെ ലക്ഷ്യം കൈവരിക്കുന്ന ഏറ്റവും ചെറിയ മോഡൽ സാധാരണയായി ഉപയോക്താക്കൾക്കും വാലറ്റുകൾക്കും ഏറ്റവും മികച്ചതാണ്.
AI മനസ്സിലാക്കുമോ?
മനസ്സിലാക്കുക എന്ന് നിർവചിക്കുക . മോഡലുകൾ ഡാറ്റയിലെ ഘടന പിടിച്ചെടുക്കുകയും ശ്രദ്ധേയമായി സാമാന്യവൽക്കരിക്കുകയും ചെയ്യുന്നു; പക്ഷേ അവയ്ക്ക് അന്ധമായ പാടുകളുണ്ട്, ആത്മവിശ്വാസത്തോടെ തെറ്റായിരിക്കാം. അവയെ ശക്തമായ ഉപകരണങ്ങളായി പരിഗണിക്കുക, ജ്ഞാനികളെപ്പോലെയല്ല.
ട്രാൻസ്ഫോർമർ യുഗം എന്നെന്നേക്കുമായി നിലനിൽക്കുന്നതാണോ?
ഒരുപക്ഷേ എന്നെന്നേക്കുമായി ഉണ്ടാകണമെന്നില്ല. യഥാർത്ഥ പ്രബന്ധത്തിൽ കാണിച്ചതുപോലെ [3] ശ്രദ്ധ സമാന്തരമായും സ്കെയിലിലും നന്നായി വ്യാപിച്ചിരിക്കുന്നതിനാൽ ഇപ്പോൾ അത് പ്രബലമാണ്. എന്നാൽ ഗവേഷണം ചലിച്ചുകൊണ്ടിരിക്കുന്നു.
AI എങ്ങനെ പ്രവർത്തിക്കുന്നു? വളരെ ദൈർഘ്യമേറിയതാണ്, വായിച്ചിട്ടില്ല 🧵
-
ഡാറ്റയിൽ നിന്ന് പാറ്റേണുകൾ പഠിക്കുകയും, നഷ്ടം കുറയ്ക്കുകയും, പുതിയ ഇൻപുട്ടുകളിലേക്ക് സാമാന്യവൽക്കരിക്കുകയും ചെയ്യുന്നു [1,2].
-
സൂപ്പർവൈസ്ഡ്, അൺ സൂപ്പർവൈസ്ഡ്, സെൽഫ് സൂപ്പർവൈസ്ഡ്, റൈൻഫോഴ്സ്മെന്റ് ലേണിംഗ് എന്നിവയാണ് പ്രധാന പരിശീലന സജ്ജീകരണങ്ങൾ; റിവാർഡുകളിൽ നിന്ന് RL പഠിക്കുന്നു [5].
-
ദശലക്ഷക്കണക്കിന് പാരാമീറ്ററുകൾ കാര്യക്ഷമമായി ക്രമീകരിക്കുന്നതിന് ന്യൂറൽ നെറ്റ്വർക്കുകൾ ബാക്ക്പ്രൊപ്പഗേഷനും ഗ്രേഡിയന്റ് ഡിസെന്റും ഉപയോഗിക്കുന്നു [2].
-
സ്വയം ശ്രദ്ധ സ്കെയിലിൽ സമാന്തരമായി ബന്ധങ്ങളെ പിടിച്ചെടുക്കുന്നതിനാൽ ട്രാൻസ്ഫോർമറുകൾ പല ക്രമ ജോലികളിലും ആധിപത്യം പുലർത്തുന്നു [3].
-
യഥാർത്ഥ ലോക AI എന്നത് പ്രശ്നപരിഹാരത്തിൽ നിന്ന് വിന്യാസത്തിലേക്കും ഭരണത്തിലേക്കും ഉള്ള ഒരു പൈപ്പ്ലൈനാണ്, കൂടാതെ NIST യുടെ ചട്ടക്കൂട് നിങ്ങളെ അപകടസാധ്യതയെക്കുറിച്ച് സത്യസന്ധത പുലർത്തുന്നു [4].
ആരെങ്കിലും വീണ്ടും ചോദിച്ചാൽ AI എങ്ങനെ പ്രവർത്തിക്കുന്നു?, നിങ്ങൾക്ക് പുഞ്ചിരിക്കാം, കാപ്പി കുടിക്കാം, എന്നിട്ട് പറയാം: അത് ഡാറ്റയിൽ നിന്ന് പഠിക്കുന്നു, നഷ്ടം ഒപ്റ്റിമൈസ് ചെയ്യുന്നു, പ്രശ്നത്തിനനുസരിച്ച് ട്രാൻസ്ഫോർമറുകൾ അല്ലെങ്കിൽ ട്രീ എൻസെംബിൾസ് പോലുള്ള ആർക്കിടെക്ചറുകൾ ഉപയോഗിക്കുന്നു. പിന്നെ ഒരു കണ്ണിറുക്കൽ ചേർക്കുക, കാരണം അത് ലളിതവും രഹസ്യമായി പൂർണ്ണവുമാണ്. 😉
അവലംബം
[1] IBM - മെഷീൻ ലേണിംഗ് എന്താണ്?
കൂടുതല് വായിക്കുക
[2] മൈക്കൽ നീൽസൺ - ബാക്ക്പ്രൊപ്പഗേഷൻ അൽഗോരിതം എങ്ങനെ പ്രവർത്തിക്കുന്നു
കൂടുതൽ വായിക്കുക
[3] വാസ്വാനി തുടങ്ങിയവർ - ശ്രദ്ധ മാത്രമാണ് നിങ്ങൾക്ക് വേണ്ടത് (arXiv)
കൂടുതൽ വായിക്കുക
[4] NIST - ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് റിസ്ക് മാനേജ്മെന്റ് ഫ്രെയിംവർക്ക് (AI RMF 1.0)
കൂടുതൽ വായിക്കുക
[5] സട്ടൺ & ബാർട്ടോ - റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ്: ഒരു ആമുഖം (രണ്ടാം പതിപ്പ്)
കൂടുതൽ വായിക്കുക