ചുരുക്ക ഉത്തരം: ഫൗണ്ടേഷൻ മോഡലുകൾ വലുതും പൊതു ആവശ്യത്തിനുള്ളതുമായ AI മോഡലുകളാണ്, അവ വിശാലമായ ഡാറ്റാസെറ്റുകളിൽ പരിശീലനം നേടിയവയാണ്, തുടർന്ന് പ്രോംപ്റ്റിംഗ്, ഫൈൻ-ട്യൂണിംഗ്, ഉപകരണങ്ങൾ അല്ലെങ്കിൽ വീണ്ടെടുക്കൽ എന്നിവയിലൂടെ നിരവധി ജോലികൾക്ക് (എഴുത്ത്, തിരയൽ, കോഡിംഗ്, ഇമേജുകൾ) അനുയോജ്യമാക്കുന്നു. നിങ്ങൾക്ക് വിശ്വസനീയമായ ഉത്തരങ്ങൾ ആവശ്യമുണ്ടെങ്കിൽ, അവയെ മെച്ചപ്പെടുത്താൻ അനുവദിക്കുന്നതിനുപകരം ഗ്രൗണ്ടിംഗ് (RAG പോലുള്ളവ), വ്യക്തമായ നിയന്ത്രണങ്ങൾ, പരിശോധനകൾ എന്നിവയുമായി ജോടിയാക്കുക.
പ്രധാന കാര്യങ്ങൾ:
നിർവചനം : ഒരു മോഡലിന് ഒരു ടാസ്ക് എന്നതിലുപരി, പല ടാസ്ക്കുകളിലും പുനരുപയോഗിക്കപ്പെടുന്ന വിശാലമായ പരിശീലനം ലഭിച്ച ഒരു ബേസ് മോഡൽ.
പൊരുത്തപ്പെടുത്തൽ : പെരുമാറ്റം നിയന്ത്രിക്കാൻ പ്രോംപ്റ്റിംഗ്, ഫൈൻ-ട്യൂണിംഗ്, LoRA/അഡാപ്റ്ററുകൾ, RAG, ഉപകരണങ്ങൾ എന്നിവ ഉപയോഗിക്കുക.
ജനറേറ്റീവ് ഫിറ്റ് : അവ ടെക്സ്റ്റ്, ഇമേജ്, ഓഡിയോ, കോഡ്, മൾട്ടിമോഡൽ ഉള്ളടക്ക ഉൽപ്പാദനം എന്നിവയ്ക്ക് ശക്തി നൽകുന്നു.
ഗുണമേന്മയുള്ള സിഗ്നലുകൾ : നിയന്ത്രണക്ഷമത, കുറഞ്ഞ ഭ്രമാത്മകത, മൾട്ടിമോഡൽ കഴിവ്, കാര്യക്ഷമമായ അനുമാനം എന്നിവയ്ക്ക് മുൻഗണന നൽകുക.
അപകടസാധ്യത നിയന്ത്രണങ്ങൾ : ഭ്രമാത്മകത, പക്ഷപാതം, സ്വകാര്യത ചോർച്ച, ഭരണനിർവ്വഹണത്തിലൂടെയും പരിശോധനയിലൂടെയും വേഗത്തിലുള്ള കുത്തിവയ്പ്പ് എന്നിവയ്ക്കുള്ള പദ്ധതി.
ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:
🔗 ഒരു AI കമ്പനി എന്താണ്?
AI സ്ഥാപനങ്ങൾ ഉൽപ്പന്നങ്ങൾ, ടീമുകൾ, വരുമാന മോഡലുകൾ എന്നിവ എങ്ങനെ നിർമ്മിക്കുന്നുവെന്ന് മനസ്സിലാക്കുക.
🔗 AI കോഡ് എങ്ങനെയിരിക്കും?
പൈത്തൺ മോഡലുകൾ മുതൽ API-കൾ വരെയുള്ള AI കോഡിന്റെ ഉദാഹരണങ്ങൾ കാണുക.
🔗 എന്താണ് ഒരു AI അൽഗോരിതം?
AI അൽഗോരിതങ്ങൾ എന്താണെന്നും അവ എങ്ങനെയാണ് തീരുമാനങ്ങൾ എടുക്കുന്നതെന്നും മനസ്സിലാക്കുക.
🔗 എന്താണ് AI സാങ്കേതികവിദ്യ?
ഓട്ടോമേഷൻ, അനലിറ്റിക്സ്, ഇന്റലിജന്റ് ആപ്പുകൾ എന്നിവയ്ക്ക് കരുത്ത് പകരുന്ന പ്രധാന AI സാങ്കേതികവിദ്യകൾ പര്യവേക്ഷണം ചെയ്യുക.
1) ഫൗണ്ടേഷൻ മോഡലുകൾ - മൂടൽമഞ്ഞില്ലാത്ത ഒരു നിർവചനം 🧠
ഒരു ഫൗണ്ടേഷൻ മോഡൽ എന്നത് വിശാലമായ ഡാറ്റയിൽ (സാധാരണയായി ടൺ കണക്കിന്) പരിശീലനം ലഭിച്ച ഒരു വലിയ, പൊതു-ഉദ്ദേശ്യ AI മോഡലാണ്, അതിനാൽ ഇത് ഒരു ജോലിക്ക് മാത്രമല്ല, നിരവധി ജോലികൾക്കും അനുയോജ്യമാക്കാൻ കഴിയും ( NIST , സ്റ്റാൻഫോർഡ് CRFM ).
ഇതിനായി ഒരു പ്രത്യേക മാതൃക നിർമ്മിക്കുന്നതിനുപകരം:
-
ഇമെയിലുകൾ എഴുതുന്നു
-
ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നു
-
PDF-കൾ സംഗ്രഹിക്കുന്നു
-
ചിത്രങ്ങൾ സൃഷ്ടിക്കുന്നു
-
പിന്തുണ ടിക്കറ്റുകളുടെ വർഗ്ഗീകരണം
-
ഭാഷകൾ വിവർത്തനം ചെയ്യുന്നു
-
കോഡ് നിർദ്ദേശങ്ങൾ നൽകുന്നു
... നിങ്ങൾ അവ്യക്തമായ സ്ഥിതിവിവരക്കണക്ക് രീതിയിൽ "ലോകത്തെ പഠിക്കുന്ന" ഒരു വലിയ അടിസ്ഥാന മാതൃക പരിശീലിപ്പിക്കുന്നു, തുടർന്ന് പ്രോംപ്റ്റുകൾ, ഫൈൻ-ട്യൂണിംഗ് അല്ലെങ്കിൽ അധിക ഉപകരണങ്ങൾ ഉപയോഗിച്ച് നിർദ്ദിഷ്ട ജോലികളുമായി അതിനെ പൊരുത്തപ്പെടുത്തുന്നു ബൊമ്മസാനി et al., 2021 ).
നിങ്ങൾക്ക് ഓടിക്കാൻ കഴിയുന്ന ഒരു പൊതു എഞ്ചിനാണിത്
അതെ, കീവേഡ് "പൊതുവായത്" ആണ്. അതാണ് മുഴുവൻ തന്ത്രവും.
2) ജനറേറ്റീവ് AI-യിലെ ഫൗണ്ടേഷൻ മോഡലുകൾ എന്തൊക്കെയാണ്? (അവ എങ്ങനെ പ്രത്യേകമായി യോജിക്കുന്നു) 🎨📝
അപ്പോൾ, ജനറേറ്റീവ് AI-യിലെ ഫൗണ്ടേഷൻ മോഡലുകൾ എന്തൊക്കെയാണ്? പുതിയ ഉള്ളടക്കം - ടെക്സ്റ്റ്, ഇമേജുകൾ, ഓഡിയോ, കോഡ്, വീഡിയോ, കൂടുതൽ കൂടുതൽ... ഇവയുടെയെല്ലാം മിശ്രിതങ്ങൾ ( NIST , NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ ) സൃഷ്ടിക്കാൻ കഴിയുന്ന സിസ്റ്റങ്ങൾക്ക് ശക്തി പകരുന്ന അടിസ്ഥാന മോഡലുകളാണ് അവ
ജനറേറ്റീവ് AI എന്നത് “സ്പാം / സ്പാം അല്ല” പോലുള്ള ലേബലുകൾ പ്രവചിക്കുക മാത്രമല്ല. ഒരു വ്യക്തി നിർമ്മിച്ചതാണെന്ന് തോന്നിപ്പിക്കുന്ന ഔട്ട്പുട്ടുകൾ നിർമ്മിക്കുന്നതിനെക്കുറിച്ചാണ്.
-
ഖണ്ഡികകൾ
-
കവിതകൾ
-
ഉൽപ്പന്ന വിവരണങ്ങൾ
-
ചിത്രീകരണങ്ങൾ
-
മെലഡികൾ
-
ആപ്പ് പ്രോട്ടോടൈപ്പുകൾ
-
കൃത്രിമ ശബ്ദങ്ങൾ
-
ചിലപ്പോൾ അസംഭവ്യമായ ആത്മവിശ്വാസമുള്ള അസംബന്ധം 🙃
ഫൗണ്ടേഷൻ മോഡലുകൾ പ്രത്യേകിച്ചും നല്ലതാണ് കാരണം:
-
വലിയ ഡാറ്റാസെറ്റുകളിൽ നിന്നുള്ള വിശാലമായ പാറ്റേണുകൾ അവർ ആഗിരണം ചെയ്തിട്ടുണ്ട് ( ബൊമ്മസാനി തുടങ്ങിയവർ, 2021 )
-
അവർക്ക് പുതിയ പ്രോംപ്റ്റുകളിലേക്ക് (വിചിത്രമായവ പോലും) സാമാന്യവൽക്കരിക്കാൻ കഴിയും ( ബ്രൗൺ തുടങ്ങിയവർ, 2020 )
-
പുതുതായി പരിശീലിപ്പിക്കാതെ തന്നെ ഡസൻ കണക്കിന് ഔട്ട്പുട്ടുകൾക്കായി അവ പുനർനിർമ്മിക്കാൻ കഴിയും ( ബൊമ്മസാനി തുടങ്ങിയവർ, 2021 )
അവയാണ് “അടിസ്ഥാന പാളി” - ബ്രെഡ് മാവ് പോലെ. നിങ്ങൾക്ക് ഇത് ബാഗെറ്റ്, പിസ്സ, അല്ലെങ്കിൽ കറുവപ്പട്ട റോളുകൾ എന്നിവയായി ചുട്ടെടുക്കാം... ഒരു പെർഫെക്റ്റ് രൂപകമല്ല, പക്ഷേ നിങ്ങൾ എന്നെ മനസ്സിലാക്കുന്നു 😄
3) എന്തുകൊണ്ടാണ് അവർ എല്ലാം മാറ്റിമറിച്ചത് (ആളുകൾ എന്തുകൊണ്ടാണ് അവരെക്കുറിച്ച് സംസാരിക്കുന്നത് നിർത്താത്തത്) 🚀
ഫൗണ്ടേഷൻ മോഡലുകൾക്ക് മുമ്പ്, AI-യിൽ ഭൂരിഭാഗവും ടാസ്ക്-നിർദ്ദിഷ്ടമായിരുന്നു:
-
വികാര വിശകലനത്തിനായി ഒരു മാതൃക പരിശീലിപ്പിക്കുക
-
വിവർത്തനത്തിനായി മറ്റൊരാളെ പരിശീലിപ്പിക്കുക
-
ഇമേജ് വർഗ്ഗീകരണത്തിനായി മറ്റൊരാളെ പരിശീലിപ്പിക്കുക
-
പേരുള്ള എന്റിറ്റി തിരിച്ചറിയലിനായി മറ്റൊരാളെ പരിശീലിപ്പിക്കുക
അത് പ്രവർത്തിച്ചു, പക്ഷേ അത് മന്ദഗതിയിലുള്ളതും, ചെലവേറിയതും, ഒരുതരം... പൊട്ടുന്നതും ആയിരുന്നു.
ഫൗണ്ടേഷൻ മോഡലുകൾ ഇത് മറിച്ചു:
-
ഒരു തവണ മുൻകൂട്ടി പരിശീലിക്കുക (വലിയ ശ്രമം)
-
എല്ലായിടത്തും വീണ്ടും ഉപയോഗിക്കുക (വലിയ പ്രതിഫലം) ( ബൊമ്മസാനി മറ്റുള്ളവരും, 2021 )
ആ പുനരുപയോഗമാണ് ഗുണിതം. കമ്പനികൾക്ക് ഒരു മോഡൽ കുടുംബത്തിന് മുകളിൽ 20 സവിശേഷതകൾ നിർമ്മിക്കാൻ കഴിയും, ചക്രം 20 തവണ പുനർനിർമ്മിക്കുന്നതിനുപകരം.
കൂടാതെ, ഉപയോക്തൃ അനുഭവം കൂടുതൽ സ്വാഭാവികമായി:
-
നിങ്ങൾ "ഒരു ക്ലാസിഫയർ ഉപയോഗിക്കുന്നില്ല"
-
ഉറങ്ങാത്ത സഹായകരമായ ഒരു സഹപ്രവർത്തകനെപ്പോലെയാണ് നിങ്ങൾ മോഡലിനോട് സംസാരിക്കുന്നത് ☕🤝
ചിലപ്പോൾ അത് ആത്മവിശ്വാസത്തോടെ എല്ലാം തെറ്റിദ്ധരിക്കുന്ന ഒരു സഹപ്രവർത്തകനെപ്പോലെയാണ്, പക്ഷേ ഹേയ്. വളർച്ച.
4) കാതലായ ആശയം: പ്രീ-ട്രെയിനിംഗ് + പൊരുത്തപ്പെടുത്തൽ 🧩
മിക്കവാറും എല്ലാ ഫൗണ്ടേഷൻ മോഡലുകളും ഒരു പാറ്റേൺ പിന്തുടരുന്നു ( സ്റ്റാൻഫോർഡ് CRFM , NIST ):
പ്രീ-പരിശീലനം ("ഇന്റർനെറ്റ്-ഇഷ് ആഗിരണം" ഘട്ടം) 📚
NIST ഉപയോഗിച്ച് ബൃഹത്തായ, വിശാലമായ ഡാറ്റാസെറ്റുകളിലാണ് ഈ മോഡലിന് പരിശീലനം നൽകിയിരിക്കുന്നത് . ഭാഷാ മോഡലുകൾക്ക്, സാധാരണയായി നഷ്ടപ്പെട്ട വാക്കുകളോ അടുത്ത ടോക്കണോ പ്രവചിക്കുക എന്നാണ് ഇതിനർത്ഥം ( Devlin et al., 2018 , Brown et al., 2020 ).
ഒരു പ്രത്യേക ജോലി പഠിപ്പിക്കുക എന്നതല്ല ലക്ഷ്യം. പൊതുവായ പ്രാതിനിധ്യങ്ങൾ :
-
വ്യാകരണം
-
വസ്തുതകൾ (ഒരുതരം)
-
യുക്തിസഹമായ പാറ്റേണുകൾ (ചിലപ്പോൾ)
-
എഴുത്ത് ശൈലികൾ
-
കോഡ് ഘടന
-
മനുഷ്യരുടെ പൊതുവായ ഉദ്ദേശ്യം
പൊരുത്തപ്പെടുത്തൽ ("പ്രായോഗികമാക്കുക" എന്ന ഘട്ടം) 🛠️
തുടർന്ന് നിങ്ങൾ ഒന്നോ അതിലധികമോ ഉപയോഗിച്ച് ഇത് പൊരുത്തപ്പെടുത്തുന്നു:
-
പ്രോംപ്റ്റിംഗ് (ലളിതമായ ഭാഷയിലുള്ള നിർദ്ദേശങ്ങൾ)
-
ഇൻസ്ട്രക്ഷൻ ട്യൂണിംഗ് (നിർദ്ദേശങ്ങൾ പാലിക്കാൻ അതിനെ പരിശീലിപ്പിക്കൽ) ( വെയ് തുടങ്ങിയവർ, 2021 )
-
ഫൈൻ-ട്യൂണിംഗ് (നിങ്ങളുടെ ഡൊമെയ്ൻ ഡാറ്റയെക്കുറിച്ചുള്ള പരിശീലനം)
-
ലോറ / അഡാപ്റ്ററുകൾ (ലൈറ്റ്വെയ്റ്റ് ട്യൂണിംഗ് രീതികൾ) ( ഹു തുടങ്ങിയവർ, 2021 )
-
RAG (വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച ജനറേഷൻ - മോഡൽ നിങ്ങളുടെ ഡോക്സുമായി കൂടിയാലോചിക്കുന്നു) ( ലൂയിസ് തുടങ്ങിയവർ, 2020 )
-
ഉപകരണ ഉപയോഗം (കോളിംഗ് ഫംഗ്ഷനുകൾ, ആന്തരിക സിസ്റ്റങ്ങൾ ബ്രൗസ് ചെയ്യൽ മുതലായവ)
അതുകൊണ്ടാണ് അതേ അടിസ്ഥാന മോഡലിന് ഒരു പ്രണയ രംഗം എഴുതാൻ കഴിയുന്നത്... തുടർന്ന് അഞ്ച് സെക്കൻഡ് കഴിഞ്ഞ് ഒരു SQL അന്വേഷണം ഡീബഗ് ചെയ്യാൻ സഹായിക്കുക 😭
5) ഒരു ഫൗണ്ടേഷൻ മോഡലിന്റെ നല്ല പതിപ്പ് എന്താണ്? ✅
ആളുകൾ ഒഴിവാക്കുന്ന, പിന്നീട് ഖേദിക്കുന്ന ഭാഗമാണിത്.
ഒരു "നല്ല" ഫൗണ്ടേഷൻ മോഡൽ വെറും "വലുത്" അല്ല. വലുത് സഹായിക്കും, തീർച്ചയായും... പക്ഷേ അത് മാത്രമല്ല കാര്യം. ഒരു ഫൗണ്ടേഷൻ മോഡലിന്റെ നല്ല പതിപ്പിൽ സാധാരണയായി ഇവയുണ്ട്:
ശക്തമായ പൊതുവൽക്കരണം 🧠
ടാസ്ക്-നിർദ്ദിഷ്ട പുനർപരിശീലനം ആവശ്യമില്ലാതെ തന്നെ ഇത് നിരവധി ടാസ്ക്കുകളിൽ നന്നായി പ്രവർത്തിക്കുന്നു ( ബൊമ്മസാനി തുടങ്ങിയവർ, 2021 ).
സ്റ്റിയറിംഗും നിയന്ത്രണവും 🎛️
ഇതിന് വിശ്വസനീയമായി ഇതുപോലുള്ള നിർദ്ദേശങ്ങൾ പാലിക്കാൻ കഴിയും:
-
"സംക്ഷിപ്തമായിരിക്കുക"
-
"ബുള്ളറ്റ് പോയിന്റുകൾ ഉപയോഗിക്കുക"
-
"സൗഹൃദ സ്വരത്തിൽ എഴുതുക"
-
"രഹസ്യ വിവരങ്ങൾ വെളിപ്പെടുത്തരുത്"
ചില മോഡലുകൾ സ്മാർട്ട് ആണ് പക്ഷേ വഴുക്കലാണ്. ഷവറിൽ ഒരു സോപ്പ് ബാർ പിടിക്കാൻ ശ്രമിക്കുന്നത് പോലെ. സഹായകരമാണ്, പക്ഷേ അസ്ഥിരമാണ് 😅
കുറഞ്ഞ ഭ്രമാത്മക പ്രവണത (അല്ലെങ്കിൽ കുറഞ്ഞത് വ്യക്തമായ അനിശ്ചിതത്വം) 🧯
ഒരു മോഡലും ഭ്രമാത്മകതയിൽ നിന്ന് മുക്തമല്ല, പക്ഷേ നല്ല മോഡലുകൾ:
-
ഭ്രമാത്മകത കുറയ്ക്കുക
-
അനിശ്ചിതത്വം കൂടുതൽ തവണ സമ്മതിക്കുക
-
വീണ്ടെടുക്കൽ ഉപയോഗിക്കുമ്പോൾ നൽകിയിരിക്കുന്ന സന്ദർഭത്തോട് കൂടുതൽ അടുത്ത് നിൽക്കുക ( Ji et al., 2023 , Lewis et al., 2020 )
നല്ല മൾട്ടിമോഡൽ കഴിവ് (ആവശ്യമുള്ളപ്പോൾ) 🖼️🎧
ഇമേജുകൾ വായിക്കുന്ന, ചാർട്ടുകൾ വ്യാഖ്യാനിക്കുന്ന, അല്ലെങ്കിൽ ഓഡിയോ മനസ്സിലാക്കുന്ന സഹായികളെയാണ് നിങ്ങൾ നിർമ്മിക്കുന്നതെങ്കിൽ, മൾട്ടിമോഡൽ വളരെ പ്രധാനമാണ് ( റാഡ്ഫോർഡ് എറ്റ് ആൽ., 2021 ).
കാര്യക്ഷമമായ അനുമാനം ⚡
ലേറ്റൻസിയും ചെലവും പ്രധാനമാണ്. ശക്തവും എന്നാൽ വേഗത കുറഞ്ഞതുമായ ഒരു മോഡൽ ടയർ പൊട്ടിയ ഒരു സ്പോർട്സ് കാർ പോലെയാണ്.
സുരക്ഷയും വിന്യാസ പെരുമാറ്റവും 🧩
"എല്ലാം നിരസിക്കുക" മാത്രമല്ല, മറിച്ച്:
-
ദോഷകരമായ നിർദ്ദേശങ്ങൾ ഒഴിവാക്കുക
-
ബയസ് കുറയ്ക്കുക
-
സെൻസിറ്റീവ് വിഷയങ്ങൾ ശ്രദ്ധയോടെ കൈകാര്യം ചെയ്യുക
-
അടിസ്ഥാന ജയിൽ ബ്രേക്ക് ശ്രമങ്ങളെ ചെറുക്കുക (ഏകദേശം...) ( NIST AI RMF 1.0 , NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
ഡോക്യുമെന്റേഷൻ + ആവാസവ്യവസ്ഥ 🌱
ഇത് വരണ്ടതായി തോന്നുമെങ്കിലും, ഇത് യഥാർത്ഥമാണ്:
-
ഉപകരണങ്ങൾ
-
ഇവാൽ ഹാർനെസുകൾ
-
വിന്യാസ ഓപ്ഷനുകൾ
-
എന്റർപ്രൈസ് നിയന്ത്രണങ്ങൾ
-
ഫൈൻ-ട്യൂണിംഗ് പിന്തുണ
അതെ, "ആവാസവ്യവസ്ഥ" എന്നത് ഒരു അവ്യക്തമായ പദമാണ്. എനിക്കും അത് ഇഷ്ടമല്ല. പക്ഷേ അത് പ്രധാനമാണ്.
6) താരതമ്യ പട്ടിക - പൊതുവായ ഫൗണ്ടേഷൻ മോഡൽ ഓപ്ഷനുകൾ (അവ എന്തിനു നല്ലതാണ്) 🧾
താഴെ കൊടുത്തിരിക്കുന്നത് പ്രായോഗികവും അൽപ്പം അപൂർണ്ണവുമായ ഒരു താരതമ്യ പട്ടികയാണ്. ഇത് "ഒരേയൊരു യഥാർത്ഥ പട്ടിക" അല്ല, മറിച്ച്: ആളുകൾ പ്രകൃതിയിൽ എന്ത് തിരഞ്ഞെടുക്കുന്നു എന്നതുപോലുള്ള ഒരു പട്ടികയാണ്.
| ഉപകരണം / മോഡൽ തരം | പ്രേക്ഷകർ | വിലയേറിയ | അത് എന്തുകൊണ്ട് പ്രവർത്തിക്കുന്നു |
|---|---|---|---|
| പ്രൊപ്രൈറ്ററി എൽഎൽഎം (ചാറ്റ്-സ്റ്റൈൽ) | വേഗതയും പോഷും ആഗ്രഹിക്കുന്ന ടീമുകൾ | ഉപയോഗാധിഷ്ഠിത / സബ്സ്ക്രിപ്ഷൻ | മികച്ച നിർദ്ദേശങ്ങൾ പാലിക്കൽ, ശക്തമായ പൊതു പ്രകടനം, സാധാരണയായി മികച്ചത് "ഔട്ട് ഓഫ് ബോക്സ്" 😌 |
| ഓപ്പൺ-വെയ്റ്റ് എൽഎൽഎം (സ്വയം ഹോസ്റ്റുചെയ്യാവുന്നത്) | നിയന്ത്രണം ആഗ്രഹിക്കുന്ന നിർമ്മാതാക്കൾ | അടിസ്ഥാന ചെലവുകൾ (തലവേദനയും) | ഇഷ്ടാനുസൃതമാക്കാവുന്നതും സ്വകാര്യതയ്ക്ക് അനുയോജ്യവും, പ്രാദേശികമായി പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്നതും... അർദ്ധരാത്രിയിൽ ടിങ്കറിംഗ് ഇഷ്ടപ്പെടുന്നെങ്കിൽ |
| ഡിഫ്യൂഷൻ ഇമേജ് ജനറേറ്റർ | ക്രിയേറ്റീവുകൾ, ഡിസൈൻ ടീമുകൾ | സൗജന്യം മുതൽ പണം വരെ | മികച്ച ഇമേജ് സിന്തസിസ്, ശൈലി വൈവിധ്യം, ആവർത്തിച്ചുള്ള വർക്ക്ഫ്ലോകൾ (കൂടാതെ: വിരലുകൾ ഓഫായിരിക്കാം) ✋😬 ( ഹോ എറ്റ് ആൽ., 2020 , റോംബാച്ച് എറ്റ് ആൽ., 2021 ) |
| മൾട്ടിമോഡൽ "ദർശന-ഭാഷ" മാതൃക | ചിത്രങ്ങൾ + വാചകം വായിക്കുന്ന ആപ്പുകൾ | ഉപയോഗാധിഷ്ഠിതം | ചിത്രങ്ങൾ, സ്ക്രീൻഷോട്ടുകൾ, ഡയഗ്രമുകൾ എന്നിവയെക്കുറിച്ച് ചോദ്യങ്ങൾ ചോദിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു - അതിശയകരമാംവിധം സൗകര്യപ്രദമാണ് ( റാഡ്ഫോർഡ് തുടങ്ങിയവർ, 2021 ) |
| എംബെഡിംഗ് ഫൗണ്ടേഷൻ മോഡൽ | തിരയൽ + RAG സിസ്റ്റങ്ങൾ | ഒരു കോളിന് കുറഞ്ഞ നിരക്ക് | സെമാന്റിക് തിരയൽ, ക്ലസ്റ്ററിംഗ്, ശുപാർശ എന്നിവയ്ക്കായി വാചകത്തെ വെക്റ്ററുകളാക്കി മാറ്റുന്നു - നിശബ്ദ MVP ഊർജ്ജം ( കർപുഖിൻ തുടങ്ങിയവർ, 2020 , ഡൗസ് തുടങ്ങിയവർ, 2024 ) |
| സ്പീച്ച്-ടു-ടെക്സ്റ്റ് ഫൗണ്ടേഷൻ മോഡൽ | കോൾ സെന്ററുകൾ, സ്രഷ്ടാക്കൾ | ഉപയോഗാധിഷ്ഠിത / പ്രാദേശികം | വേഗത്തിലുള്ള ട്രാൻസ്ക്രിപ്ഷൻ, ബഹുഭാഷാ പിന്തുണ, ശബ്ദായമാനമായ ഓഡിയോയ്ക്ക് (സാധാരണയായി) 🎙️ ( വിസ്പർ ) |
| ടെക്സ്റ്റ്-ടു-സ്പീച്ച് ഫൗണ്ടേഷൻ മോഡൽ | ഉൽപ്പന്ന ടീമുകൾ, മാധ്യമങ്ങൾ | ഉപയോഗാധിഷ്ഠിതം | സ്വാഭാവിക ശബ്ദ രൂപീകരണം, ശബ്ദ ശൈലികൾ, ആഖ്യാനം - ഭയപ്പെടുത്തുന്നതും യഥാർത്ഥവുമാകാം ( ഷെൻ തുടങ്ങിയവർ, 2017 ) |
| കോഡ്-ഫോക്കസ്ഡ് എൽഎൽഎം | ഡെവലപ്പർമാർ | ഉപയോഗാധിഷ്ഠിത / സബ്സ്ക്രിപ്ഷൻ | കോഡ് പാറ്റേണുകൾ, ഡീബഗ്ഗിംഗ്, റീഫാക്ടറുകൾ എന്നിവയിൽ മികച്ചതാണ്... എന്നിരുന്നാലും ഇപ്പോഴും മനസ്സ് വായിക്കാൻ കഴിയുന്നില്ല 😅 |
"ഫൗണ്ടേഷൻ മോഡൽ" എന്നാൽ "ചാറ്റ്ബോട്ട്" എന്ന് മാത്രമല്ല അർത്ഥമാക്കുന്നത് എന്ന് ശ്രദ്ധിക്കുക. എംബെഡിംഗുകളും സ്പീച്ച് മോഡലുകളും അടിസ്ഥാനപരമായ കാര്യങ്ങളാകാം, കാരണം അവ വിശാലവും വിവിധ ജോലികളിൽ വീണ്ടും ഉപയോഗിക്കാവുന്നതുമാണ് ( ബൊമ്മസാനി എറ്റ് ആൽ., 2021 , NIST ).
7) സൂക്ഷ്മമായി നോക്കുക: ഭാഷാ അടിസ്ഥാന മോഡലുകൾ എങ്ങനെ പഠിക്കുന്നു (വൈബ് പതിപ്പ്) 🧠🧃
ഭാഷാ അടിസ്ഥാന മോഡലുകൾ (പലപ്പോഴും LLM-കൾ എന്ന് വിളിക്കപ്പെടുന്നു) സാധാരണയായി വലിയ വാചക ശേഖരങ്ങളിൽ പരിശീലനം നേടുന്നു. ടോക്കണുകൾ പ്രവചിച്ചുകൊണ്ടാണ് അവർ പഠിക്കുന്നത് ( Brown et al., 2020 ). അത്രമാത്രം. രഹസ്യ ഫെയറി ഡസ്റ്റ് അല്ല.
എന്നാൽ മാന്ത്രികത എന്തെന്നാൽ, ടോക്കണുകൾ പ്രവചിക്കുന്നത് മോഡലിനെ ഘടന പഠിക്കാൻ പ്രേരിപ്പിക്കുന്നു ( CSET ):
-
വ്യാകരണവും വാക്യഘടനയും
-
വിഷയ ബന്ധങ്ങൾ
-
യുക്തിസഹമായ പാറ്റേണുകൾ (ചിലപ്പോൾ)
-
പൊതുവായ ചിന്താ ശ്രേണികൾ
-
ആളുകൾ കാര്യങ്ങൾ എങ്ങനെ വിശദീകരിക്കുന്നു, വാദിക്കുന്നു, ക്ഷമ ചോദിക്കുന്നു, ചർച്ച ചെയ്യുന്നു, പഠിപ്പിക്കുന്നു
മനുഷ്യർ ചെയ്യുന്ന രീതി "മനസ്സിലാക്കാതെ" ദശലക്ഷക്കണക്കിന് സംഭാഷണങ്ങൾ അനുകരിക്കാൻ പഠിക്കുന്നത് പോലെയാണിത്. അത് പ്രവർത്തിക്കാൻ പാടില്ലാത്തതായി തോന്നുന്നു... എന്നിട്ടും അത് പ്രവർത്തിക്കുന്നു.
ഒരു നേരിയ അതിശയോക്തി: ഇത് അടിസ്ഥാനപരമായി മനുഷ്യ എഴുത്തിനെ ഒരു ഭീമാകാരമായ സാധ്യതാ തലച്ചോറിലേക്ക് ചുരുക്കുന്നത് പോലെയാണ്.
വീണ്ടും, ആ രൂപകം അല്പം ശപിക്കപ്പെട്ടതാണ്. പക്ഷേ നമ്മൾ നീങ്ങുന്നു 😄
8) സൂക്ഷ്മമായി നോക്കുക: ഡിഫ്യൂഷൻ മോഡലുകൾ (ഇമേജുകൾ വ്യത്യസ്തമായി പ്രവർത്തിക്കുന്നത് എന്തുകൊണ്ട്) 🎨🌀
ഡിഫ്യൂഷൻ രീതികൾ ഉപയോഗിക്കുന്നു ഹോ എറ്റ് ആൽ., 2020 , റോംബാച്ച് എറ്റ് ആൽ., 2021 ).
ഏകദേശ ആശയം:
-
ചിത്രങ്ങൾ ടിവി സ്റ്റാറ്റിക് ആകുന്നതുവരെ അവയിൽ നോയ്സ് ചേർക്കുക
-
ആ ശബ്ദം പടിപടിയായി മാറ്റാൻ ഒരു മോഡലിനെ പരിശീലിപ്പിക്കുക
-
ജനറേഷൻ സമയത്ത്, നോയ്സും "ഡെനോയിസും" ഉപയോഗിച്ച് ഒരു പ്രോംപ്റ്റ് വഴി നയിക്കപ്പെടുന്ന ഒരു ഇമേജിലേക്ക് ആരംഭിക്കുക ( ഹോ എറ്റ് ആൽ., 2020 )
അതുകൊണ്ടാണ് ഇമേജ് ജനറേഷൻ ഒരു ഫോട്ടോ "ഡെവലപ്പ്" ചെയ്യുന്നതായി തോന്നുന്നത്, പക്ഷേ ഫോട്ടോ സൂപ്പർമാർക്കറ്റ് ഇടനാഴിയിൽ സ്നീക്കേഴ്സ് ധരിച്ച ഒരു വ്യാളിയാണ് 🛒🐉
ഡിഫ്യൂഷൻ മോഡലുകൾ നല്ലതാണ് കാരണം:
-
അവ ഉയർന്ന നിലവാരമുള്ള ദൃശ്യങ്ങൾ സൃഷ്ടിക്കുന്നു
-
അവരെ വാചകം വഴി ശക്തമായി നയിക്കാൻ കഴിയും
-
അവർ ആവർത്തിച്ചുള്ള പരിഷ്കരണത്തെ പിന്തുണയ്ക്കുന്നു (വ്യതിയാനങ്ങൾ, പെയിന്റിംഗ്, അപ്സ്കെയിലിംഗ്) ( റോംബാച്ച് തുടങ്ങിയവർ, 2021 )
അവർ ചിലപ്പോൾ ഇതുമായി ബുദ്ധിമുട്ടുന്നു:
-
ചിത്രത്തിനുള്ളിൽ വാചക റെൻഡറിംഗ്
-
സൂക്ഷ്മ ശരീരഘടന വിശദാംശങ്ങൾ
-
എല്ലാ രംഗങ്ങളിലും സ്ഥിരമായ കഥാപാത്ര ഐഡന്റിറ്റി (ഇത് മെച്ചപ്പെടുന്നു, പക്ഷേ ഇപ്പോഴും)
9) സൂക്ഷ്മമായി നോക്കുക: മൾട്ടിമോഡൽ ഫൗണ്ടേഷൻ മോഡലുകൾ (ടെക്സ്റ്റ് + ഇമേജുകൾ + ഓഡിയോ) 👀🎧📝
മൾട്ടിമോഡൽ ഫൗണ്ടേഷൻ മോഡലുകൾ ഒന്നിലധികം ഡാറ്റ തരങ്ങൾ മനസ്സിലാക്കാനും സൃഷ്ടിക്കാനും ലക്ഷ്യമിടുന്നു:
-
വാചകം
-
ചിത്രങ്ങൾ
-
ഓഡിയോ
-
വീഡിയോ
-
ചിലപ്പോൾ സെൻസർ പോലുള്ള ഇൻപുട്ടുകൾ ( NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
യഥാർത്ഥ ജീവിതത്തിൽ ഇത് എന്തുകൊണ്ട് പ്രധാനമാണ്:
-
ഉപഭോക്തൃ പിന്തുണയ്ക്ക് സ്ക്രീൻഷോട്ടുകൾ വ്യാഖ്യാനിക്കാൻ കഴിയും
-
ആക്സസിബിലിറ്റി ഉപകരണങ്ങൾക്ക് ചിത്രങ്ങളെ വിവരിക്കാൻ കഴിയും
-
വിദ്യാഭ്യാസ ആപ്പുകൾക്ക് ഡയഗ്രമുകൾ വിശദീകരിക്കാൻ കഴിയും
-
സ്രഷ്ടാക്കൾക്ക് ഫോർമാറ്റുകൾ വേഗത്തിൽ റീമിക്സ് ചെയ്യാൻ കഴിയും
-
ബിസിനസ്സ് ഉപകരണങ്ങൾക്ക് ഒരു ഡാഷ്ബോർഡ് സ്ക്രീൻഷോട്ട് "വായിക്കാനും" അത് സംഗ്രഹിക്കാനും കഴിയും
മൾട്ടിമോഡൽ സിസ്റ്റങ്ങൾ പലപ്പോഴും പ്രാതിനിധ്യങ്ങളെ വിന്യസിക്കുന്നു:
-
ഒരു ചിത്രം ഉൾച്ചേർക്കലുകളാക്കി മാറ്റുക
-
വാചകം ഉൾച്ചേർക്കലുകളാക്കി മാറ്റുക
-
"cat" എന്നത് cat pixels-മായി പൊരുത്തപ്പെടുന്ന ഒരു പങ്കിട്ട ഇടം പഠിക്കുക 😺 ( Radford et al., 2021 )
ഇത് എല്ലായ്പ്പോഴും മനോഹരമായിരിക്കണമെന്നില്ല. ചിലപ്പോൾ ഇത് ഒരു പുതപ്പ് പോലെ തുന്നിച്ചേർക്കും. പക്ഷേ അത് പ്രവർത്തിക്കുന്നു.
10) ഫൈൻ-ട്യൂണിംഗ് vs പ്രോംപ്റ്റിംഗ് vs RAG (അടിസ്ഥാന മോഡൽ നിങ്ങൾ എങ്ങനെ പൊരുത്തപ്പെടുത്തുന്നു) 🧰
ഒരു പ്രത്യേക മേഖലയ്ക്ക് (നിയമം, വൈദ്യശാസ്ത്രം, ഉപഭോക്തൃ സേവനം, ആന്തരിക പരിജ്ഞാനം) ഒരു അടിസ്ഥാന മാതൃക പ്രായോഗികമാക്കാൻ നിങ്ങൾ ശ്രമിക്കുകയാണെങ്കിൽ, നിങ്ങൾക്ക് കുറച്ച് ലിവറേജുകൾ ഉണ്ട്:
പ്രോംപ്റ്റിംഗ് 🗣️
ഏറ്റവും വേഗതയേറിയതും ലളിതവും.
-
ഗുണങ്ങൾ: പരിശീലനം വേണ്ട, തൽക്ഷണ ആവർത്തനം
-
ദോഷങ്ങൾ: പൊരുത്തക്കേടുകൾ ഉണ്ടാകാം, സന്ദർഭ പരിധികൾ, പെട്ടെന്നുള്ള ദുർബലത
ഫൈൻ-ട്യൂണിംഗ് 🎯
നിങ്ങളുടെ ഉദാഹരണങ്ങളിൽ മോഡലിനെ കൂടുതൽ പരിശീലിപ്പിക്കുക.
-
ഗുണങ്ങൾ: കൂടുതൽ സ്ഥിരതയുള്ള പെരുമാറ്റം, മികച്ച ഡൊമെയ്ൻ ഭാഷ, പ്രോംപ്റ്റ് ദൈർഘ്യം കുറയ്ക്കാൻ കഴിയും
-
ദോഷങ്ങൾ: ചെലവ്, ഡാറ്റ ഗുണനിലവാര ആവശ്യകതകൾ, അമിതമായി ഫിറ്റ് ചെയ്യാനുള്ള സാധ്യത, പരിപാലനം
ലൈറ്റ്വെയ്റ്റ് ട്യൂണിംഗ് (LoRA / അഡാപ്റ്ററുകൾ) 🧩
ഫൈൻ-ട്യൂണിംഗിന്റെ കൂടുതൽ കാര്യക്ഷമമായ പതിപ്പ് ( ഹു എറ്റ് ആൽ., 2021 ).
-
ഗുണങ്ങൾ: വിലകുറഞ്ഞത്, മോഡുലാർ, എളുപ്പത്തിൽ മാറ്റാവുന്നത്
-
ദോഷങ്ങൾ: പരിശീലന പൈപ്പ്ലൈനും വിലയിരുത്തലും ഇപ്പോഴും ആവശ്യമാണ്
RAG (വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച തലമുറ) 🔎
നിങ്ങളുടെ വിജ്ഞാന അടിത്തറയിൽ നിന്ന് പ്രസക്തമായ രേഖകൾ മോഡൽ ലഭ്യമാക്കുകയും അവ ഉപയോഗിച്ച് ഉത്തരങ്ങൾ നൽകുകയും ചെയ്യുന്നു ( Lewis et al., 2020 ).
-
ഗുണങ്ങൾ: കാലികമായ അറിവ്, ആന്തരികമായി ഉദ്ധരണികൾ (നിങ്ങൾ അത് നടപ്പിലാക്കുകയാണെങ്കിൽ), കുറഞ്ഞ പുനർപരിശീലനം
-
ദോഷങ്ങൾ: വീണ്ടെടുക്കൽ ഗുണനിലവാരം അതിനെ ശക്തിപ്പെടുത്തുകയോ തകർക്കുകയോ ചെയ്യാം, നല്ല ചങ്കിംഗ് + എംബെഡിംഗുകൾ ആവശ്യമാണ്
യഥാർത്ഥ സംസാരം: നിരവധി വിജയകരമായ സിസ്റ്റങ്ങൾ പ്രോംപ്റ്റിംഗും RAG-യും സംയോജിപ്പിക്കുന്നു. ഫൈൻ-ട്യൂണിംഗ് ശക്തമാണ്, പക്ഷേ എല്ലായ്പ്പോഴും ആവശ്യമില്ല. അത് മികച്ചതായി തോന്നുന്നതിനാൽ ആളുകൾ വളരെ വേഗത്തിൽ അതിലേക്ക് തിരിയുന്നു 😅
11) അപകടസാധ്യതകൾ, പരിധികൾ, "ദയവായി ഇത് അന്ധമായി വിന്യസിക്കരുത്" എന്ന വിഭാഗം 🧯😬
ഫൗണ്ടേഷൻ മോഡലുകൾ ശക്തമാണ്, പക്ഷേ അവ പരമ്പരാഗത സോഫ്റ്റ്വെയറുകൾ പോലെ സ്ഥിരതയുള്ളവയല്ല. അവ കൂടുതൽ... ആത്മവിശ്വാസ പ്രശ്നമുള്ള കഴിവുള്ള ഒരു ഇന്റേൺ പോലെയാണ്.
ആസൂത്രണം ചെയ്യേണ്ട പ്രധാന പരിമിതികൾ:
ഭ്രമാത്മകത 🌀
മോഡലുകൾ ഇവ കണ്ടുപിടിച്ചേക്കാം:
-
വ്യാജ ഉറവിടങ്ങൾ
-
തെറ്റായ വസ്തുതകൾ
-
വിശ്വസനീയമാണെങ്കിലും തെറ്റായ ഘട്ടങ്ങൾ ( ജി എറ്റ് അൽ., 2023 )
ലഘൂകരണങ്ങൾ:
-
അടിസ്ഥാനപരമായ സന്ദർഭത്തോടുകൂടിയ RAG ( ലൂയിസ് തുടങ്ങിയവർ, 2020 )
-
കൺസ്ട്രൈന്റ് ഔട്ട്പുട്ടുകൾ (സ്കീമകൾ, ടൂൾ കോളുകൾ)
-
"ഊഹിക്കരുത്" എന്ന വ്യക്തമായ നിർദ്ദേശം
-
സ്ഥിരീകരണ പാളികൾ (നിയമങ്ങൾ, ക്രോസ്-ചെക്കുകൾ, മനുഷ്യ അവലോകനം)
പക്ഷപാതവും ദോഷകരമായ പാറ്റേണുകളും ⚠️
പരിശീലന ഡാറ്റ മനുഷ്യരെ പ്രതിഫലിപ്പിക്കുന്നതിനാൽ, നിങ്ങൾക്ക് ഇവ ലഭിക്കും:
-
സ്റ്റീരിയോടൈപ്പുകൾ
-
ഗ്രൂപ്പുകളിലുടനീളം അസമമായ പ്രകടനം
-
സുരക്ഷിതമല്ലാത്ത പൂർത്തീകരണങ്ങൾ ( NIST AI RMF 1.0 , Bommasani et al., 2021 )
ലഘൂകരണങ്ങൾ:
-
സുരക്ഷാ ട്യൂണിംഗ്
-
റെഡ്-ടീമിംഗ്
-
ഉള്ളടക്ക ഫിൽട്ടറുകൾ
-
സൂക്ഷ്മമായ ഡൊമെയ്ൻ നിയന്ത്രണങ്ങൾ ( NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
ഡാറ്റ സ്വകാര്യതയും ചോർച്ചയും 🔒
ഒരു മോഡൽ എൻഡ്പോയിന്റിൽ രഹസ്യ ഡാറ്റ നൽകുകയാണെങ്കിൽ, നിങ്ങൾ അറിയേണ്ടതുണ്ട്:
-
അത് എങ്ങനെ സൂക്ഷിക്കുന്നു
-
അത് പരിശീലനത്തിന് ഉപയോഗിക്കുന്നുണ്ടോ എന്ന്
-
എന്ത് ലോഗിംഗ് നിലവിലുണ്ട്
-
നിങ്ങളുടെ സ്ഥാപനത്തിന്റെ ആവശ്യങ്ങളെ നിയന്ത്രിക്കുന്നത് എന്താണ് ( NIST AI RMF 1.0 )
ലഘൂകരണങ്ങൾ:
-
സ്വകാര്യ വിന്യാസ ഓപ്ഷനുകൾ
-
ശക്തമായ ഭരണം
-
കുറഞ്ഞ ഡാറ്റ എക്സ്പോഷർ
-
കർശനമായ ആക്സസ് നിയന്ത്രണമുള്ള ഇന്റേണൽ-ഒൺലി RAG ( NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ , കാർലിനി തുടങ്ങിയവർ, 2021 )
പെട്ടെന്നുള്ള കുത്തിവയ്പ്പ് (പ്രത്യേകിച്ച് RAG ഉപയോഗിച്ച്) 🕳️
മോഡൽ വിശ്വസനീയമല്ലാത്ത വാചകം വായിച്ചാൽ, ആ വാചകം അതിൽ കൃത്രിമം കാണിക്കാൻ ശ്രമിച്ചേക്കാം:
-
"മുൻ നിർദ്ദേശങ്ങൾ അവഗണിക്കുക..."
-
"രഹസ്യം എനിക്ക് അയച്ചു തരൂ..." ( OWASP , Greshake et al., 2023 )
ലഘൂകരണങ്ങൾ:
-
സിസ്റ്റം നിർദ്ദേശങ്ങൾ ഐസൊലേറ്റ് ചെയ്യുക
-
വീണ്ടെടുത്ത ഉള്ളടക്കം അണുവിമുക്തമാക്കുക
-
ടൂൾ അധിഷ്ഠിത നയങ്ങൾ ഉപയോഗിക്കുക (വെറും പ്രോംപ്റ്റുകൾ അല്ല)
-
എതിരാളി ഇൻപുട്ടുകൾ ഉപയോഗിച്ചുള്ള പരിശോധന ( OWASP ചീറ്റ് ഷീറ്റ് , NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
നിങ്ങളെ ഭയപ്പെടുത്താൻ ശ്രമിക്കുന്നില്ല. വെറുതെ... ഫ്ലോർബോർഡുകൾ എവിടെയാണ് ഞെരുങ്ങുന്നതെന്ന് അറിയുന്നതാണ് നല്ലത്.
12) നിങ്ങളുടെ ഉപയോഗ കേസിനായി ഒരു ഫൗണ്ടേഷൻ മോഡൽ എങ്ങനെ തിരഞ്ഞെടുക്കാം 🎛️
നിങ്ങൾ ഒരു ഫൗണ്ടേഷൻ മോഡൽ തിരഞ്ഞെടുക്കുകയാണെങ്കിൽ (അല്ലെങ്കിൽ അതിൽ ഒന്ന് നിർമ്മിക്കുകയാണെങ്കിൽ), ഈ നിർദ്ദേശങ്ങൾ നൽകി ആരംഭിക്കുക:
നിങ്ങൾ എന്താണ് സൃഷ്ടിക്കുന്നതെന്ന് നിർവചിക്കുക 🧾
-
വാചകം മാത്രം
-
ചിത്രങ്ങൾ
-
ഓഡിയോ
-
മിക്സഡ് മൾട്ടിമോഡൽ
നിങ്ങളുടെ വസ്തുതാ ബാർ സജ്ജമാക്കുക 📌
നിങ്ങൾക്ക് ഉയർന്ന കൃത്യത ആവശ്യമുണ്ടെങ്കിൽ (ധനകാര്യം, ആരോഗ്യം, നിയമം, സുരക്ഷ):
-
നിങ്ങൾക്ക് RAG ആവശ്യമായി വരും ( ലൂയിസ് തുടങ്ങിയവർ, 2020 )
-
നിങ്ങൾക്ക് സാധൂകരണം വേണം
-
നിങ്ങൾക്ക് ലൂപ്പിൽ മനുഷ്യ അവലോകനം ആവശ്യമായി വരും (ചിലപ്പോഴെങ്കിലും) ( NIST AI RMF 1.0 )
നിങ്ങളുടെ ലേറ്റൻസി ലക്ഷ്യം തീരുമാനിക്കുക ⚡
ചാറ്റ് ഉടനടി ലഭ്യമാണ്. ബാച്ച് സംഗ്രഹം മന്ദഗതിയിലായേക്കാം.
നിങ്ങൾക്ക് തൽക്ഷണ പ്രതികരണം ആവശ്യമുണ്ടെങ്കിൽ, മോഡൽ വലുപ്പവും ഹോസ്റ്റിംഗും പ്രധാനമാണ്.
മാപ്പ് സ്വകാര്യതയും അനുസരണ ആവശ്യകതകളും 🔐
ചില ടീമുകൾക്ക് ഇവ ആവശ്യമാണ്:
-
ഓൺ-പ്രേം / VPC വിന്യാസം
-
ഡാറ്റ നിലനിർത്തൽ ഇല്ല
-
കർശനമായ ഓഡിറ്റ് ലോഗുകൾ
-
ഓരോ ഡോക്യുമെന്റിനുമുള്ള ആക്സസ് നിയന്ത്രണം ( NIST AI RMF 1.0 , NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
ബാലൻസ് ബജറ്റ് - ക്ഷമയും 😅
സ്വയം ഹോസ്റ്റിംഗ് നിയന്ത്രണം നൽകുന്നു, പക്ഷേ സങ്കീർണ്ണത വർദ്ധിപ്പിക്കുന്നു.
മാനേജ്ഡ് API-കൾ എളുപ്പമാണ്, പക്ഷേ വിലകുറവാണ്, ഇഷ്ടാനുസൃതമാക്കാൻ കഴിയാത്തതുമാണ്.
ഒരു ചെറിയ പ്രായോഗിക നുറുങ്ങ്: ആദ്യം എളുപ്പമുള്ള എന്തെങ്കിലും ഉപയോഗിച്ച് പ്രോട്ടോടൈപ്പ് ചെയ്യുക, പിന്നീട് കഠിനമാക്കുക. "തികഞ്ഞ" സജ്ജീകരണത്തിൽ നിന്ന് ആരംഭിക്കുന്നത് സാധാരണയായി എല്ലാം മന്ദഗതിയിലാക്കും.
13) ജനറേറ്റീവ് AI-യിലെ ഫൗണ്ടേഷൻ മോഡലുകൾ എന്തൊക്കെയാണ്? (ദ്രുത മാനസിക മാതൃക) 🧠✨
നമുക്ക് അത് തിരികെ കൊണ്ടുവരാം. ജനറേറ്റീവ് AI-യിലെ ഫൗണ്ടേഷൻ മോഡലുകൾ എന്തൊക്കെയാണ്?
അവർ:
-
വിശാലമായ ഡാറ്റയിൽ പരിശീലനം നേടിയ വലിയ, പൊതുവായ മോഡലുകൾ ( NIST , സ്റ്റാൻഫോർഡ് CRFM )
-
ഉള്ളടക്കം (ടെക്സ്റ്റ്, ഇമേജുകൾ, ഓഡിയോ മുതലായവ) സൃഷ്ടിക്കാൻ കഴിവുള്ള ( NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
-
പ്രോംപ്റ്റുകൾ, ഫൈൻ-ട്യൂണിംഗ്, വീണ്ടെടുക്കൽ എന്നിവയിലൂടെ നിരവധി ജോലികൾക്ക് അനുയോജ്യം ( ബൊമ്മസാനി തുടങ്ങിയവർ, 2021 )
-
മിക്ക ആധുനിക ജനറേറ്റീവ് AI ഉൽപ്പന്നങ്ങൾക്കും ശക്തി പകരുന്ന അടിസ്ഥാന പാളി
അവ ഒരൊറ്റ ആർക്കിടെക്ചറോ ബ്രാൻഡോ അല്ല. ഒരു പ്ലാറ്റ്ഫോം പോലെ പ്രവർത്തിക്കുന്ന മോഡലുകളുടെ ഒരു വിഭാഗമാണ് അവ.
ഒരു ഫൗണ്ടേഷൻ മോഡൽ ഒരു കാൽക്കുലേറ്റർ പോലെയല്ല, മറിച്ച് ഒരു അടുക്കള പോലെയാണ്. നിങ്ങൾക്ക് അതിൽ ധാരാളം ഭക്ഷണം പാകം ചെയ്യാം. നിങ്ങൾ ശ്രദ്ധിക്കുന്നില്ലെങ്കിൽ ടോസ്റ്റും കത്തിക്കാം... പക്ഷേ അടുക്കള ഇപ്പോഴും വളരെ സൗകര്യപ്രദമാണ് 🍳🔥
14) റീക്യാപ്പ്, ടേക്ക്അവേ ✅🙂
ഫൗണ്ടേഷൻ മോഡലുകൾ ജനറേറ്റീവ് AI യുടെ പുനരുപയോഗിക്കാവുന്ന എഞ്ചിനുകളാണ്. അവ വിശാലമായി പരിശീലിപ്പിക്കപ്പെടുന്നു, തുടർന്ന് പ്രോംപ്റ്റിംഗ്, ഫൈൻ-ട്യൂണിംഗ്, വീണ്ടെടുക്കൽ ( NIST , സ്റ്റാൻഫോർഡ് CRFM ) എന്നിവയിലൂടെ നിർദ്ദിഷ്ട ജോലികളുമായി പൊരുത്തപ്പെടുന്നു. അവ അതിശയകരവും, വൃത്തികെട്ടതും, ശക്തവും, ഇടയ്ക്കിടെ പരിഹാസ്യവുമാകാം - എല്ലാം ഒരേസമയം.
പുനരാഖ്യാനം:
-
ഫൗണ്ടേഷൻ മോഡൽ = ജനറൽ-പർപ്പസ് ബേസ് മോഡൽ ( NIST )
-
ജനറേറ്റീവ് AI = ഉള്ളടക്ക സൃഷ്ടി, വെറും വർഗ്ഗീകരണം അല്ല ( NIST ജനറേറ്റീവ് AI പ്രൊഫൈൽ )
-
പൊരുത്തപ്പെടുത്തൽ രീതികൾ (പ്രോംപ്റ്റിംഗ്, RAG, ട്യൂണിംഗ്) അതിനെ പ്രായോഗികമാക്കുന്നു ( ലൂയിസ് തുടങ്ങിയവർ, 2020 , ഹു തുടങ്ങിയവർ, 2021 )
-
ഒരു മോഡൽ തിരഞ്ഞെടുക്കുന്നത് പരസ്പര വ്യവഹാരങ്ങളെക്കുറിച്ചാണ്: കൃത്യത, ചെലവ്, ലേറ്റൻസി, സ്വകാര്യത, സുരക്ഷ ( NIST AI RMF 1.0 )
ജനറേറ്റീവ് AI ഉപയോഗിച്ച് എന്തെങ്കിലും നിർമ്മിക്കുകയാണെങ്കിൽ, ഫൗണ്ടേഷൻ മോഡലുകൾ മനസ്സിലാക്കുന്നത് ഓപ്ഷണലല്ല. കെട്ടിടം നിൽക്കുന്ന മുഴുവൻ നിലയും... അതെ, ചിലപ്പോൾ തറ അൽപ്പം ആടും 😅
പതിവുചോദ്യങ്ങൾ
ലളിതമായി പറഞ്ഞാൽ ഫൗണ്ടേഷൻ മോഡലുകൾ
ഒരു ഫൗണ്ടേഷൻ മോഡൽ എന്നത് വിശാലമായ ഡാറ്റയിൽ പരിശീലനം നേടിയ ഒരു വലിയ, പൊതു-ഉദ്ദേശ്യ AI മോഡലാണ്, അതിനാൽ ഇത് പല ജോലികൾക്കും വീണ്ടും ഉപയോഗിക്കാൻ കഴിയും. ഓരോ ജോലിക്കും ഒരു മോഡൽ നിർമ്മിക്കുന്നതിനുപകരം, നിങ്ങൾ ശക്തമായ ഒരു "ബേസ്" മോഡലിൽ നിന്ന് ആരംഭിച്ച് ആവശ്യാനുസരണം അത് പൊരുത്തപ്പെടുത്തുന്നു. ആ പൊരുത്തപ്പെടുത്തൽ പലപ്പോഴും പ്രോംപ്റ്റിംഗ്, ഫൈൻ-ട്യൂണിംഗ്, വീണ്ടെടുക്കൽ (RAG) അല്ലെങ്കിൽ ഉപകരണങ്ങൾ വഴിയാണ് സംഭവിക്കുന്നത്. കേന്ദ്ര ആശയം വീതിയും സ്റ്റിയറബിലിറ്റിയുമാണ്.
പരമ്പരാഗത ടാസ്ക്-നിർദ്ദിഷ്ട AI മോഡലുകളിൽ നിന്ന് അടിസ്ഥാന മോഡലുകൾ എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു
പരമ്പരാഗത AI പലപ്പോഴും ഓരോ ടാസ്ക്കിനും ഒരു പ്രത്യേക മോഡൽ പരിശീലിപ്പിക്കുന്നു, ഉദാഹരണത്തിന് വികാര വിശകലനം അല്ലെങ്കിൽ വിവർത്തനം. ഫൗണ്ടേഷൻ മോഡലുകൾ ആ പാറ്റേൺ വിപരീതമാക്കുന്നു: ഒരിക്കൽ പ്രീ-ട്രെയിൻ ചെയ്യുക, തുടർന്ന് നിരവധി സവിശേഷതകളിലും ഉൽപ്പന്നങ്ങളിലും വീണ്ടും ഉപയോഗിക്കുക. ഇത് ഡ്യൂപ്ലിക്കേറ്റ് പ്രയത്നം കുറയ്ക്കുകയും പുതിയ കഴിവുകളുടെ വിതരണം വേഗത്തിലാക്കുകയും ചെയ്യും. നിങ്ങൾ നിയന്ത്രണങ്ങളും പരിശോധനയും ചേർത്തില്ലെങ്കിൽ അവ ക്ലാസിക് സോഫ്റ്റ്വെയറിനേക്കാൾ പ്രവചിക്കാൻ കഴിയാത്തതായിരിക്കും എന്നതാണ് ഇതിന്റെ ഒരു വിപരീതഫലം.
ജനറേറ്റീവ് AI-യിലെ ഫൗണ്ടേഷൻ മോഡലുകൾ
ജനറേറ്റീവ് AI-യിൽ, ടെക്സ്റ്റ്, ഇമേജുകൾ, ഓഡിയോ, കോഡ്, മൾട്ടിമോഡൽ ഔട്ട്പുട്ടുകൾ പോലുള്ള പുതിയ ഉള്ളടക്കം നിർമ്മിക്കാൻ കഴിയുന്ന അടിസ്ഥാന സിസ്റ്റങ്ങളാണ് ഫൗണ്ടേഷൻ മോഡലുകൾ. അവ ലേബലിംഗിലോ വർഗ്ഗീകരണത്തിലോ മാത്രമായി പരിമിതപ്പെടുത്തിയിട്ടില്ല; അവ മനുഷ്യനിർമ്മിത സൃഷ്ടിയോട് സാമ്യമുള്ള പ്രതികരണങ്ങൾ സൃഷ്ടിക്കുന്നു. പ്രീ-ട്രെയിനിംഗ് സമയത്ത് അവർ വിശാലമായ പാറ്റേണുകൾ പഠിക്കുന്നതിനാൽ, അവർക്ക് നിരവധി പ്രോംപ്റ്റ് തരങ്ങളും ഫോർമാറ്റുകളും കൈകാര്യം ചെയ്യാൻ കഴിയും. മിക്ക ആധുനിക ജനറേറ്റീവ് അനുഭവങ്ങളുടെയും പിന്നിലെ "അടിസ്ഥാന പാളി" അവയാണ്.
പ്രീട്രെയിനിംഗ് സമയത്ത് ഫൗണ്ടേഷൻ മോഡലുകൾ എങ്ങനെ പഠിക്കുന്നു
മിക്ക ഭാഷാ അടിസ്ഥാന മോഡലുകളും അടുത്ത വാക്ക് അല്ലെങ്കിൽ വാചകത്തിലെ വിട്ടുപോയ വാക്കുകൾ പോലുള്ള ടോക്കണുകൾ പ്രവചിച്ചുകൊണ്ടാണ് പഠിക്കുന്നത്. ആ ലളിതമായ ലക്ഷ്യം വ്യാകരണം, ശൈലി, വിശദീകരണത്തിന്റെ പൊതുവായ പാറ്റേണുകൾ തുടങ്ങിയ ഘടനയെ ആന്തരികമാക്കാൻ അവരെ പ്രേരിപ്പിക്കുന്നു. എല്ലായ്പ്പോഴും വിശ്വസനീയമല്ലെങ്കിലും അവയ്ക്ക് ലോകവിജ്ഞാനത്തിന്റെ വലിയൊരു ഭാഗം ആഗിരണം ചെയ്യാനും കഴിയും. ഫലം ശക്തമായ ഒരു പൊതു പ്രാതിനിധ്യമാണ്, നിങ്ങൾക്ക് പിന്നീട് നിർദ്ദിഷ്ട ജോലിയിലേക്ക് നയിക്കാൻ കഴിയും.
പ്രോംപ്റ്റിംഗ്, ഫൈൻ-ട്യൂണിംഗ്, LoRA, RAG എന്നിവ തമ്മിലുള്ള വ്യത്യാസം
നിർദ്ദേശങ്ങൾ ഉപയോഗിച്ച് പെരുമാറ്റം നിയന്ത്രിക്കാനുള്ള ഏറ്റവും വേഗതയേറിയ മാർഗമാണ് പ്രോംപ്റ്റിംഗ്, പക്ഷേ അത് ദുർബലമായിരിക്കും. കൂടുതൽ സ്ഥിരതയുള്ള പെരുമാറ്റത്തിനായി നിങ്ങളുടെ ഉദാഹരണങ്ങളിൽ ഫൈൻ-ട്യൂണിംഗ് മോഡലിനെ കൂടുതൽ പരിശീലിപ്പിക്കുന്നു, പക്ഷേ ഇത് ചെലവും പരിപാലനവും ചേർക്കുന്നു. പലപ്പോഴും വിലകുറഞ്ഞതും കൂടുതൽ മോഡുലാർ ആയതുമായ ഒരു ഭാരം കുറഞ്ഞ ഫൈൻ-ട്യൂണിംഗ് സമീപനമാണ് LoRA/അഡാപ്റ്ററുകൾ. RAG പ്രസക്തമായ രേഖകൾ വീണ്ടെടുക്കുകയും ആ സന്ദർഭം ഉപയോഗിച്ച് മോഡൽ ഉത്തരം നൽകുകയും ചെയ്യുന്നു, ഇത് പുതുമയും ഗ്രൗണ്ടിംഗും സഹായിക്കുന്നു.
ഫൈൻ-ട്യൂണിംഗിന് പകരം എപ്പോൾ RAG ഉപയോഗിക്കണം
നിങ്ങളുടെ നിലവിലുള്ള പ്രമാണങ്ങളിലോ ആന്തരിക വിജ്ഞാന അടിത്തറയിലോ അധിഷ്ഠിതമായ ഉത്തരങ്ങൾ ആവശ്യമുള്ളപ്പോൾ RAG പലപ്പോഴും ഒരു ശക്തമായ തിരഞ്ഞെടുപ്പാണ്. ജനറേഷൻ സമയത്ത് മോഡലിന് പ്രസക്തമായ സന്ദർഭം നൽകുന്നതിലൂടെ ഇത് "ഊഹിക്കൽ" കുറയ്ക്കാൻ കഴിയും. പ്രോംപ്റ്റിംഗിന് വിശ്വസനീയമായി സൃഷ്ടിക്കാൻ കഴിയാത്ത സ്ഥിരതയുള്ള ശൈലി, ഡൊമെയ്ൻ പദസമുച്ചയം അല്ലെങ്കിൽ പെരുമാറ്റം ആവശ്യമുള്ളപ്പോൾ ഫൈൻ-ട്യൂണിംഗ് കൂടുതൽ അനുയോജ്യമാണ്. ഫൈൻ-ട്യൂണിംഗിനായി എത്തുന്നതിന് മുമ്പ് പല പ്രായോഗിക സിസ്റ്റങ്ങളും പ്രോംപ്റ്റിംഗ് + RAG സംയോജിപ്പിക്കുന്നു.
ഭ്രമാത്മകത എങ്ങനെ കുറയ്ക്കാം, കൂടുതൽ വിശ്വസനീയമായ ഉത്തരങ്ങൾ എങ്ങനെ നേടാം
നൽകിയിരിക്കുന്ന സന്ദർഭത്തിന് അടുത്തായി മോഡൽ റിട്രീവൽ (RAG) ഉപയോഗിച്ച് ഗ്രൗണ്ട് ചെയ്യുക എന്നതാണ് ഒരു പൊതു സമീപനം. സ്കീമകൾ ഉപയോഗിച്ച് ഔട്ട്പുട്ടുകൾ നിയന്ത്രിക്കാനും, പ്രധാന ഘട്ടങ്ങൾക്കായി ടൂൾ കോളുകൾ ആവശ്യപ്പെടാനും, വ്യക്തമായ "ഊഹിക്കരുത്" നിർദ്ദേശങ്ങൾ ചേർക്കാനും കഴിയും. റൂൾ ചെക്കുകൾ, ക്രോസ്-ചെക്കിംഗ്, ഉയർന്ന സ്റ്റേക്ക് ഉപയോഗ കേസുകൾക്കുള്ള മനുഷ്യ അവലോകനം എന്നിവ പോലെ വെരിഫിക്കേഷൻ ലെയറുകളും പ്രധാനമാണ്. സ്ഥിരസ്ഥിതിയായി സത്യത്തിന്റെ ഉറവിടമായിട്ടല്ല, ഒരു പ്രോബബിലിസ്റ്റിക് സഹായിയായി മോഡലിനെ പരിഗണിക്കുക.
ഉൽപ്പാദനത്തിൽ ഫൗണ്ടേഷൻ മോഡലുകളുടെ ഏറ്റവും വലിയ അപകടസാധ്യതകൾ
ഭ്രമാത്മകത, പരിശീലന ഡാറ്റയിൽ നിന്നുള്ള പക്ഷപാതപരമോ ദോഷകരമോ ആയ പാറ്റേണുകൾ, സെൻസിറ്റീവ് ഡാറ്റ മോശമായി കൈകാര്യം ചെയ്താൽ സ്വകാര്യത ചോർച്ച എന്നിവ സാധാരണ അപകടസാധ്യതകളിൽ ഉൾപ്പെടുന്നു. ഡോക്യുമെന്റുകളിൽ നിന്നോ വെബ് ഉള്ളടക്കത്തിൽ നിന്നോ വിശ്വസനീയമല്ലാത്ത വാചകം മോഡൽ വായിക്കുമ്പോൾ, സിസ്റ്റങ്ങൾ പ്രോംപ്റ്റ് ഇൻജക്ഷന് ഇരയാകാനും സാധ്യതയുണ്ട്. ലഘൂകരണങ്ങളിൽ സാധാരണയായി ഗവേണൻസ്, റെഡ്-ടീമിംഗ്, ആക്സസ് നിയന്ത്രണങ്ങൾ, സുരക്ഷിതമായ പ്രോംപ്റ്റിംഗ് പാറ്റേണുകൾ, ഘടനാപരമായ വിലയിരുത്തൽ എന്നിവ ഉൾപ്പെടുന്നു. പിന്നീട് പാച്ച് ചെയ്യുന്നതിനുപകരം ഈ അപകടസാധ്യതകൾക്കായി നേരത്തെ ആസൂത്രണം ചെയ്യുക.
വേഗത്തിലുള്ള കുത്തിവയ്പ്പും RAG സിസ്റ്റങ്ങളിൽ അത് എന്തുകൊണ്ട് പ്രധാനമാണ്
വിശ്വസനീയമല്ലാത്ത ടെക്സ്റ്റ് "മുൻ നിർദ്ദേശങ്ങൾ അവഗണിക്കുക" അല്ലെങ്കിൽ "രഹസ്യങ്ങൾ വെളിപ്പെടുത്തുക" പോലുള്ള നിർദ്ദേശങ്ങൾ മറികടക്കാൻ ശ്രമിക്കുമ്പോഴാണ് പ്രോംപ്റ്റ് ഇൻജക്ഷൻ എന്ന് വിളിക്കുന്നത്. RAG-ൽ, വീണ്ടെടുക്കപ്പെട്ട പ്രമാണങ്ങളിൽ ആ ക്ഷുദ്ര നിർദ്ദേശങ്ങൾ അടങ്ങിയിരിക്കാം, നിങ്ങൾ ശ്രദ്ധിച്ചില്ലെങ്കിൽ മോഡൽ അവ പിന്തുടർന്നേക്കാം. സിസ്റ്റം നിർദ്ദേശങ്ങൾ ഒറ്റപ്പെടുത്തുക, വീണ്ടെടുക്കപ്പെട്ട ഉള്ളടക്കം ശുദ്ധീകരിക്കുക, പ്രോംപ്റ്റുകൾ മാത്രം ഉപയോഗിക്കുന്നതിനുപകരം ടൂൾ അധിഷ്ഠിത നയങ്ങളെ ആശ്രയിക്കുക എന്നിവയാണ് പൊതുവായ സമീപനം. എതിരാളി ഇൻപുട്ടുകൾ ഉപയോഗിച്ച് പരിശോധിക്കുന്നത് ബലഹീനതകൾ വെളിപ്പെടുത്താൻ സഹായിക്കുന്നു.
നിങ്ങളുടെ ഉപയോഗ കേസിനായി ഒരു ഫൗണ്ടേഷൻ മോഡൽ എങ്ങനെ തിരഞ്ഞെടുക്കാം
നിങ്ങൾക്ക് എന്താണ് ജനറേറ്റ് ചെയ്യേണ്ടതെന്ന് നിർവചിച്ചുകൊണ്ട് ആരംഭിക്കുക: ടെക്സ്റ്റ്, ഇമേജുകൾ, ഓഡിയോ, കോഡ്, അല്ലെങ്കിൽ മൾട്ടിമോഡൽ ഔട്ട്പുട്ടുകൾ. തുടർന്ന് നിങ്ങളുടെ വസ്തുതാ ബാർ സജ്ജമാക്കുക - ഉയർന്ന കൃത്യതയുള്ള ഡൊമെയ്നുകൾക്ക് പലപ്പോഴും ഗ്രൗണ്ടിംഗ് (RAG), മൂല്യനിർണ്ണയം, ചിലപ്പോൾ മനുഷ്യ അവലോകനം എന്നിവ ആവശ്യമാണ്. ലേറ്റൻസിയും ചെലവും പരിഗണിക്കുക, കാരണം വേഗത കുറഞ്ഞതോ ചെലവേറിയതോ ആയ ശക്തമായ ഒരു മോഡൽ ഷിപ്പ് ചെയ്യാൻ പ്രയാസമായിരിക്കും. അവസാനമായി, മാപ്പ് സ്വകാര്യതയും അനുസരണവും വിന്യാസ ഓപ്ഷനുകൾക്കും നിയന്ത്രണങ്ങൾക്കും ആവശ്യമാണ്.
അവലംബം
-
നാഷണൽ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് സ്റ്റാൻഡേർഡ്സ് ആൻഡ് ടെക്നോളജി (NIST) - ഫൗണ്ടേഷൻ മോഡൽ (ഗ്ലോസറി ടേം) - csrc.nist.gov
-
നാഷണൽ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് സ്റ്റാൻഡേർഡ്സ് ആൻഡ് ടെക്നോളജി (NIST) - NIST AI 600-1: ജനറേറ്റീവ് AI പ്രൊഫൈൽ - nvlpubs.nist.gov
-
നാഷണൽ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് സ്റ്റാൻഡേർഡ്സ് ആൻഡ് ടെക്നോളജി (NIST) - NIST AI 100-1: AI റിസ്ക് മാനേജ്മെന്റ് ഫ്രെയിംവർക്ക് (AI RMF 1.0) - nvlpubs.nist.gov
-
സ്റ്റാൻഫോർഡ് സെന്റർ ഫോർ റിസർച്ച് ഓൺ ഫൗണ്ടേഷൻ മോഡൽസ് (CRFM) - റിപ്പോർട്ട് - crfm.stanford.edu
-
arXiv - ഫൗണ്ടേഷൻ മോഡലുകളുടെ അവസരങ്ങളെയും അപകടങ്ങളെയും കുറിച്ച് (ബൊമ്മസാനി et al., 2021) - arxiv.org
-
arXiv - ഭാഷാ മോഡലുകൾ വളരെ കുറച്ച് മാത്രമേ പഠിതാക്കളാകൂ (ബ്രൗൺ തുടങ്ങിയവർ, 2020) - arxiv.org
-
arXiv - വിജ്ഞാന-തീവ്രമായ NLP ടാസ്ക്കുകൾക്കായുള്ള വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച തലമുറ (ലൂയിസ് തുടങ്ങിയവർ, 2020) - arxiv.org
-
arXiv - LoRA: വലിയ ഭാഷാ മോഡലുകളുടെ താഴ്ന്ന റാങ്ക് അഡാപ്റ്റേഷൻ (Hu et al., 2021) - arxiv.org
-
arXiv - BERT: ഭാഷാ ധാരണയ്ക്കുള്ള ഡീപ് ബൈഡയറക്ഷണൽ ട്രാൻസ്ഫോർമറുകളുടെ പ്രീ-ട്രെയിനിംഗ് (Devlin et al., 2018) - arxiv.org
-
arXiv - ഫൈൻട്യൂൺഡ് ലാംഗ്വേജ് മോഡലുകൾ സീറോ-ഷോട്ട് പഠിതാക്കളാണ് (വെയ് തുടങ്ങിയവർ, 2021) - arxiv.org
-
എസിഎം ഡിജിറ്റൽ ലൈബ്രറി - സ്വാഭാവിക ഭാഷാ തലമുറയിലെ ഭ്രമാത്മകതയുടെ സർവേ (ജി തുടങ്ങിയവർ, 2023) - dl.acm.org
-
arXiv - നാച്ചുറൽ ലാംഗ്വേജ് സൂപ്പർവിഷനിൽ നിന്ന് കൈമാറ്റം ചെയ്യാവുന്ന ദൃശ്യ മാതൃകകൾ പഠിക്കൽ (റാഡ്ഫോർഡ് തുടങ്ങിയവർ, 2021) - arxiv.org
-
arXiv - ഡിനോയിസിംഗ് ഡിഫ്യൂഷൻ പ്രോബബിലിസ്റ്റിക് മോഡലുകൾ (ഹോ et al., 2020) - arxiv.org
-
arXiv - ലാറ്റന്റ് ഡിഫ്യൂഷൻ മോഡലുകളുള്ള ഹൈ-റെസല്യൂഷൻ ഇമേജ് സിന്തസിസ് (റോംബാച്ച് തുടങ്ങിയവർ, 2021) - arxiv.org
-
arXiv - ഓപ്പൺ-ഡൊമെയ്ൻ ചോദ്യ ഉത്തരത്തിനുള്ള ഡെൻസ് പാസേജ് വീണ്ടെടുക്കൽ (കർപുഖിൻ തുടങ്ങിയവർ, 2020) - arxiv.org
-
arXiv - ദി ഫൈസ് ലൈബ്രറി (Douze et al., 2024) - arxiv.org
-
ഓപ്പൺഎഐ - വിസ്പർ അവതരിപ്പിക്കുന്നു - openai.com
-
arXiv - മെൽ സ്പെക്ട്രോഗ്രാം പ്രവചനങ്ങളിൽ കണ്ടീഷനിംഗ് വേവ്നെറ്റിന്റെ സ്വാഭാവിക ടിടിഎസ് സിന്തസിസ് (ഷെൻ തുടങ്ങിയവർ, 2017) - arxiv.org
-
ജോർജ്ജ്ടൗൺ യൂണിവേഴ്സിറ്റിയിലെ സെക്യൂരിറ്റി ആൻഡ് എമർജിംഗ് ടെക്നോളജി (CSET) - അടുത്ത വാക്ക് പ്രവചനത്തിന്റെ അത്ഭുതകരമായ ശക്തി: വലിയ ഭാഷാ മോഡലുകളുടെ വിശദീകരണം (ഭാഗം 1) - CSET.georgetown.edu
-
USENIX - വലിയ ഭാഷാ മോഡലുകളിൽ നിന്ന് പരിശീലന ഡാറ്റ വേർതിരിച്ചെടുക്കുന്നു (കാർലിനി തുടങ്ങിയവർ, 2021) - usenix.org
-
OWASP - LLM01: പ്രോംപ്റ്റ് ഇഞ്ചക്ഷൻ - genai.owasp.org
-
arXiv - നിങ്ങൾ ആവശ്യപ്പെട്ടതിലും കൂടുതൽ: ആപ്ലിക്കേഷൻ-ഇന്റഗ്രേറ്റഡ് ലാർജ് ലാംഗ്വേജ് മോഡലുകൾക്കുള്ള നോവൽ പ്രോംപ്റ്റ് ഇഞ്ചക്ഷൻ ഭീഷണികളുടെ സമഗ്ര വിശകലനം (ഗ്രേഷേക്ക് തുടങ്ങിയവർ, 2023) - arxiv.org
-
OWASP ചീറ്റ് ഷീറ്റ് സീരീസ് - LLM പ്രോംപ്റ്റ് ഇഞ്ചക്ഷൻ പ്രിവൻഷൻ ചീറ്റ് ഷീറ്റ് - cheatsheetseries.owasp.org