AI പ്രീപ്രോസസിംഗ് എന്താണ്? [വീഡിയോയും ക്വിസും]

ചുരുക്ക ഉത്തരം: AI പ്രീപ്രൊസസ്സിംഗ് എന്നത് ആവർത്തിക്കാവുന്ന ഘട്ടങ്ങളുടെ ഒരു കൂട്ടമാണ്, ഇത് അസംസ്കൃത, ഉയർന്ന വേരിയൻസ് ഡാറ്റയെ ക്ലീനിംഗ്, എൻകോഡിംഗ്, സ്കെയിലിംഗ്, ടോക്കണൈസിംഗ്, ഇമേജ് ട്രാൻസ്ഫോർമുകൾ എന്നിവയുൾപ്പെടെ സ്ഥിരമായ മോഡൽ ഇൻപുട്ടുകളാക്കി മാറ്റുന്നു. പരിശീലന ഇൻപുട്ടുകളും പ്രൊഡക്ഷൻ ഇൻപുട്ടുകളും വ്യത്യസ്തമാണെങ്കിൽ, മോഡലുകൾ നിശബ്ദമായി പരാജയപ്പെടാൻ സാധ്യതയുള്ളതിനാൽ ഇത് പ്രധാനമാണ്. ഒരു ഘട്ടം പാരാമീറ്ററുകൾ "പഠിക്കുകയാണെങ്കിൽ", ചോർച്ച ഒഴിവാക്കാൻ അത് പരിശീലന ഡാറ്റയിൽ മാത്രം ഘടിപ്പിക്കുക.

പരിശീലനത്തിനോ അനുമാനത്തിനോ മുമ്പും (ചിലപ്പോൾ) ഒരു മോഡലിന് അതിൽ നിന്ന് പഠിക്കാൻ കഴിയുന്ന തരത്തിൽ ഡാറ്റ അസംസ്കൃതമാക്കുന്നതിന് നിങ്ങൾ ചെയ്യുന്നതെല്ലാം AI പ്രീപ്രൊസസ്സിംഗ് ആണ്. ഇത് ക്ലീനിംഗ്, ഷേപ്പ് ചെയ്യൽ, സ്കെയിലിംഗ്, എൻകോഡിംഗ്, ഓഗ്മെന്റിംഗ്, പാക്കേജിംഗ് എന്നിവയാണ്, ഇത് പിന്നീട് നിങ്ങളുടെ മോഡലിനെ നിശബ്ദമായി ട്രിപ്പുചെയ്യില്ല. [1]

പ്രധാന കാര്യങ്ങൾ:

നിർവചനം: പ്രീപ്രോസസിംഗ് റോ ടേബിളുകൾ, ടെക്സ്റ്റ്, ഇമേജുകൾ, ലോഗുകൾ എന്നിവ മോഡൽ-റെഡി സവിശേഷതകളാക്കി മാറ്റുന്നു.

സ്ഥിരത: പൊരുത്തക്കേടുകൾ തടയുന്നതിന് പരിശീലനത്തിലും അനുമാനത്തിലും ഒരേ പരിവർത്തനങ്ങൾ പ്രയോഗിക്കുക.

ചോർച്ച: പരിശീലന ഡാറ്റയിൽ മാത്രം സ്കെയിലറുകൾ, എൻകോഡറുകൾ, ടോക്കണൈസറുകൾ എന്നിവ ഘടിപ്പിക്കുക.

പുനരുൽപാദനക്ഷമത: അഡ്-ഹോക്ക് നോട്ട്ബുക്ക് സെൽ സീക്വൻസുകളല്ല, പരിശോധിക്കാവുന്ന സ്ഥിതിവിവരക്കണക്കുകൾ ഉപയോഗിച്ച് പൈപ്പ്‌ലൈനുകൾ നിർമ്മിക്കുക.

പ്രൊഡക്ഷൻ മോണിറ്ററിംഗ്: ഇൻപുട്ടുകൾ പ്രകടനത്തെ ക്രമേണ നശിപ്പിക്കാതിരിക്കാൻ സ്ക്യൂ, ഡ്രിഫ്റ്റ് എന്നിവ ട്രാക്ക് ചെയ്യുക.

ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:

🔗 യഥാർത്ഥ പ്രകടനത്തിനായി AI മോഡലുകൾ എങ്ങനെ പരീക്ഷിക്കാം
കൃത്യത, കരുത്ത്, പക്ഷപാതം എന്നിവ വേഗത്തിൽ വിലയിരുത്തുന്നതിനുള്ള പ്രായോഗിക രീതികൾ.

🔗 ടെക്സ്റ്റ്-ടു-സ്പീച്ച് AI ആണോ, അത് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?
ടിടിഎസിന്റെ അടിസ്ഥാനകാര്യങ്ങൾ, പ്രധാന ഉപയോഗങ്ങൾ, ഇന്നത്തെ പൊതുവായ പരിമിതികൾ എന്നിവ വിശദീകരിക്കുന്നു.

🔗 ഇന്ന് AI-ക്ക് വക്രതയുള്ള കൈയക്ഷരം കൃത്യമായി വായിക്കാൻ കഴിയുമോ?
തിരിച്ചറിയൽ വെല്ലുവിളികൾ, മികച്ച ഉപകരണങ്ങൾ, കൃത്യത നുറുങ്ങുകൾ എന്നിവ ഉൾക്കൊള്ളുന്നു.

🔗 സാധാരണ ജോലികളിൽ AI എത്രത്തോളം കൃത്യമാണ്
കൃത്യത ഘടകങ്ങൾ, ബെഞ്ച്മാർക്കുകൾ, യഥാർത്ഥ ലോകത്തിലെ വിശ്വാസ്യത എന്നിവ തകർക്കുന്നു.

ലളിതമായ ഭാഷയിൽ AI പ്രീപ്രോസസിംഗ് (അത് എന്തല്ലാത്തത്) 🤝

റോ ഇൻപുട്ടുകളെ (ടേബിളുകൾ, ടെക്സ്റ്റ്, ഇമേജുകൾ, ലോഗുകൾ) മോഡൽ-റെഡി ഫീച്ചറുകളാക്കി മാറ്റുന്നതാണ് AI പ്രീപ്രൊസസ്സിംഗ് . റോ ഡാറ്റ ഒരു കുഴപ്പമുള്ള ഗാരേജാണെങ്കിൽ, പ്രീപ്രൊസസ്സിംഗ് എന്നാൽ ബോക്സുകൾ ലേബൽ ചെയ്യുക, തകർന്ന ജങ്ക് വലിച്ചെറിയുക, സാധനങ്ങൾ അടുക്കി വയ്ക്കുക എന്നിവയാണ്, അങ്ങനെ നിങ്ങൾക്ക് പരിക്കേൽക്കാതെ നടക്കാൻ കഴിയും

അത് മാതൃകയല്ല. മാതൃക സാധ്യമാക്കുന്ന ഘടകങ്ങളാണ്:

• വിഭാഗങ്ങളെ സംഖ്യകളാക്കി മാറ്റുന്നു (വൺ-ഹോട്ട്, ഓർഡിനൽ, മുതലായവ) [1]

• വലിയ സംഖ്യാ ശ്രേണികളെ ന്യായമായ ശ്രേണികളായി സ്കെയിൽ ചെയ്യുന്നു (സ്റ്റാൻഡേർഡൈസേഷൻ, മിൻ-മാക്സ്, മുതലായവ) [1]

• ഇൻപുട്ട് ഐഡികളിലേക്ക് വാചകം ടോക്കണൈസ് ചെയ്യുന്നു (സാധാരണയായി ഒരു ശ്രദ്ധാ മാസ്കും) [3]

• ചിത്രങ്ങളുടെ വലുപ്പം മാറ്റുക/ക്രോപ്പ് ചെയ്യുക, ഡിറ്റർമിനിസ്റ്റിക് vs റാൻഡം ട്രാൻസ്ഫോമുകൾ ഉചിതമായി പ്രയോഗിക്കുക [4]

• പരിശീലനവും "യഥാർത്ഥ ജീവിത" ഇൻപുട്ടുകളും സൂക്ഷ്മമായ രീതിയിൽ വ്യത്യാസപ്പെടാതിരിക്കാൻ ആവർത്തിക്കാവുന്ന പൈപ്പ്‌ലൈനുകൾ നിർമ്മിക്കുന്നു [2]

ഒരു ചെറിയ പ്രായോഗിക കുറിപ്പ്: മോഡൽ ഇൻപുട്ട് കാണുന്നതിന് മുമ്പ് സ്ഥിരമായി സംഭവിക്കുന്നതെല്ലാം. ചില ടീമുകൾ ഇതിനെ “ഫീച്ചർ എഞ്ചിനീയറിംഗ്” vs “ഡാറ്റ ക്ലീനിംഗ്” എന്നിങ്ങനെ വിഭജിക്കുന്നു, എന്നാൽ യഥാർത്ഥ ജീവിതത്തിൽ ആ വരികൾ മങ്ങുന്നു. 

ആളുകൾ സമ്മതിക്കുന്നതിനേക്കാൾ AI പ്രീപ്രോസസിംഗ് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട് 😬

ഒരു മോഡൽ മനസ്സ് വായിക്കുന്ന ആളല്ല, മറിച്ച് പാറ്റേൺ മാച്ചർ ആണ്. നിങ്ങളുടെ അഭിപ്രായങ്ങൾ പൊരുത്തമില്ലാത്തതാണെങ്കിൽ, മോഡൽ പൊരുത്തമില്ലാത്ത നിയമങ്ങൾ പഠിക്കുന്നു. അത് തത്വശാസ്ത്രപരമല്ല, അത് അക്ഷരാർത്ഥത്തിൽ വേദനാജനകമാണ്.

പ്രീപ്രോസസ്സിംഗ് നിങ്ങളെ സഹായിക്കുന്നു:

• പഠന സ്ഥിരത മെച്ചപ്പെടുത്തുക (പ്രത്യേകിച്ച് സ്കെയിലിംഗ്/എൻകോഡിംഗ് ഉൾപ്പെടുമ്പോൾ). [1]

• വിചിത്രമായ പുരാവസ്തുക്കൾ മനഃപാഠമാക്കുന്നതിനുപകരം, ഒരു മോഡലിന് സാമാന്യവൽക്കരിക്കാൻ കഴിയുന്ന ഒന്നായി തോന്നിപ്പിക്കുന്ന തരത്തിൽ, കുഴപ്പം പിടിച്ച യാഥാർത്ഥ്യത്തെ അവതരിപ്പിച്ചുകൊണ്ട് ശബ്ദം കുറയ്ക്കുക

• ചോർച്ച, ട്രെയിൻ/സെർവ് പൊരുത്തക്കേടുകൾ (വാലിഡേഷനിൽ "അതിശയകരമായി" തോന്നുകയും പിന്നീട് ഉൽപ്പാദനത്തിൽ ഫെയ്‌സ്പ്ലാന്റുകൾ ഉണ്ടാക്കുകയും ചെയ്യുന്ന തരം) പോലുള്ള നിശബ്ദ പരാജയ മോഡുകൾ തടയുക . [2]

• ആവർത്തനം വേഗത്തിലാക്കുക, കാരണം ആവർത്തിക്കാവുന്ന പരിവർത്തനങ്ങൾ ആഴ്ചയിലെ എല്ലാ ദിവസവും നോട്ട്ബുക്ക് സ്പാഗെട്ടിയെ മറികടക്കുന്നു.

കൂടാതെ, ധാരാളം “മോഡൽ പ്രകടനങ്ങൾ” യഥാർത്ഥത്തിൽ വരുന്നത് ഇവിടെ നിന്നാണ്. അങ്ങനെ... അതിശയകരമെന്നു പറയട്ടെ, ഒരുപാട്. ചിലപ്പോൾ അത് അന്യായമായി തോന്നും, പക്ഷേ അതാണ് യാഥാർത്ഥ്യം 🙃

ഒരു നല്ല AI പ്രീപ്രോസസിംഗ് പൈപ്പ്‌ലൈനിനെ സൃഷ്ടിക്കുന്നത് എന്താണ് ✅

പ്രീപ്രോസസിംഗിന്റെ ഒരു "നല്ല പതിപ്പിന്" സാധാരണയായി ഈ ഗുണങ്ങളുണ്ട്:

• പുനരുൽപ്പാദിപ്പിക്കാവുന്നത്: ഒരേ ഇൻപുട്ട് → ഒരേ ഔട്ട്‌പുട്ട് (മനഃപൂർവ്വമായ വർദ്ധനവ് ഒഴികെ നിഗൂഢമായ ക്രമരഹിതതയില്ല).

• ട്രെയിൻ-സെർവിംഗ് സ്ഥിരത: പരിശീലന സമയത്ത് നിങ്ങൾ ചെയ്യുന്നതെല്ലാം അനുമാന സമയത്ത് അതേ രീതിയിൽ പ്രയോഗിക്കുന്നു (അതേ ഘടിപ്പിച്ച പാരാമീറ്ററുകൾ, അതേ വിഭാഗ മാപ്പുകൾ, അതേ ടോക്കണൈസർ കോൺഫിഗറേഷൻ മുതലായവ). [2]

• ചോർച്ച സുരക്ഷിതം: മൂല്യനിർണ്ണയത്തിലെയോ പരിശോധനയിലെയോ ഒന്നും തന്നെ ഏതെങ്കിലും ഫിറ്റ് ഘട്ടത്തെ സ്വാധീനിക്കുന്നില്ല. (ഈ കെണിയെക്കുറിച്ച് കുറച്ചുകൂടി വിശദമായി.) [2]

• നിരീക്ഷിക്കാവുന്നത്: എന്താണ് മാറിയതെന്ന് നിങ്ങൾക്ക് പരിശോധിക്കാൻ കഴിയും (സവിശേഷത സ്ഥിതിവിവരക്കണക്കുകൾ, നഷ്ടം, വിഭാഗങ്ങളുടെ എണ്ണം) അതിനാൽ ഡീബഗ്ഗിംഗ് വൈബ്സ് അടിസ്ഥാനമാക്കിയുള്ള എഞ്ചിനീയറിംഗ് അല്ല.

നിങ്ങളുടെ പ്രീപ്രോസസ്സിംഗ് final_v7_really_final_ok എന്ന നോട്ട്ബുക്ക് സെല്ലുകളുടെ ഒരു കൂമ്പാരമാണെങ്കിൽ ... അത് എങ്ങനെയാണെന്ന് നിങ്ങൾക്കറിയാം. അത് പ്രവർത്തിക്കുന്നത് വരെ അത് പ്രവർത്തിക്കും 😬

AI പ്രീപ്രോസസ്സിംഗിന്റെ പ്രധാന നിർമ്മാണ ബ്ലോക്കുകൾ 🧱

ഒരു പൈപ്പ്‌ലൈനിലേക്ക് നിങ്ങൾ സംയോജിപ്പിക്കുന്ന ഒരു കൂട്ടം ബിൽഡിംഗ് ബ്ലോക്കുകളായി പ്രീപ്രൊസസ്സിംഗിനെക്കുറിച്ച് ചിന്തിക്കുക.

1) വൃത്തിയാക്കലും സാധൂകരണവും 🧼

സാധാരണ ജോലികൾ:

• തനിപ്പകർപ്പുകൾ നീക്കം ചെയ്യുക

• വിട്ടുപോയ മൂല്യങ്ങൾ കൈകാര്യം ചെയ്യുക (വിട്ടുപോകുക, ആരോപിക്കുക, അല്ലെങ്കിൽ വിട്ടുപോയത് വ്യക്തമായി പ്രതിനിധീകരിക്കുക)

• തരങ്ങൾ, യൂണിറ്റുകൾ, ശ്രേണികൾ എന്നിവ നടപ്പിലാക്കുക

• തെറ്റായ ഇൻപുട്ടുകൾ കണ്ടെത്തുക

• ടെക്സ്റ്റ് ഫോർമാറ്റുകൾ സ്റ്റാൻഡേർഡ് ചെയ്യുക (വൈറ്റ്‌സ്‌പെയ്‌സ്, കേസിംഗ് നിയമങ്ങൾ, യൂണിക്കോഡ് സവിശേഷതകൾ)

ഈ ഭാഗം അത്ര ഗ്ലാമറസല്ല, പക്ഷേ വളരെ മണ്ടത്തരങ്ങൾ ഒഴിവാക്കുന്നു. ഞാൻ അത് സ്നേഹത്തോടെ പറയുന്നു.

2) വർഗ്ഗീകരണ ഡാറ്റ എൻകോഡ് ചെയ്യുന്നു 🔤

മിക്ക മോഡലുകൾക്കും "red" അല്ലെങ്കിൽ "premium_user" പോലുള്ള റോ സ്ട്രിംഗുകൾ നേരിട്ട് ഉപയോഗിക്കാൻ കഴിയില്ല .

പൊതുവായ സമീപനങ്ങൾ:

• വൺ-ഹോട്ട് എൻകോഡിംഗ് (വിഭാഗം → ബൈനറി കോളങ്ങൾ) [1]

• ഓർഡിനൽ എൻകോഡിംഗ് (വിഭാഗം → പൂർണ്ണസംഖ്യ ഐഡി) [1]

പ്രധാന കാര്യം ഏത് എൻകോഡർ തിരഞ്ഞെടുക്കുന്നു എന്നതല്ല - മാപ്പിംഗ് സ്ഥിരത പുലർത്തുകയും പരിശീലനത്തിനും അനുമാനത്തിനും ഇടയിൽ "ആകൃതി മാറാതിരിക്കുകയും" ചെയ്യുക എന്നതാണ്. അങ്ങനെയാണ് നിങ്ങൾക്ക് ഓഫ്‌ലൈനിൽ മികച്ചതായി കാണപ്പെടുന്നതും ഓൺലൈനിൽ വേട്ടയാടപ്പെടുന്നതുമായ ഒരു മോഡലിൽ അവസാനിക്കുന്നത്. [2]

3) ഫീച്ചർ സ്കെയിലിംഗും നോർമലൈസേഷനും 📏

സവിശേഷതകൾ വളരെ വ്യത്യസ്തമായ ശ്രേണികളിൽ നിലനിൽക്കുമ്പോൾ സ്കെയിലിംഗ് പ്രധാനമാണ്.

രണ്ട് ക്ലാസിക്കുകൾ:

• സ്റ്റാൻഡേർഡൈസേഷൻ: ശരാശരിയും സ്കെയിലും യൂണിറ്റ് വേരിയൻസും നീക്കം ചെയ്യുക [1]

• കുറഞ്ഞ-പരമാവധി സ്കെയിലിംഗ്: ഓരോ സവിശേഷതയും ഒരു നിശ്ചിത ശ്രേണിയിലേക്ക് സ്കെയിൽ ചെയ്യുക [1]

"കൂടുതലും പൊരുത്തപ്പെടുന്ന" മോഡലുകൾ ഉപയോഗിക്കുമ്പോൾ പോലും, സ്കെയിലിംഗ് പലപ്പോഴും പൈപ്പ്ലൈനുകളെക്കുറിച്ച് ചിന്തിക്കുന്നത് എളുപ്പമാക്കുന്നു - കൂടാതെ അബദ്ധത്തിൽ പൊട്ടുന്നത് കൂടുതൽ ബുദ്ധിമുട്ടാക്കുന്നു.

4) ഫീച്ചർ എഞ്ചിനീയറിംഗ് (ഉപയോഗപ്രദമായ തട്ടിപ്പ് എന്നും അറിയപ്പെടുന്നു) 🧪

മികച്ച സിഗ്നലുകൾ സൃഷ്ടിച്ചുകൊണ്ട് മോഡലിന്റെ ജോലി എളുപ്പമാക്കുന്നത് ഇവിടെയാണ്:

• അനുപാതങ്ങൾ (ക്ലിക്കുകൾ / ഇംപ്രഷനുകൾ)

• റോളിംഗ് വിൻഡോകൾ (കഴിഞ്ഞ N ദിവസങ്ങൾ)

• എണ്ണം (ഓരോ ഉപയോക്താവിനും ഇവന്റുകൾ)

• ഹെവി-ടെയിൽഡ് ഡിസ്ട്രിബ്യൂഷനുകൾക്കുള്ള ലോഗ് ട്രാൻസ്ഫോർമുകൾ

ഇവിടെ ഒരു കലയുണ്ട്. ചിലപ്പോൾ നിങ്ങൾ ഒരു സവിശേഷത സൃഷ്ടിക്കും, അഭിമാനിക്കും... പക്ഷേ അത് ഒന്നും ചെയ്യുന്നില്ല. അല്ലെങ്കിൽ അതിലും മോശമായി, അത് വേദനിപ്പിക്കുന്നു. അത് സാധാരണമാണ്. സവിശേഷതകളോട് വൈകാരികമായി അടുക്കരുത് - അവ നിങ്ങളെ തിരികെ സ്നേഹിക്കില്ല 😅

5) ഡാറ്റ ശരിയായ രീതിയിൽ വിഭജിക്കൽ ✂️

ഇത് വ്യക്തമായി തോന്നുന്നതുവരെ:

• ഐഐഡി ഡാറ്റയ്‌ക്കായുള്ള ക്രമരഹിത വിഭജനങ്ങൾ

• സമയ ശ്രേണിയുടെ സമയാധിഷ്ഠിത വിഭജനങ്ങൾ

• എന്റിറ്റികൾ ആവർത്തിക്കുമ്പോൾ ഗ്രൂപ്പുചെയ്‌ത വിഭജനങ്ങൾ (ഉപയോക്താക്കൾ, ഉപകരണങ്ങൾ, രോഗികൾ)

നിർണായകമായി: ഡാറ്റയിൽ നിന്ന് പഠിക്കുന്ന പ്രീപ്രോസസ്സിംഗ് ഘടിപ്പിക്കുന്നതിന് മുമ്പ് വിഭജിക്കുക. നിങ്ങളുടെ പ്രീപ്രോസസ്സിംഗ് ഘട്ടം പാരാമീറ്ററുകൾ (മീൻ, പദാവലി, വിഭാഗ മാപ്പുകൾ പോലുള്ളവ) “പഠിക്കുന്നു”വെങ്കിൽ, അത് പരിശീലനത്തിൽ നിന്ന് മാത്രമേ അവ പഠിക്കാവൂ. [2]

ഡാറ്റ തരം അനുസരിച്ച് AI പ്രീപ്രൊസസ്സിംഗ്: ടാബുലാർ, ടെക്സ്റ്റ്, ഇമേജുകൾ 🎛️

നിങ്ങൾ മോഡലിന് എന്ത് നൽകുന്നു എന്നതിനെ ആശ്രയിച്ച് പ്രീപ്രോസസ്സിംഗ് ആകൃതി മാറുന്നു.

ടാബുലാർ ഡാറ്റ (സ്പ്രെഡ്‌ഷീറ്റുകൾ, ലോഗുകൾ, ഡാറ്റാബേസുകൾ) 📊

സാധാരണ ഘട്ടങ്ങൾ:

• മൂല്യ നിർണ്ണയ തന്ത്രം നഷ്ടമായി

• വർഗ്ഗീകൃത എൻകോഡിംഗ് [1]

• സംഖ്യാ നിരകൾ സ്കെയിലിംഗ് ചെയ്യുന്നു [1]

• ഔട്ട്‌ലിയർ ഹാൻഡ്‌ലിംഗ് (ഡൊമെയ്ൻ നിയമങ്ങൾ മിക്കപ്പോഴും "റാൻഡം ക്ലിപ്പിംഗിനെ" മറികടക്കുന്നു)

• ഉരുത്തിരിഞ്ഞ സവിശേഷതകൾ (അഗ്രഗേഷനുകൾ, ലാഗുകൾ, റോളിംഗ് സ്ഥിതിവിവരക്കണക്കുകൾ)

പ്രായോഗിക ഉപദേശം: കോളം ഗ്രൂപ്പുകളെ വ്യക്തമായി നിർവചിക്കുക (സംഖ്യാ vs വർഗ്ഗീകരണം vs ഐഡന്റിഫയറുകൾ). നിങ്ങളുടെ ഭാവി സ്വയം നിങ്ങളോട് നന്ദി പറയും.

ടെക്സ്റ്റ് ഡാറ്റ (NLP) 📝

ടെക്സ്റ്റ് പ്രീപ്രോസസ്സിംഗിൽ പലപ്പോഴും ഇവ ഉൾപ്പെടുന്നു:

• ടോക്കണുകൾ/ഉപപദങ്ങൾ എന്നിവയിലേക്ക് ടോക്കണൈസേഷൻ

• ഇൻപുട്ട് ഐഡികളിലേക്കുള്ള പരിവർത്തനം

• പാഡിംഗ്/വെട്ടിക്കൽ

• ബാച്ചിംഗിനായി ശ്രദ്ധാ മാസ്കുകൾ നിർമ്മിക്കുന്നു [3]

വേദന കുറയ്ക്കുന്ന ഒരു ചെറിയ നിയമം: ട്രാൻസ്‌ഫോർമർ അടിസ്ഥാനമാക്കിയുള്ള സജ്ജീകരണങ്ങൾക്ക്, മോഡലിന്റെ പ്രതീക്ഷിക്കുന്ന ടോക്കണൈസർ ക്രമീകരണങ്ങൾ പാലിക്കുക, നിങ്ങൾക്ക് ഒരു കാരണമില്ലെങ്കിൽ ഫ്രീസ്റ്റൈൽ ചെയ്യരുത്. ഫ്രീസ്റ്റൈലിംഗ് എന്നാൽ "ഇത് പരിശീലിക്കുന്നു, പക്ഷേ അത് വിചിത്രമാണ്" എന്ന രീതിയിൽ നിങ്ങൾ ഒടുവിൽ കണ്ടെത്തുന്നു

ചിത്രങ്ങൾ (കമ്പ്യൂട്ടർ വിഷൻ) 🖼️

സാധാരണ പ്രീപ്രോസസ്സിംഗ്:

• വലുപ്പം മാറ്റുക / സ്ഥിരമായ ആകൃതികളിലേക്ക് ക്രോപ്പ് ചെയ്യുക

• മൂല്യനിർണ്ണയത്തിനുള്ള നിർണായക പരിവർത്തനങ്ങൾ

• പരിശീലന വർദ്ധനവിനുള്ള ക്രമരഹിത പരിവർത്തനങ്ങൾ (ഉദാ: ക്രമരഹിതമായ വിളവെടുപ്പ്) [4]

ആളുകൾ ശ്രദ്ധിക്കാതെ പോകുന്ന ഒരു കാര്യം: “റാൻഡം ട്രാൻസ്‌ഫോർമുകൾ” എന്നത് വെറുമൊരു വൈബ് അല്ല - അവ വിളിക്കപ്പെടുന്ന ഓരോ തവണയും പാരാമീറ്ററുകൾ സാമ്പിൾ ചെയ്യുന്നു. വൈവിധ്യം പരിശീലിപ്പിക്കുന്നതിന് മികച്ചതാണ്, റാൻഡംനെസ് ഓഫാക്കാൻ മറന്നാൽ വിലയിരുത്തലിന് മോശമാണ്. [4]

എല്ലാവരും വീഴുന്ന കെണി: ഡാറ്റ ചോർച്ച 🕳️🐍

മൂല്യനിർണ്ണയ ഡാറ്റയിൽ നിന്നുള്ള വിവരങ്ങൾ പരിശീലനത്തിലേക്ക് ഒളിഞ്ഞുനോക്കുമ്പോഴാണ് ചോർച്ച സംഭവിക്കുന്നത് - പലപ്പോഴും പ്രീപ്രോസസ്സിംഗ് വഴി. മൂല്യനിർണ്ണയ സമയത്ത് നിങ്ങളുടെ മോഡലിനെ മാന്ത്രികമായി കാണാനും യഥാർത്ഥ ലോകത്ത് നിങ്ങളെ നിരാശരാക്കാനും ഇതിന് കഴിയും.

സാധാരണ ചോർച്ച പാറ്റേണുകൾ:

• പൂർണ്ണ ഡാറ്റാസെറ്റ് സ്ഥിതിവിവരക്കണക്കുകൾ ഉപയോഗിച്ചുള്ള സ്കെയിലിംഗ് (പരിശീലനത്തിന് മാത്രം പകരം) [2]

• ട്രെയിൻ+ടെസ്റ്റ് ഉപയോഗിച്ച് വിഭാഗ ഭൂപടങ്ങൾ നിർമ്മിക്കുന്നു [2]

• ടെസ്റ്റ് സെറ്റ് "കാണുന്ന" ഏതെങ്കിലും fit() അല്ലെങ്കിൽ fit_transform() ഘട്ടം [2]

അടിസ്ഥാന നിയമം (ലളിതം, ക്രൂരം, ഫലപ്രദം):

• ഫിറ്റ് സ്റ്റെപ്പുള്ള എന്തും പരിശീലനത്തിൽ മാത്രമേ ഫിറ്റ് ആകാവൂ.

• പിന്നെ പരിവർത്തനം ചെയ്യുക . [2]

"അത് എത്രത്തോളം മോശമായിരിക്കും?" എന്ന് നിങ്ങൾക്ക് ഒരു ചെറിയ പരിശോധന വേണമെങ്കിൽ: സ്കൈകിറ്റ്-ലേണിന്റെ സ്വന്തം ഡോക്സ് ഒരു ലീക്കേജ് ഉദാഹരണം കാണിക്കുന്നു, അവിടെ തെറ്റായ പ്രീപ്രോസസിംഗ് ഓർഡർ റാൻഡം ടാർഗെറ്റുകളിൽ ഏകദേശം 0.76 കൃത്യത നൽകുന്നു - തുടർന്ന് ചോർച്ച പരിഹരിച്ചുകഴിഞ്ഞാൽ ~ ​​0.5 ആയി കുറയുന്നു . തെറ്റായ ചോർച്ച അങ്ങനെയാണ് തോന്നുന്നത്. [2]

കുഴപ്പങ്ങളില്ലാതെ പ്രൊഡക്ഷനിലേക്ക് പ്രീപ്രോസസ്സിംഗ് ലഭിക്കുന്നു 🏗️

പല മോഡലുകളും ഉൽ‌പാദനത്തിൽ പരാജയപ്പെടുന്നത് ആ മോഡൽ "മോശം" ആയതുകൊണ്ടല്ല, മറിച്ച് ഇൻപുട്ട് റിയാലിറ്റി മാറുന്നതുകൊണ്ടോ അല്ലെങ്കിൽ നിങ്ങളുടെ പൈപ്പ്‌ലൈൻ മാറുന്നതുകൊണ്ടോ ആണ്.

പ്രൊഡക്ഷൻ-മൈൻഡഡ് പ്രീപ്രൊസസ്സിംഗിൽ സാധാരണയായി ഇവ ഉൾപ്പെടുന്നു:

• സംരക്ഷിച്ച ആർട്ടിഫാക്റ്റുകൾ (എൻകോഡർ മാപ്പിംഗുകൾ, സ്കെയിലർ പാരാമുകൾ, ടോക്കണൈസർ കോൺഫിഗറേഷൻ) അതിനാൽ അനുമാനം അതേ പഠിച്ച പരിവർത്തനങ്ങൾ ഉപയോഗിക്കുന്നു [2]

• കർശനമായ ഇൻപുട്ട് കരാറുകൾ (പ്രതീക്ഷിക്കുന്ന നിരകൾ/തരങ്ങൾ/ശ്രേണികൾ)

• സ്ക്യൂ, ഡ്രിഫ്റ്റ് എന്നിവയ്ക്കുള്ള നിരീക്ഷണം, കാരണം ഉൽ‌പാദന ഡാറ്റ അലഞ്ഞുതിരിയും [5]

നിങ്ങൾക്ക് വ്യക്തമായ നിർവചനങ്ങൾ വേണമെങ്കിൽ: ഗൂഗിളിന്റെ വെർട്ടെക്സ് AI മോഡൽ മോണിറ്ററിംഗ് പരിശീലന-സേവന സ്ക്യൂ (ഉൽപ്പാദന വിതരണം പരിശീലനത്തിൽ നിന്ന് വ്യതിചലിക്കുന്നു) ഉം അനുമാന ഡ്രിഫ്റ്റും (കാലക്രമേണ ഉൽപ്പാദന വിതരണം മാറുന്നു) എന്നിവയെ വേർതിരിക്കുന്നു, കൂടാതെ വർഗ്ഗീകൃതവും സംഖ്യാപരവുമായ സവിശേഷതകൾക്കായി നിരീക്ഷണത്തെ പിന്തുണയ്ക്കുന്നു. [5]

കാരണം അത്ഭുതങ്ങൾ ചെലവേറിയതാണ്. രസകരമായ കാര്യങ്ങളുമല്ല.

താരതമ്യ പട്ടിക: പൊതുവായ പ്രീപ്രോസസിംഗ് + മോണിറ്ററിംഗ് ഉപകരണങ്ങൾ (അവ ആർക്കുവേണ്ടിയാണ്) 🧰

(അതെ, പട്ടികയിൽ ഇപ്പോഴും അഭിപ്രായങ്ങളുണ്ട്. പക്ഷേ കുറഞ്ഞത് അത് സത്യസന്ധമായ അഭിപ്രായങ്ങളെങ്കിലും ആയിരിക്കണം 😅)

നിങ്ങൾക്ക് ഉപയോഗിക്കാൻ കഴിയുന്ന ഒരു പ്രായോഗിക പ്രീപ്രോസസിംഗ് ചെക്ക്‌ലിസ്റ്റ് 📌

പരിശീലനത്തിന് മുമ്പ്

• ഒരു ഇൻപുട്ട് സ്കീമ നിർവചിക്കുക (തരങ്ങൾ, യൂണിറ്റുകൾ, അനുവദനീയമായ ശ്രേണികൾ)

• ഓഡിറ്റിൽ നഷ്ടപ്പെട്ട മൂല്യങ്ങളും തനിപ്പകർപ്പുകളും

• ഡാറ്റ ശരിയായ രീതിയിൽ വിഭജിക്കുക (റാൻഡം / സമയാധിഷ്ഠിതം / ഗ്രൂപ്പുചെയ്‌തത്)

• പരിശീലനത്തിൽ മാത്രം ഫിറ്റ് പ്രീപ്രോസസ്സിംഗ് ( ട്രെയിനിൽ ഫിറ്റ് / ഫിറ്റ്_ട്രാൻസ്ഫോം സ്റ്റേകൾ) [2]

• അനുമാനത്തിന് വീണ്ടും ഉപയോഗിക്കാവുന്ന തരത്തിൽ പ്രീപ്രോസസ്സിംഗ് ആർട്ടിഫാക്റ്റുകൾ സംരക്ഷിക്കുക [2]

പരിശീലന സമയത്ത്

• ഉചിതമായിടത്ത് മാത്രം ക്രമരഹിതമായ വർദ്ധനവ് പ്രയോഗിക്കുക (സാധാരണയായി പരിശീലന വിഭജനം മാത്രം) [4]

• മൂല്യനിർണ്ണയ പ്രീപ്രോസസ്സിംഗ് ഡിറ്റർമിനിസ്റ്റിക് ആയി നിലനിർത്തുക [4]

• മോഡൽ മാറ്റങ്ങൾ പോലെ പ്രീപ്രോസസ്സിംഗ് മാറ്റങ്ങൾ ട്രാക്ക് ചെയ്യുക (കാരണം അവ)

വിന്യാസത്തിന് മുമ്പ്

• അനുമാനം ഒരേ പ്രീപ്രോസസിംഗ് പാതയും ആർട്ടിഫാക്റ്റുകളും ഉപയോഗിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക [2]

• ഡ്രിഫ്റ്റ്/സ്കീവ് മോണിറ്ററിംഗ് സജ്ജീകരിക്കുക (അടിസ്ഥാന ഫീച്ചർ വിതരണ പരിശോധനകൾ പോലും വളരെ ദൂരം പോകും) [5]

ആഴത്തിലുള്ള പഠനം: സാധാരണ പ്രീപ്രോസസ്സിംഗ് പിഴവുകൾ (അവ എങ്ങനെ ഒഴിവാക്കാം) 🧯

തെറ്റ് 1: “ഞാൻ എല്ലാം പെട്ടെന്ന് സാധാരണ നിലയിലാക്കും” 😵

മുഴുവൻ ഡാറ്റാസെറ്റിലും സ്കെയിലിംഗ് പാരാമുകൾ നിങ്ങൾ കണക്കാക്കുകയാണെങ്കിൽ, നിങ്ങൾ വിലയിരുത്തൽ വിവരങ്ങൾ ചോർത്തുകയാണ്. ട്രെയിനിൽ ഘടിപ്പിക്കുക, ബാക്കിയുള്ളവ രൂപാന്തരപ്പെടുത്തുക. [2]

തെറ്റ് 2: വിഭാഗങ്ങൾ കുഴപ്പത്തിലേക്ക് വഴുതി വീഴുന്നു 🧩

നിങ്ങളുടെ കാറ്റഗറി മാപ്പിംഗ് പരിശീലനത്തിനും അനുമാനത്തിനും ഇടയിൽ മാറുകയാണെങ്കിൽ, നിങ്ങളുടെ മോഡലിന് ലോകത്തെ നിശബ്ദമായി തെറ്റായി വായിക്കാൻ കഴിയും. സംരക്ഷിച്ച ആർട്ടിഫാക്റ്റുകൾ വഴി മാപ്പിംഗുകൾ സ്ഥിരമായി നിലനിർത്തുക. [2]

തെറ്റ് 3: മൂല്യനിർണ്ണയത്തിലേക്ക് ക്രമരഹിതമായ വർദ്ധനവ് നുഴഞ്ഞുകയറുന്നു 🎲

പരിശീലനത്തിൽ ക്രമരഹിതമായ പരിവർത്തനങ്ങൾ മികച്ചതാണ്, പക്ഷേ പ്രകടനം അളക്കാൻ ശ്രമിക്കുമ്പോൾ അവ "രഹസ്യമായി" ഓണാക്കരുത്. (ക്രമരഹിതം എന്നാൽ ക്രമരഹിതം എന്നാണ് അർത്ഥമാക്കുന്നത്.) [4]

അന്തിമ പരാമർശങ്ങൾ 🧠✨

കുഴപ്പം പിടിച്ച യാഥാർത്ഥ്യത്തെ സ്ഥിരമായ മോഡൽ ഇൻപുട്ടുകളാക്കി മാറ്റുന്നതിനുള്ള അച്ചടക്കമുള്ള കലയാണ് AI പ്രീപ്രൊസസ്സിംഗ് . ക്ലീനിംഗ്, എൻകോഡിംഗ്, സ്കെയിലിംഗ്, ടോക്കണൈസേഷൻ, ഇമേജ് ട്രാൻസ്ഫോർമുകൾ, ഏറ്റവും പ്രധാനമായി ആവർത്തിക്കാവുന്ന പൈപ്പ്‌ലൈനുകളും ആർട്ടിഫാക്റ്റുകളും ഇതിൽ ഉൾപ്പെടുന്നു

• ആകസ്മികമായിട്ടല്ല, മനഃപൂർവ്വം പ്രീപ്രോസസ്സിംഗ് നടത്തുക. [2]

• ആദ്യം സ്പ്ലിറ്റ് ചെയ്യുക, പരിശീലനത്തിൽ മാത്രമേ ഫിറ്റ് ട്രാൻസ്ഫോർമേഷൻ ലഭിക്കൂ, ചോർച്ച ഒഴിവാക്കുക. [2]

• മോഡാലിറ്റി-അനുയോജ്യമായ പ്രീപ്രോസസിംഗ് ഉപയോഗിക്കുക (ടെക്സ്റ്റിനുള്ള ടോക്കണൈസറുകൾ, ഇമേജുകൾക്കുള്ള ട്രാൻസ്ഫോർമുകൾ). [3][4]

• നിങ്ങളുടെ മോഡൽ സാവധാനം അസംബന്ധത്തിലേക്ക് വഴുതിവീഴാതിരിക്കാൻ പ്രൊഡക്ഷൻ സ്ക്യൂ/ഡ്രിഫ്റ്റ് നിരീക്ഷിക്കുക. [5]

നിങ്ങൾ എപ്പോഴെങ്കിലും കുടുങ്ങിപ്പോയാൽ സ്വയം ചോദിക്കുക:
“പുതിയ ഡാറ്റയിൽ നാളെ ഞാൻ ഇത് പ്രവർത്തിപ്പിച്ചാൽ ഈ പ്രീപ്രോസസ്സിംഗ് ഘട്ടം ഇപ്പോഴും അർത്ഥവത്താകുമോ?”
ഉത്തരം “ഉം… ഒരുപക്ഷേ?” ആണെങ്കിൽ, അതാണ് നിങ്ങളുടെ സൂചന 😬

യഥാർത്ഥ ലോക ഉദാഹരണം: ചോർച്ച പ്രവചനത്തിനായി ചോർച്ച-സുരക്ഷിത പ്രീപ്രോസസിംഗ് പൈപ്പ്‌ലൈൻ നിർമ്മിക്കൽ

രംഗം

അടുത്ത 30 ദിവസത്തിനുള്ളിൽ ഏതൊക്കെ ഉപഭോക്താക്കളാണ് റദ്ദാക്കാൻ സാധ്യതയുള്ളതെന്ന് പ്രവചിക്കാൻ ശ്രമിക്കുന്ന ഒരു ചെറിയ SaaS ടീമിനെ സങ്കൽപ്പിക്കുക. അവരുടെ റോ ഡാറ്റ മൂന്ന് സ്ഥലങ്ങളിൽ വസിക്കുന്നു: ബില്ലിംഗ് കയറ്റുമതി, ഉൽപ്പന്ന ഉപയോഗ ലോഗുകൾ, പിന്തുണ ടിക്കറ്റുകൾ.

മോഡലിന്റെ ആദ്യ പതിപ്പ് വാലിഡേഷനിൽ മികച്ചതായി കാണപ്പെടുന്നു, പക്ഷേ പുതിയ ഒരു മാസത്തെ ഉപഭോക്താക്കളിൽ പരീക്ഷിച്ചപ്പോൾ മോശം പ്രകടനമാണ് കാഴ്ചവയ്ക്കുന്നത്. പ്രശ്നം മോഡൽ ആർക്കിടെക്ചറല്ല. ഇത് പ്രീപ്രോസസ്സിംഗ് ആണ്.

പൂർണ്ണ ഡാറ്റാസെറ്റ് ഉപയോഗിച്ച് ടീം ആകസ്മികമായി സംഖ്യാ സവിശേഷതകൾ സ്കെയിൽ ചെയ്തു, ട്രെയിൻ, ടെസ്റ്റ് ഡാറ്റ എന്നിവയിൽ നിന്ന് കാറ്റഗറി മാപ്പിംഗുകൾ നിർമ്മിച്ചു, റദ്ദാക്കിയതിനുശേഷം മാത്രം ചേർത്ത സപ്പോർട്ട്-ടിക്കറ്റ് ടാഗുകളും ഉൾപ്പെടുത്തി. ക്ലാസിക് ചോർച്ച. വേദനാജനകമാണ്, പക്ഷേ പരിഹരിക്കാവുന്നതാണ്. [2]

പൈപ്പ്ലൈനിന് എന്താണ് വേണ്ടത്

ഒരു പ്രായോഗിക സജ്ജീകരണത്തിൽ ഇവ ഉൾപ്പെടും:

• ഒരു നിശ്ചിത ഇൻപുട്ട് സ്കീമ: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region

• ജനുവരി-സെപ്റ്റംബർ മാസങ്ങളിലെ പരിശീലനവും ഒക്ടോബറിലെ പരിശോധനയും പോലുള്ള സമയാധിഷ്ഠിത വിഭജനം

• പരിശീലന വിഭജനത്തിൽ മാത്രം സംഖ്യാ സ്കെയിലിംഗ് ഘടിപ്പിച്ചിരിക്കുന്നു

• പരിശീലന വിഭജനത്തിൽ മാത്രം ഘടിപ്പിച്ചിരിക്കുന്ന കാറ്റഗറിക്കൽ എൻകോഡറുകൾ

• പ്രൊഡക്ഷന് ഒരേ മാപ്പിംഗുകളും സ്കെയിലർ മൂല്യങ്ങളും ഉപയോഗിക്കുന്ന ഒരു സംരക്ഷിത പ്രീപ്രോസസിംഗ് പൈപ്പ്‌ലൈൻ

• കാണാതായ കോളങ്ങൾ, കാണാത്ത വിഭാഗങ്ങൾ, വിന്യാസത്തിനു ശേഷമുള്ള വിതരണ മാറ്റങ്ങൾ എന്നിവയ്ക്കുള്ള അടിസ്ഥാന നിരീക്ഷണം

കാതലായ നിയമം ലളിതമാണ്: ആദ്യം വിഭജിക്കുക, രണ്ടാമത്തേത് പ്രീപ്രോസസ്സിംഗ് ഘടിപ്പിക്കുക. ഡാറ്റയിൽ നിന്ന് പഠിക്കുന്ന എന്തും പരിശീലന കാലയളവിൽ നിന്ന് മാത്രമേ പഠിക്കാവൂ. [2]

ഉദാഹരണ നിർദ്ദേശം

പ്രീപ്രോസസിംഗ് ഘട്ടത്തിനുള്ള വർക്കിംഗ് ബ്രീഫായി ഇത് ഉപയോഗിക്കുക:

ഉപഭോക്തൃ ബില്ലിംഗ്, ഉപയോഗം, പിന്തുണാ ഡാറ്റ എന്നിവ ഉപയോഗിച്ച് ഒരു ചർൺ പ്രെഡിക്ഷൻ മോഡലിനായി ഒരു പ്രീപ്രൊസസ്സിംഗ് പൈപ്പ്‌ലൈൻ നിർമ്മിക്കുക. ഏതെങ്കിലും ട്രാൻസ്‌ഫോർമറുകൾ ഘടിപ്പിക്കുന്നതിന് മുമ്പ് ഡാറ്റ സമയത്തിനനുസരിച്ച് വിഭജിക്കുക. പരിശീലന ഡാറ്റയിൽ മാത്രം സംഖ്യാ സ്കെയിലറുകളും കാറ്റഗറിക്കൽ എൻകോഡറുകളും ഘടിപ്പിക്കുക, തുടർന്ന് ആ ഫിറ്റഡ് ട്രാൻസ്‌ഫോമുകൾ മൂല്യനിർണ്ണയത്തിലും ടെസ്റ്റ് ഡാറ്റയിലും പ്രയോഗിക്കുക. പ്രൊഡക്ഷൻ മോഡൽ ഒരേ സ്കീമ, കാറ്റഗറി മാപ്പിംഗുകൾ, സ്കെയിലിംഗ് പാരാമീറ്ററുകൾ എന്നിവ ഉപയോഗിക്കുന്നതിന് എല്ലാ പ്രീപ്രൊസസ്സിംഗ് ആർട്ടിഫാക്റ്റുകളും സംരക്ഷിക്കുക. പ്രവചനത്തിന് മുമ്പ് നഷ്ടപ്പെട്ട കോളങ്ങൾ, അപ്രതീക്ഷിത ഡാറ്റ തരങ്ങൾ, കാണാത്ത വിഭാഗങ്ങൾ, പ്രധാന വിതരണ ഷിഫ്റ്റുകൾ എന്നിവ ഫ്ലാഗ് ചെയ്യുക.

എങ്ങനെ പരീക്ഷിക്കാം

മോഡലിനെ വിശ്വസിക്കുന്നതിനുമുമ്പ്, മനഃപൂർവ്വം വിചിത്രമായ ചില രേഖകൾ ഉപയോഗിച്ച് പ്രീപ്രോസസിംഗ് പൈപ്പ്‌ലൈൻ പരിശോധിക്കുക:

• പരിശീലനത്തിൽ ഇല്ലാത്ത ഒരു പ്ലാൻ തരത്തിലുള്ള ഉപഭോക്താവ്

• വിട്ടുപോയ മേഖല അല്ലെങ്കിൽ last_payment_status ഉള്ള ഒരു വരി

• അസാധാരണമായി ഉയർന്ന ഉപയോഗമുള്ള ഒരു ഉപഭോക്താവ്, ഉദാഹരണത്തിന് 30 ദിവസത്തിനുള്ളിൽ 10,000 ലോഗിനുകൾ

• തെറ്റായ ക്രമത്തിലുള്ള കോളങ്ങളുള്ള ഒരു പ്രൊഡക്ഷൻ-സ്റ്റൈൽ ഫയൽ

• ഫിറ്റിംഗ് സമയത്ത് ഒരിക്കലും ഉപയോഗിക്കാത്ത ഒരു ഫ്യൂച്ചർ-മാസ ടെസ്റ്റ് സെറ്റ്

പിന്നെ മൂന്ന് കാര്യങ്ങൾ പരിശോധിക്കുക:

• ഫീച്ചർ ക്രമം മാറ്റാതെ പൈപ്പ്‌ലൈൻ പ്രവർത്തിക്കുമോ?

• അജ്ഞാത വിഭാഗങ്ങൾ സ്ഥിരമായി കൈകാര്യം ചെയ്യപ്പെടുന്നുണ്ടോ?

• ചോർച്ച നീക്കം ചെയ്തതിനുശേഷം സാധൂകരണ പ്രകടനം കൂടുതൽ വിശ്വസനീയമായ തലത്തിലേക്ക് താഴുമോ?

ആ അവസാന പോയിന്റ് പ്രധാനമാണ്. സംശയാസ്പദമായി ഉയർന്ന വാലിഡേഷൻ സ്കോർ പലപ്പോഴും ഒരു പ്രീപ്രോസസ്സിംഗ് ഗന്ധമാണ്, ഒരു അത്ഭുതമല്ല.

ഫലമായി

നോട്ട്ബുക്ക് ഘട്ടങ്ങൾ ഒരു സേവ് ചെയ്ത പൈപ്പ്‌ലൈനാക്കി മാറ്റുന്നതിന് മുമ്പും ശേഷവുമുള്ള അഞ്ച് സാമ്പിൾ പ്രീപ്രോസസ്സിംഗ് റൺ സമയക്രമത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഉദാഹരണ ഫലം:

• ഡാറ്റാസെറ്റ് പുതുക്കുന്നതിന് 55 മിനിറ്റിൽ നിന്ന് മാനുവൽ പ്രീപ്രോസസിംഗ് സമയം 8 മിനിറ്റായി കുറച്ചു.

• 5 ടെസ്റ്റ് പുതുക്കലുകളിൽ ഫീച്ചർ-ഓർഡർ പിശകുകൾ 3 പിശകുകളിൽ നിന്ന് 5 പുതുക്കലുകളിൽ 0 പിശകുകളായി കുറഞ്ഞു.

• ചോർച്ച നീക്കം ചെയ്തതിനുശേഷം മൂല്യനിർണ്ണയ കൃത്യത 91% ൽ നിന്ന് 74% ആയി കുറഞ്ഞു, എന്നാൽ പുതിയ മാസത്തെ പരിശോധനാ കൃത്യത 62% ൽ നിന്ന് 71% ആയി മെച്ചപ്പെട്ടു.

• നഷ്ടപ്പെട്ട കോളങ്ങൾ, അസാധുവായ തരങ്ങൾ, കാണാത്ത വിഭാഗങ്ങൾ, ശൂന്യ നിരക്ക് മാറ്റം, സംഖ്യാ ശ്രേണി മാറ്റം, ട്രെയിൻ-സെർവിംഗ് സ്കീമ പൊരുത്തക്കേട് എന്നിങ്ങനെ 6 ഓട്ടോമേറ്റഡ് പരിശോധനകൾ ടീം ചേർത്തു.

ഈ സംഖ്യകൾ ഒരു സാർവത്രിക മാനദണ്ഡമല്ല. പുതുക്കലുകൾ സമയബന്ധിതമാക്കുന്നതിലൂടെയും, പരാജയപ്പെട്ട റൺസ് എണ്ണുന്നതിലൂടെയും, വാലിഡേഷൻ ഫലങ്ങൾ ഭാവി മാസവുമായി താരതമ്യം ചെയ്യുന്നതിലൂടെയും ഒരു ടീമിന് പുനർനിർമ്മിക്കാൻ കഴിയുന്ന ലളിതമായ മുമ്പും ശേഷവുമുള്ള അളവുകളാണ് ഇവ.

എന്ത് തെറ്റ് സംഭവിക്കാം?

ഏറ്റവും വലിയ അപകടസാധ്യത പൈപ്പ്‌ലൈൻ വൃത്തിയുള്ളതായി തോന്നിപ്പിക്കുകയും അതേസമയം ചോർച്ച നിശബ്ദമായി നിലനിർത്തുകയും ചെയ്യുക എന്നതാണ്. ഉദാഹരണത്തിന്, “അവസാന റദ്ദാക്കൽ മുന്നറിയിപ്പ് ഇമെയിൽ മുതൽ ദിവസങ്ങൾ” എന്നത് വിലപ്പെട്ടതായി തോന്നിയേക്കാം, എന്നാൽ ആ ഇമെയിൽ ഒരു ആന്തരിക ചർച്ചാ അവലോകനത്തിന് ശേഷം മാത്രമേ അയയ്ക്കുന്നുള്ളൂവെങ്കിൽ, അത് ഭാവിയിലെ വിവരങ്ങൾ ചോർത്തിയേക്കാം.

മറ്റ് സാധാരണ കെണികൾ:

• സംരക്ഷിച്ച മാപ്പിംഗുകൾ ലോഡുചെയ്യുന്നതിനുപകരം ഉൽ‌പാദനത്തിൽ എൻ‌കോഡറുകൾ വീണ്ടും ഘടിപ്പിക്കുക

• പുതിയ വിഭാഗങ്ങളെ നിശബ്ദമായി ഫീച്ചർ സ്ഥാനങ്ങൾ മാറ്റാൻ അനുവദിക്കുന്നു

• യഥാർത്ഥ ടാസ്‌ക് സമയാധിഷ്ഠിതമാകുമ്പോൾ റാൻഡം സ്പ്ലിറ്റിൽ പരിശോധന

• പരിശീലനത്തിൽ നഷ്ടപ്പെട്ട മൂല്യങ്ങളുള്ള വരികൾ ഉപേക്ഷിക്കുന്നു, പക്ഷേ അനുമാനത്തിൽ അവ കൈകാര്യം ചെയ്യുന്നില്ല

• ഇൻപുട്ട് ഡ്രിഫ്റ്റ് അവഗണിക്കുമ്പോൾ മോഡൽ കൃത്യത നിരീക്ഷിക്കൽ

പ്രായോഗിക ഉപദേശം

ഒരു നല്ല പ്രീപ്രോസസിംഗ് പൈപ്പ്‌ലൈൻ അസംസ്കൃത ഡാറ്റയെ വൃത്തിയുള്ളതാക്കുന്നതിനേക്കാൾ കൂടുതൽ ചെയ്യുന്നു. മോശം മൂല്യനിർണ്ണയം, തകർന്ന പ്രൊഡക്ഷൻ ഇൻപുട്ടുകൾ, സാവധാനത്തിലുള്ള നിശബ്ദ ഡ്രിഫ്റ്റ് എന്നിവയിൽ നിന്ന് ഇത് മോഡലിനെ സംരക്ഷിക്കുന്നു. ഒരു ചർൺ മോഡലിന്, ബുദ്ധിപരമായ പ്രീപ്രോസസിംഗും വിശ്വസനീയമായ പ്രീപ്രോസസിംഗും തമ്മിലുള്ള വ്യത്യാസം പലപ്പോഴും ഒരേ ഫിറ്റഡ് ട്രാൻസ്ഫോമുകൾ എല്ലാ തവണയും വീണ്ടും ഉപയോഗിക്കുന്നുണ്ടോ എന്നതിലേക്ക് വരുന്നു, പ്രത്യേകിച്ചും മോഡൽ മുമ്പ് കണ്ടിട്ടില്ലാത്ത ഒരു മാസത്തിൽ നിന്നുള്ള ഡാറ്റ വരുമ്പോൾ.

പതിവുചോദ്യങ്ങൾ

ലളിതമായി പറഞ്ഞാൽ AI പ്രീപ്രോസസിംഗ് എന്താണ്?

ശബ്ദായമാനമായ, ഉയർന്ന വേരിയൻസ് അസംസ്കൃത ഡാറ്റയെ ഒരു മോഡലിന് പഠിക്കാൻ കഴിയുന്ന സ്ഥിരമായ ഇൻപുട്ടുകളാക്കി മാറ്റുന്ന ആവർത്തിച്ചുള്ള ഘട്ടങ്ങളുടെ ഒരു കൂട്ടമാണ് AI പ്രീപ്രൊസസ്സിംഗ്. ക്ലീനിംഗ്, വാലിഡേഷൻ, വിഭാഗങ്ങൾ എൻകോഡ് ചെയ്യൽ, സംഖ്യാ മൂല്യങ്ങൾ സ്കെയിൽ ചെയ്യൽ, ടെക്സ്റ്റ് ടോക്കണൈസിംഗ്, ഇമേജ് ട്രാൻസ്ഫോർമുകൾ പ്രയോഗിക്കൽ എന്നിവ ഇതിൽ ഉൾപ്പെടാം. പരിശീലനവും പ്രൊഡക്ഷൻ അനുമാനവും "ഒരേ തരത്തിലുള്ള" ഇൻപുട്ട് കാണുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക എന്നതാണ് ലക്ഷ്യം, അതിനാൽ മോഡൽ പിന്നീട് പ്രവചനാതീതമായ പെരുമാറ്റത്തിലേക്ക് വഴുതിവീഴില്ല.

എന്തുകൊണ്ടാണ് ഉൽപ്പാദനത്തിൽ AI പ്രീപ്രോസസിംഗ് ഇത്ര പ്രധാനമായിരിക്കുന്നത്?

മോഡലുകൾ ഇൻപുട്ട് പ്രാതിനിധ്യത്തോട് സംവേദനക്ഷമതയുള്ളതിനാൽ പ്രീപ്രോസസ്സിംഗ് പ്രധാനമാണ്. പരിശീലന ഡാറ്റ സ്കെയിൽ ചെയ്താലും, എൻകോഡ് ചെയ്താലും, ടോക്കണൈസ് ചെയ്താലും, അല്ലെങ്കിൽ പ്രൊഡക്ഷൻ ഡാറ്റയിൽ നിന്ന് വ്യത്യസ്തമായി രൂപാന്തരപ്പെടുത്തിയാലും, നിങ്ങൾക്ക് ട്രെയിൻ/സെർവ് പൊരുത്തക്കേട് പരാജയങ്ങൾ ലഭിക്കും, അവ ഓഫ്‌ലൈനിൽ നന്നായി കാണപ്പെടുന്നു, പക്ഷേ ഓൺലൈനിൽ നിശബ്ദമായി പരാജയപ്പെടുന്നു. ശക്തമായ പ്രീപ്രോസസ്സിംഗ് പൈപ്പ്‌ലൈനുകൾ ശബ്ദം കുറയ്ക്കുകയും, പഠന സ്ഥിരത മെച്ചപ്പെടുത്തുകയും, ആവർത്തനം വേഗത്തിലാക്കുകയും ചെയ്യുന്നു, കാരണം നിങ്ങൾ നോട്ട്ബുക്ക് സ്പാഗെട്ടിയെ അഴിച്ചുമാറ്റുന്നില്ല.

പ്രീപ്രോസസ്സിംഗ് സമയത്ത് ഡാറ്റ ചോർച്ച എങ്ങനെ ഒഴിവാക്കാം?

ഒരു ലളിതമായ നിയമം പ്രവർത്തിക്കുന്നു: ഫിറ്റ് സ്റ്റെപ്പ് ഉള്ള എന്തും പരിശീലന ഡാറ്റയിൽ മാത്രമേ ഫിറ്റ് ആകാവൂ. അതിൽ സ്കെയിലറുകൾ, എൻകോഡറുകൾ, ടോക്കണൈസറുകൾ എന്നിവ ഉൾപ്പെടുന്നു, അവ മീൻസ്, കാറ്റഗറി മാപ്പുകൾ അല്ലെങ്കിൽ പദാവലികൾ പോലുള്ള പാരാമീറ്ററുകൾ പഠിക്കുന്നു. നിങ്ങൾ ആദ്യം വിഭജിച്ച്, പരിശീലന വിഭജനത്തിൽ ഫിറ്റ് ചെയ്യുക, തുടർന്ന് ഫിറ്റ് ചെയ്ത ട്രാൻസ്ഫോർമർ ഉപയോഗിച്ച് വാലിഡേഷൻ/ടെസ്റ്റ് പരിവർത്തനം ചെയ്യുക. ചോർച്ച വാലിഡേഷനെ "മാന്ത്രികമായി" നല്ലതായി കാണാനും പിന്നീട് ഉൽ‌പാദന ഉപയോഗത്തിൽ തകരാനും ഇടയാക്കും.

ടാബുലാർ ഡാറ്റയുടെ ഏറ്റവും സാധാരണമായ പ്രീപ്രോസസിംഗ് ഘട്ടങ്ങൾ ഏതൊക്കെയാണ്?

ടാബുലാർ ഡാറ്റയ്ക്ക്, സാധാരണ പൈപ്പ്‌ലൈനിൽ ക്ലീനിംഗ്, വാലിഡേഷൻ (തരം, ശ്രേണികൾ, നഷ്ടപ്പെട്ട മൂല്യങ്ങൾ), കാറ്റഗറിക്കൽ എൻകോഡിംഗ് (വൺ-ഹോട്ട് അല്ലെങ്കിൽ ഓർഡിനൽ), ന്യൂമറിക് സ്കെയിലിംഗ് (സ്റ്റാൻഡേർഡൈസേഷൻ അല്ലെങ്കിൽ മിനിമം-മാക്സ്) എന്നിവ ഉൾപ്പെടുന്നു. പല പൈപ്പ്‌ലൈനുകളിലും അനുപാതങ്ങൾ, റോളിംഗ് വിൻഡോകൾ അല്ലെങ്കിൽ എണ്ണങ്ങൾ പോലുള്ള ഡൊമെയ്ൻ-ഡ്രൈവൺ ഫീച്ചർ എഞ്ചിനീയറിംഗ് ചേർക്കുന്നു. നിങ്ങളുടെ പരിവർത്തനങ്ങൾ സ്ഥിരത നിലനിർത്തുന്നതിന് കോളം ഗ്രൂപ്പുകളെ വ്യക്തമായി നിർവചിക്കുക എന്നതാണ് ഒരു പ്രായോഗിക ശീലം (സംഖ്യ vs കാറ്റഗറിക്കൽ vs ഐഡന്റിഫയറുകൾ).

ടെക്സ്റ്റ് മോഡലുകൾക്ക് പ്രീപ്രൊസസ്സിംഗ് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?

ടെക്സ്റ്റ് പ്രീപ്രോസസ്സിംഗ് എന്നാൽ സാധാരണയായി ടോക്കണൈസേഷൻ ടോക്കണുകളാക്കി/സബ്‌വേഡുകളാക്കി മാറ്റുക, അവയെ ഇൻപുട്ട് ഐഡികളാക്കി മാറ്റുക, ബാച്ചിംഗിനായി പാഡിംഗ്/ട്രങ്കേഷൻ കൈകാര്യം ചെയ്യുക എന്നിവയാണ്. പല ട്രാൻസ്‌ഫോർമർ വർക്ക്‌ഫ്ലോകളും ഐഡികൾക്കൊപ്പം ഒരു ശ്രദ്ധാകേന്ദ്രം സൃഷ്ടിക്കുന്നു. മെച്ചപ്പെടുത്തുന്നതിനുപകരം മോഡലിന്റെ പ്രതീക്ഷിക്കുന്ന ടോക്കണൈസർ കോൺഫിഗറേഷൻ ഉപയോഗിക്കുക എന്നതാണ് ഒരു പൊതു സമീപനം, കാരണം ടോക്കണൈസർ ക്രമീകരണങ്ങളിലെ ചെറിയ വ്യത്യാസങ്ങൾ "ഇത് പരിശീലിപ്പിക്കുന്നു, പക്ഷേ അത് പ്രവചനാതീതമായി പെരുമാറുന്നു" എന്നതിലേക്ക് നയിച്ചേക്കാം.

മെഷീൻ ലേണിംഗിനായി ഇമേജുകൾ പ്രീപ്രോസസ് ചെയ്യുന്നതിൽ എന്താണ് വ്യത്യാസം?

ഇമേജ് പ്രീപ്രോസസ്സിംഗ് സാധാരണയായി സ്ഥിരതയുള്ള ആകൃതികളും പിക്സൽ കൈകാര്യം ചെയ്യലും ഉറപ്പാക്കുന്നു: വലുപ്പം മാറ്റൽ/വിളിക്കൽ, നോർമലൈസേഷൻ, ഡിറ്റർമിനിസ്റ്റിക്, റാൻഡം ട്രാൻസ്ഫോമുകൾ തമ്മിലുള്ള വ്യക്തമായ വിഭജനം. മൂല്യനിർണ്ണയത്തിന്, ട്രാൻസ്ഫോമുകൾ ഡിറ്റർമിനിസ്റ്റിക് ആയിരിക്കണം, അതിനാൽ മെട്രിക്സ് താരതമ്യപ്പെടുത്താവുന്നതാണ്. പരിശീലനത്തിന്, റാൻഡം ഓഗ്മെന്റേഷൻ (റാൻഡം ക്രോപ്പുകൾ പോലെ) കരുത്തുറ്റത മെച്ചപ്പെടുത്തും, പക്ഷേ റാൻഡംനെസ്സ് പരിശീലന വിഭജനത്തിലേക്ക് മനഃപൂർവ്വം സ്കോപ്പ് ചെയ്യണം, മൂല്യനിർണ്ണയ സമയത്ത് ആകസ്മികമായി ഉപേക്ഷിക്കരുത്.

പ്രീപ്രോസസിംഗ് പൈപ്പ്‌ലൈനിനെ ദുർബലമാക്കുന്നതിനു പകരം "നല്ലത്" ആക്കുന്നത് എന്താണ്?

ഒരു നല്ല AI പ്രീപ്രോസസ്സിംഗ് പൈപ്പ്‌ലൈൻ പുനരുൽപ്പാദിപ്പിക്കാവുന്നതും, ചോർച്ച-സുരക്ഷിതവും, നിരീക്ഷിക്കാവുന്നതുമാണ്. പുനരുൽപ്പാദിപ്പിക്കാവുന്നത് എന്നാൽ ഒരേ ഇൻപുട്ട് ഒരേ ഔട്ട്‌പുട്ട് ഉൽപ്പാദിപ്പിക്കുന്നു എന്നാണ്, റാൻഡംനെസ്സ് മനഃപൂർവ്വമായ വർദ്ധനവല്ലെങ്കിൽ. ലീക്കേജ്-സേഫ് എന്നാൽ ഫിറ്റ് സ്റ്റെപ്പുകൾ ഒരിക്കലും വാലിഡേഷൻ/ടെസ്റ്റ് സ്പർശിക്കില്ല എന്നാണ്. നിരീക്ഷിക്കാവുന്നത് എന്നാൽ നിങ്ങൾക്ക് നഷ്ടം, വിഭാഗ എണ്ണം, ഫീച്ചർ ഡിസ്ട്രിബ്യൂഷനുകൾ തുടങ്ങിയ സ്ഥിതിവിവരക്കണക്കുകൾ പരിശോധിക്കാൻ കഴിയും, അതിനാൽ ഡീബഗ്ഗിംഗ് തെളിവുകളുടെ അടിസ്ഥാനത്തിലാണ്, ഗട്ട്-ഫീൽ അല്ല. പൈപ്പ്‌ലൈനുകൾ എല്ലാ സമയത്തും അഡ്-ഹോക്ക് നോട്ട്ബുക്ക് സീക്വൻസുകളെ മറികടക്കുന്നു.

പരിശീലനവും അനുമാന പ്രീപ്രോസസ്സിംഗും എങ്ങനെ സ്ഥിരമായി നിലനിർത്താം?

അനുമാന സമയത്ത് പഠിച്ച അതേ ആർട്ടിഫാക്‌റ്റുകൾ വീണ്ടും ഉപയോഗിക്കുക എന്നതാണ് പ്രധാനം: സ്കെയിലർ പാരാമീറ്ററുകൾ, എൻകോഡർ മാപ്പിംഗുകൾ, ടോക്കണൈസർ കോൺഫിഗുകൾ. പ്രൊഡക്ഷൻ ഡാറ്റയ്ക്ക് അസാധുവായ ആകൃതികളിലേക്ക് നിശബ്ദമായി നീങ്ങാൻ കഴിയാത്തവിധം നിങ്ങൾക്ക് ഒരു ഇൻപുട്ട് കരാറും (പ്രതീക്ഷിക്കുന്ന കോളങ്ങൾ, തരങ്ങൾ, ശ്രേണികൾ) ആവശ്യമാണ്. സ്ഥിരത എന്നത് വെറും "ഒരേ ഘട്ടങ്ങൾ ചെയ്യുക" എന്നല്ല - അത് "ഒരേ ഘടിപ്പിച്ച പാരാമീറ്ററുകളും മാപ്പിംഗുകളും ഉപയോഗിച്ച് ഒരേ ഘട്ടങ്ങൾ ചെയ്യുക" എന്നതാണ്

കാലക്രമേണ ഡ്രിഫ്റ്റ്, സ്ക്യൂ പോലുള്ള പ്രീപ്രോസസിംഗ് പ്രശ്നങ്ങൾ എനിക്ക് എങ്ങനെ നിരീക്ഷിക്കാൻ കഴിയും?

ഒരു സോളിഡ് പൈപ്പ്‌ലൈൻ ഉണ്ടെങ്കിലും, പ്രൊഡക്ഷൻ ഡാറ്റ മാറുന്നു. ഫീച്ചർ ഡിസ്ട്രിബ്യൂഷൻ മാറ്റങ്ങൾ നിരീക്ഷിക്കുകയും പരിശീലന-സേവന സ്ക്യൂ (പരിശീലനത്തിൽ നിന്ന് ഉൽ‌പാദനം വ്യതിചലിക്കുന്നു) അനുമാന ഡ്രിഫ്റ്റ് (കാലക്രമേണ ഉൽ‌പാദന മാറ്റങ്ങൾ) എന്നിവയെക്കുറിച്ച് മുന്നറിയിപ്പ് നൽകുകയും ചെയ്യുക എന്നതാണ് ഒരു പൊതു സമീപനം. മോണിറ്ററിംഗ് ഭാരം കുറഞ്ഞതോ (അടിസ്ഥാന വിതരണ പരിശോധനകൾ) കൈകാര്യം ചെയ്യുന്നതോ ആകാം (വെർട്ടെക്സ് AI മോഡൽ മോണിറ്ററിംഗ് പോലെ). ഇൻപുട്ട് ഷിഫ്റ്റുകൾ മോഡൽ പ്രകടനത്തെ സാവധാനം നശിപ്പിക്കുന്നതിന് മുമ്പ് - അവ നേരത്തെ പിടിക്കുക എന്നതാണ് ലക്ഷ്യം.

അവലംബം

[1] scikit-learn API: sklearn.preprocessing (എൻകോഡറുകൾ, സ്കെയിലറുകൾ, നോർമലൈസേഷൻ)
[2] scikit-learn: സാധാരണ പിഴവുകൾ - ഡാറ്റ ചോർച്ചയും അത് എങ്ങനെ ഒഴിവാക്കാം
[3] ഹഗ്ഗിംഗ് ഫേസ് ട്രാൻസ്ഫോർമറുകൾ ഡോക്‌സ്: ടോക്കണൈസറുകൾ (ഇൻപുട്ട് ഐഡികൾ, ശ്രദ്ധാ മാസ്കുകൾ)
[4] PyTorch Torchvision ഡോക്‌സ്: ട്രാൻസ്‌ഫോമുകൾ (വലുപ്പം മാറ്റുക/സാധാരണമാക്കുക + ക്രമരഹിതമായ ട്രാൻസ്‌ഫോമുകൾ)
[5] Google Cloud Vertex AI ഡോക്‌സ്: മോഡൽ മോണിറ്ററിംഗ് അവലോകനം (ഫീച്ചർ സ്‌ക്യൂ & ഡ്രിഫ്റ്റ്)

ഔദ്യോഗിക AI അസിസ്റ്റന്റ് സ്റ്റോറിൽ ഏറ്റവും പുതിയ AI കണ്ടെത്തുക

ഞങ്ങളേക്കുറിച്ച്