എന്താണ് എഡ്ജ് AI?

ഡാറ്റ ജനിക്കുന്ന സ്ഥലങ്ങളിലേക്ക് എഡ്ജ് AI ബുദ്ധിശക്തിയെ എത്തിക്കുന്നു. കേൾക്കുമ്പോൾ അതിശയകരമായി തോന്നുമെങ്കിലും, പ്രധാന ആശയം ലളിതമാണ്: ഫലങ്ങൾ പിന്നീട് കാണുന്നതിന് പകരം ഇപ്പോൾ തന്നെ സെൻസറിന് തൊട്ടടുത്തായി ചിന്തിക്കുക. ഓരോ തീരുമാനവും ശ്രദ്ധിക്കാതെ തന്നെ വേഗത, വിശ്വാസ്യത, മാന്യമായ ഒരു സ്വകാര്യതാ കഥ എന്നിവ നിങ്ങൾക്ക് ലഭിക്കും. നമുക്ക് അത് അൺപാക്ക് ചെയ്യാം - കുറുക്കുവഴികളും സൈഡ് ക്വസ്റ്റുകളും ഉൾപ്പെടുന്നു. 😅

ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:

🔗 എന്താണ് ജനറേറ്റീവ് AI?
ജനറേറ്റീവ് AI, അത് എങ്ങനെ പ്രവർത്തിക്കുന്നു, പ്രായോഗിക ഉപയോഗങ്ങൾ എന്നിവയെക്കുറിച്ചുള്ള വ്യക്തമായ വിശദീകരണം.

🔗 എന്താണ് ഏജന്റ് AI?
ഏജന്റ് AI, സ്വയംഭരണ സ്വഭാവങ്ങൾ, യഥാർത്ഥ ലോക ആപ്ലിക്കേഷൻ പാറ്റേണുകൾ എന്നിവയുടെ അവലോകനം.

🔗 എന്താണ് AI സ്കേലബിളിറ്റി
AI സിസ്റ്റങ്ങളെ എങ്ങനെ വിശ്വസനീയമായും, കാര്യക്ഷമമായും, ചെലവ് കുറഞ്ഞും സ്കെയിൽ ചെയ്യാമെന്ന് മനസിലാക്കുക.

🔗 AI-യ്ക്കുള്ള ഒരു സോഫ്റ്റ്‌വെയർ ഫ്രെയിംവർക്ക് എന്താണ്?
AI സോഫ്റ്റ്‌വെയർ ചട്ടക്കൂടുകളുടെ വിഭജനം, ആർക്കിടെക്ചർ നേട്ടങ്ങൾ, നടപ്പാക്കൽ അടിസ്ഥാനങ്ങൾ.

എഡ്ജ് AI എന്താണ്? ദ്രുത നിർവചനം 🧭

എഡ്ജ് AI എന്നത് പരിശീലനം ലഭിച്ച മെഷീൻ ലേണിംഗ് മോഡലുകൾ ഡാറ്റ ശേഖരിക്കുന്ന ഉപകരണങ്ങളിൽ അല്ലെങ്കിൽ അവയ്ക്ക് സമീപം പ്രവർത്തിപ്പിക്കുന്ന രീതിയാണ് - ഫോണുകൾ, ക്യാമറകൾ, റോബോട്ടുകൾ, കാറുകൾ, വെയറബിളുകൾ, വ്യാവസായിക കൺട്രോളറുകൾ എന്നിങ്ങനെ. വിശകലനത്തിനായി വിദൂര സെർവറുകളിലേക്ക് അസംസ്കൃത ഡാറ്റ അയയ്ക്കുന്നതിനുപകരം, ഉപകരണം ഇൻപുട്ടുകൾ പ്രാദേശികമായി പ്രോസസ്സ് ചെയ്യുകയും സംഗ്രഹങ്ങൾ മാത്രം അയയ്ക്കുകയും ചെയ്യുന്നു അല്ലെങ്കിൽ ഒന്നും തന്നെ അയയ്ക്കുന്നില്ല. കുറച്ച് റൗണ്ട് ട്രിപ്പുകൾ, കുറഞ്ഞ കാലതാമസം, കൂടുതൽ നിയന്ത്രണം. നിങ്ങൾക്ക് വൃത്തിയുള്ള, വെണ്ടർ-ന്യൂട്രൽ വിശദീകരണം വേണമെങ്കിൽ, ഇവിടെ ആരംഭിക്കുക. [1]

എഡ്ജ് AI-യെ യഥാർത്ഥത്തിൽ ഉപയോഗപ്രദമാക്കുന്നത് എന്താണ്? 🌟

• കുറഞ്ഞ ലേറ്റൻസി - തീരുമാനങ്ങൾ ഉപകരണത്തിൽ തന്നെ നടക്കുന്നതിനാൽ, വസ്തുക്കൾ കണ്ടെത്തൽ, വേക്ക്-വേഡ് സ്പോട്ടിംഗ് അല്ലെങ്കിൽ അനോമലി അലേർട്ടുകൾ പോലുള്ള പെർസെപ്ഷൻ ടാസ്‌ക്കുകൾക്ക് പ്രതികരണങ്ങൾ തൽക്ഷണം അനുഭവപ്പെടുന്നു. [1]

• പ്രദേശം അനുസരിച്ചുള്ള സ്വകാര്യത - സെൻസിറ്റീവ് ഡാറ്റ ഉപകരണത്തിൽ തന്നെ തുടരാൻ കഴിയും, ഇത് എക്സ്പോഷർ കുറയ്ക്കുകയും ഡാറ്റ കുറയ്ക്കൽ ചർച്ചകളെ സഹായിക്കുകയും ചെയ്യും. [1]

• ബാൻഡ്‌വിഡ്ത്ത് സേവിംഗ്സ് - റോ സ്ട്രീമുകൾക്ക് പകരം സവിശേഷതകളോ ഇവന്റുകളോ അയയ്ക്കുക. [1]

• പ്രതിരോധശേഷി - സ്കെച്ചി കണക്റ്റിവിറ്റി സമയത്ത് പ്രവർത്തിക്കുന്നു.

• ചെലവ് നിയന്ത്രണം - കുറഞ്ഞ ക്ലൗഡ് കമ്പ്യൂട്ട് സൈക്കിളുകളും കുറഞ്ഞ എഗ്രസും.

• സന്ദർഭ അവബോധം - ഉപകരണം പരിസ്ഥിതിയെ "അനുഭവിക്കുകയും" പൊരുത്തപ്പെടുകയും ചെയ്യുന്നു.

ഒരു ചെറിയ കഥ: ഒരു റീട്ടെയിൽ പൈലറ്റ് ഉപകരണത്തിലെ വ്യക്തി-വസ്തു-വർഗ്ഗീകരണത്തിനായി സ്ഥിരമായ ക്യാമറ അപ്‌ലോഡുകൾ മാറ്റി, മണിക്കൂർ എണ്ണവും ഒഴിവാക്കൽ ക്ലിപ്പുകളും മാത്രം പുഷ് ചെയ്തു. ഫലം: ഷെൽഫ് അരികിൽ 200 ms-ൽ താഴെ അലേർട്ടുകളും സ്റ്റോർ WAN കരാറുകളിൽ മാറ്റം വരുത്താതെ അപ്‌ലിങ്ക് ട്രാഫിക്കിൽ ~90% കുറവും. (രീതി: പ്രാദേശിക അനുമാനം, ഇവന്റ് ബാച്ചിംഗ്, അപാകതകൾ മാത്രം.)

എഡ്ജ് AI vs ക്ലൗഡ് AI - ദ്രുത കോൺട്രാസ്റ്റ് 🥊

• കമ്പ്യൂട്ട് നടക്കുന്നിടത്ത് : എഡ്ജ് = ഉപകരണത്തിൽ/ഉപകരണത്തിന് സമീപം; ക്ലൗഡ് = വിദൂര ഡാറ്റാ സെന്ററുകൾ.

• ലേറ്റൻസി : എഡ്ജ് ≈ തത്സമയം; മേഘത്തിന് റൗണ്ട് ട്രിപ്പുകൾ ഉണ്ട്.

• ഡാറ്റ ചലനം : എഡ്ജ് ആദ്യം ഫിൽട്ടർ ചെയ്യുന്നു/കംപ്രസ് ചെയ്യുന്നു; ക്ലൗഡ് പൂർണ്ണ വിശ്വാസ്യതയുള്ള അപ്‌ലോഡുകൾ ഇഷ്ടപ്പെടുന്നു.

• വിശ്വാസ്യത : എഡ്ജ് ഓഫ്‌ലൈനിൽ പ്രവർത്തിക്കുന്നു; ക്ലൗഡിന് കണക്റ്റിവിറ്റി ആവശ്യമാണ്.

• ഗവേണൻസ് : എഡ്ജ് ഡാറ്റ മിനിമൈസേഷനെ പിന്തുണയ്ക്കുന്നു; ക്ലൗഡ് മേൽനോട്ടം കേന്ദ്രീകരിക്കുന്നു. [1]

ഇത് രണ്ടും അല്ല-അല്ല. സ്മാർട്ട് സിസ്റ്റങ്ങൾ രണ്ടും സംയോജിപ്പിക്കുന്നു: പ്രാദേശികമായി വേഗത്തിലുള്ള തീരുമാനങ്ങൾ, ആഴത്തിലുള്ള അനലിറ്റിക്സ്, ഫ്ലീറ്റ് പഠനം എന്നിവ കേന്ദ്രീകൃതമായി. ഹൈബ്രിഡ് ഉത്തരം വിരസവും ശരിയുമാണ്.

എഡ്ജ് AI യഥാർത്ഥത്തിൽ എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത് 🧩

1. സെൻസറുകൾ റോ സിഗ്നലുകൾ പകർത്തുന്നു - ഓഡിയോ ഫ്രെയിമുകൾ, ക്യാമറ പിക്സലുകൾ, IMU ടാപ്പുകൾ, വൈബ്രേഷൻ ട്രെയ്‌സുകൾ.

2. പ്രീപ്രോസസിംഗ് ആ സിഗ്നലുകളെ മോഡൽ-സൗഹൃദ സവിശേഷതകളാക്കി പുനർനിർമ്മിക്കുന്നു.

3. ലഭ്യമാകുമ്പോൾ ആക്സിലറേറ്ററുകൾ ഉപയോഗിച്ച് ഉപകരണത്തിൽ ഒരു കോം‌പാക്റ്റ് മോഡൽ ഇൻഫെറേഷൻ റൺടൈം

4. പോസ്റ്റ്‌പ്രോസസിംഗ് ഔട്ട്‌പുട്ടുകളെ ഇവന്റുകൾ, ലേബലുകൾ അല്ലെങ്കിൽ നിയന്ത്രണ പ്രവർത്തനങ്ങളാക്കി മാറ്റുന്നു.

5. ടെലിമെട്രി ഉപയോഗപ്രദമായത് മാത്രമേ അപ്‌ലോഡ് ചെയ്യുന്നുള്ളൂ: സംഗ്രഹങ്ങൾ, അപാകതകൾ, അല്ലെങ്കിൽ ആനുകാലിക ഫീഡ്‌ബാക്ക്.

LiteRT (മുമ്പ് TensorFlow Lite), ONNX റൺടൈം , ഇന്റലിന്റെ OpenVINO ഉപകരണത്തിലെ റൺടൈമുകളിൽ നിങ്ങൾക്ക് കാണാൻ കഴിയും . ക്വാണ്ടൈസേഷൻ, ഓപ്പറേറ്റർ ഫ്യൂഷൻ പോലുള്ള തന്ത്രങ്ങൾ ഉപയോഗിച്ച് ഈ ടൂൾചെയിനുകൾ ഇറുകിയ പവർ/മെമ്മറി ബജറ്റുകളിൽ നിന്ന് ത്രൂപുട്ട് പിഴിഞ്ഞെടുക്കുന്നു. നിങ്ങൾക്ക് നട്ട്‌സും ബോൾട്ടുകളും ഇഷ്ടമാണെങ്കിൽ, അവയുടെ ഡോക്‌സ് മികച്ചതാണ്. [3][4]

അത് എവിടെയാണ് കാണിക്കുന്നത് - നിങ്ങൾക്ക് 🧯🚗🏭 എന്നതിലേക്ക് ചൂണ്ടിക്കാണിക്കാവുന്ന യഥാർത്ഥ ഉപയോഗ കേസുകൾ

• അരികിലെ കാഴ്ച : ഡോർബെൽ ക്യാമറകൾ (ആളുകൾ vs വളർത്തുമൃഗങ്ങൾ), ചില്ലറ വിൽപ്പനയിൽ ഷെൽഫ് സ്കാനിംഗ്, തകരാറുകൾ കണ്ടെത്തുന്ന ഡ്രോണുകൾ.

• ഉപകരണത്തിലെ ഓഡിയോ : ഉണർത്തൽ വാക്കുകൾ, ആജ്ഞാപിക്കൽ, സസ്യങ്ങളിലെ ചോർച്ച കണ്ടെത്തൽ.

• വ്യാവസായിക ഐഒടി : മോട്ടോറുകളും പമ്പുകളും പരാജയപ്പെടുന്നതിന് മുമ്പ് വൈബ്രേഷൻ അപാകതകൾക്കായി നിരീക്ഷിക്കുന്നു.

• ഓട്ടോമോട്ടീവ് : ഡ്രൈവർ നിരീക്ഷണം, ലെയ്ൻ കണ്ടെത്തൽ, പാർക്കിംഗ് അസിസ്റ്റുകൾക്ക് താഴെ അല്ലെങ്കിൽ ബസ്റ്റ്.

• ആരോഗ്യ സംരക്ഷണം : വെയറബിളുകൾ അരിഹ്‌മിയയെ പ്രാദേശികമായി ഫ്ലാഗ് ചെയ്യുന്നു; സംഗ്രഹങ്ങൾ പിന്നീട് സമന്വയിപ്പിക്കുക.

• സ്മാർട്ട്‌ഫോണുകൾ : ഫോട്ടോ മെച്ചപ്പെടുത്തൽ, സ്പാം-കോൾ കണ്ടെത്തൽ, “എന്റെ ഫോൺ എങ്ങനെയാണ് ഓഫ്‌ലൈനിൽ അങ്ങനെ ചെയ്തത്” നിമിഷങ്ങൾ.

ഔപചാരിക നിർവചനങ്ങൾക്കും (“മൂടൽമഞ്ഞ് vs അറ്റം” എന്ന കസിൻ സംവാദത്തിനും), NIST ആശയപരമായ മാതൃക കാണുക. [2]

അതിനെ കൂടുതൽ വേഗതയുള്ളതാക്കുന്ന ഹാർഡ്‌വെയർ 🔌

ചില പ്ലാറ്റ്‌ഫോമുകൾക്ക് ധാരാളം പേര് പരിശോധിക്കപ്പെടുന്നു:

• എൻ‌വിഡിയ ജെറ്റ്‌സൺ - റോബോട്ടുകൾ/ക്യാമറകൾക്കായുള്ള ജിപിയു-പവർ മൊഡ്യൂളുകൾ-എംബഡഡ് എഐയ്‌ക്കുള്ള സ്വിസ്-ആർമി-നൈഫ് വൈബുകൾ.

• ഗൂഗിൾ എഡ്ജ് TPU + LiteRT - അൾട്രാ-ലോ-പവർ പ്രോജക്റ്റുകൾക്കായി കാര്യക്ഷമമായ പൂർണ്ണസംഖ്യ അനുമാനവും സ്ട്രീംലൈൻ ചെയ്ത റൺടൈമും. [3]

• ആപ്പിൾ ന്യൂറൽ എഞ്ചിൻ (ANE) - ഐഫോൺ, ഐപാഡ്, മാക് എന്നിവയ്‌ക്കായുള്ള ഉപകരണത്തിലെ വളരെ ലളിതമായ ML; ANE-യിൽ ട്രാൻസ്‌ഫോർമറുകൾ കാര്യക്ഷമമായി വിന്യസിക്കുന്നതിനുള്ള പ്രായോഗിക പ്രവർത്തനങ്ങൾ ആപ്പിൾ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്. [5]

• OpenVINO ഉള്ള ഇന്റൽ CPU-കൾ/iGPU-കൾ/NPU-കൾ - ഇന്റൽ ഹാർഡ്‌വെയറിലുടനീളം “ഒരിക്കൽ എഴുതുക, എവിടെയും വിന്യസിക്കുക”; ഉപയോഗപ്രദമായ ഒപ്റ്റിമൈസേഷൻ കടന്നുപോകുന്നു.

• എല്ലായിടത്തും ONNX റൺടൈം - ഫോണുകൾ, പിസികൾ, ഗേറ്റ്‌വേകൾ എന്നിവയിലുടനീളം പ്ലഗ്ഗബിൾ എക്സിക്യൂഷൻ ദാതാക്കളുള്ള ഒരു ന്യൂട്രൽ റൺടൈം. [4]

നിങ്ങൾക്ക് അവയെല്ലാം ആവശ്യമുണ്ടോ? ശരിക്കും വേണ്ട. നിങ്ങളുടെ ഫ്ലീറ്റിന് അനുയോജ്യമായ ഒരു ശക്തമായ പാത തിരഞ്ഞെടുത്ത് അതിൽ ഉറച്ചുനിൽക്കുക - ഉൾച്ചേർത്ത ടീമുകളുടെ ശത്രു ചൂർൺ ആണ്.

സോഫ്റ്റ്‌വെയർ സ്റ്റാക്ക് - ഒരു ചെറിയ ടൂർ 🧰

• മോഡൽ കംപ്രഷൻ : ക്വാണ്ടൈസേഷൻ (പലപ്പോഴും int8 ലേക്ക്), പ്രൂണിംഗ്, ഡിസ്റ്റിലേഷൻ.

• ഓപ്പറേറ്റർ-ലെവൽ ആക്സിലറേഷൻ : കേർണലുകൾ നിങ്ങളുടെ സിലിക്കണിലേക്ക് ട്യൂൺ ചെയ്തിരിക്കുന്നു.

• പ്രവർത്തനസമയം : LiteRT, ONNX റൺടൈം, ഓപ്പൺവിനോ. [3][4]

• വിന്യാസ റാപ്പറുകൾ : കണ്ടെയ്‌നറുകൾ/ആപ്പ് ബണ്ടിലുകൾ; ചിലപ്പോൾ ഗേറ്റ്‌വേകളിൽ മൈക്രോ സർവീസുകൾ.

• എഡ്ജിനുള്ള MLOps : OTA മോഡൽ അപ്‌ഡേറ്റുകൾ, A/B റോൾഔട്ട്, ടെലിമെട്രി ലൂപ്പുകൾ.

• സ്വകാര്യതയും സുരക്ഷാ നിയന്ത്രണങ്ങളും : ഉപകരണത്തിലെ എൻക്രിപ്ഷൻ, സുരക്ഷിത ബൂട്ട്, അറ്റസ്റ്റേഷൻ, എൻക്ലേവുകൾ.

മിനി-കേസ്: ഒരു ഇൻസ്പെക്ഷൻ ഡ്രോൺ ടീം ഒരു ഹെവിവെയ്റ്റ് ഡിറ്റക്ടറിനെ LiteRT-യ്‌ക്കായി ഒരു ക്വാണ്ടൈസ്ഡ് സ്റ്റുഡന്റ് മോഡലിലേക്ക് വാറ്റിയെടുത്തു, തുടർന്ന് NMS ഓൺ-ഡിവൈസിൽ ലയിപ്പിച്ചു. കുറഞ്ഞ കമ്പ്യൂട്ട് ഡ്രോ കാരണം ഫ്ലൈറ്റ് സമയം ~15% മെച്ചപ്പെട്ടു; അപ്‌ലോഡ് വോളിയം എക്‌സെപ്ഷൻ ഫ്രെയിമുകളിലേക്ക് ചുരുങ്ങി. (രീതി: സൈറ്റിലെ ഡാറ്റാസെറ്റ് ക്യാപ്‌ചർ, പോസ്റ്റ്-ക്വാണ്ട് കാലിബ്രേഷൻ, പൂർണ്ണമായി പുറത്തിറങ്ങുന്നതിന് മുമ്പ് ഷാഡോ-മോഡ് A/B.)

താരതമ്യ പട്ടിക - ജനപ്രിയ എഡ്ജ് AI ഓപ്ഷനുകൾ 🧪

യഥാർത്ഥ സംസാരം: ഈ മേശയിൽ അഭിപ്രായഭിന്നതയും അൽപ്പം കുഴപ്പവുമുണ്ട് - യഥാർത്ഥ ലോകത്തെ പോലെ തന്നെ.

ഒരു എഡ്ജ് AI പാത്ത് എങ്ങനെ തിരഞ്ഞെടുക്കാം - ഒരു ചെറിയ തീരുമാന വൃക്ഷം 🌳

• ജീവിതത്തിൽ തത്സമയം ബുദ്ധിമുട്ടാണോ? ആക്സിലറേറ്ററുകൾ + ക്വാണ്ടൈസ്ഡ് മോഡലുകൾ ഉപയോഗിച്ച് ആരംഭിക്കൂ.

• പലതരം ഉപകരണങ്ങളുണ്ടോ? പോർട്ടബിലിറ്റിക്ക് ONNX റൺടൈമോ ഓപ്പൺവിനോയോ തിരഞ്ഞെടുക്കുക. [4]

• ഒരു മൊബൈൽ ആപ്പ് ഷിപ്പിംഗ് ചെയ്യുന്നുണ്ടോ? LiteRT ആണ് ഏറ്റവും കുറഞ്ഞ പ്രതിരോധത്തിന്റെ പാത. [3]

• റോബോട്ടിക്സോ ക്യാമറ അനലിറ്റിക്സോ? ​​ജെറ്റ്‌സണിന്റെ GPU-സൗഹൃദ പ്രവർത്തനങ്ങൾ സമയം ലാഭിക്കുന്നു.

• കർശനമായ സ്വകാര്യതാ നിലപാട് സ്വീകരിക്കണോ? ഡാറ്റ ലോക്കലായി സൂക്ഷിക്കുക, വിശ്രമത്തിൽ എൻക്രിപ്റ്റ് ചെയ്യുക, റോ ഫ്രെയിമുകളല്ല ലോഗ് അഗ്രഗേറ്റുകൾ സൂക്ഷിക്കുക.

• ചെറിയ ടീമാണോ? വിദേശ ടൂൾചെയിനുകൾ ഒഴിവാക്കുക - വിരസത മനോഹരമാണ്.

• മോഡലുകൾ ഇടയ്ക്കിടെ മാറുമോ? ആദ്യ ദിവസം മുതൽ OTA യും ടെലിമെട്രിയും ആസൂത്രണം ചെയ്യണോ?

അപകടസാധ്യതകൾ, പരിധികൾ, വിരസമായ എന്നാൽ പ്രധാനപ്പെട്ട കാര്യങ്ങൾ 🧯

• മോഡൽ ഡ്രിഫ്റ്റ് - പരിതസ്ഥിതികൾ മാറുന്നു; വിതരണങ്ങൾ നിരീക്ഷിക്കുക, ഷാഡോ മോഡുകൾ പ്രവർത്തിപ്പിക്കുക, ഇടയ്ക്കിടെ വീണ്ടും പരിശീലിപ്പിക്കുക.

• കമ്പ്യൂട്ട് സീലിംഗ് - ഇറുകിയ മെമ്മറി/പവർ ഫോഴ്‌സ് ചെറിയ മോഡലുകൾ അല്ലെങ്കിൽ വിശ്രമിച്ച കൃത്യത.

• സുരക്ഷ - ഭൗതിക ആക്‌സസ് അനുമാനിക്കുക; സുരക്ഷിത ബൂട്ട്, ഒപ്പിട്ട ആർട്ടിഫാക്‌റ്റുകൾ, അറ്റസ്റ്റേഷൻ, കുറഞ്ഞ ആനുകൂല്യ സേവനങ്ങൾ എന്നിവ ഉപയോഗിക്കുക.

• ഡാറ്റ ഗവേണൻസ് - ലോക്കൽ പ്രോസസ്സിംഗ് സഹായിക്കുന്നു, പക്ഷേ നിങ്ങൾക്ക് ഇപ്പോഴും സമ്മതം, നിലനിർത്തൽ, സ്കോപ്പ്ഡ് ടെലിമെട്രി എന്നിവ ആവശ്യമാണ്.

• ഫ്ലീറ്റ് ഓപ്‌സ് - ഏറ്റവും മോശം സമയങ്ങളിൽ ഉപകരണങ്ങൾ ഓഫ്‌ലൈനിൽ പോകുന്നു; ഡിസൈൻ മാറ്റിവച്ച അപ്‌ഡേറ്റുകളും പുനരാരംഭിക്കാവുന്ന അപ്‌ലോഡുകളും.

• ടാലന്റ് മിക്സ് - എംബഡഡ് + എംഎൽ + ഡെവോപ്സ് ഒരു വൈവിധ്യമാർന്ന സംഘമാണ്; നേരത്തെ ക്രോസ്-ട്രെയിൻ ചെയ്യുക.

ഉപയോഗപ്രദമായ എന്തെങ്കിലും ഷിപ്പ് ചെയ്യുന്നതിനുള്ള ഒരു പ്രായോഗിക മാർഗരേഖ 🗺️

1. ലൈൻ 3-ൽ അളക്കാവുന്ന മൂല്യ-വൈകല്യ കണ്ടെത്തൽ, സ്മാർട്ട് സ്പീക്കറിൽ വേക്ക് വേഡ് മുതലായവയുള്ള ഒരു ഉപയോഗ കേസ് തിരഞ്ഞെടുക്കുക.

2. ഒരു വൃത്തിയുള്ള ഡാറ്റാസെറ്റ് ശേഖരിക്കുക ; യാഥാർത്ഥ്യവുമായി പൊരുത്തപ്പെടുന്നതിന് ശബ്ദം കുത്തിവയ്ക്കുക.

3. പ്രൊഡക്ഷൻ ഹാർഡ്‌വെയറിനടുത്തുള്ള ഒരു ഡെവലപ്‌മെന്റ് കിറ്റിലെ പ്രോട്ടോടൈപ്പ്

4. മോഡൽ കംപ്രസ് ചെയ്യുക ; കൃത്യതാ നഷ്ടം സത്യസന്ധമായി അളക്കുക. [3]

5. ബാക്ക്പ്രഷറും വാച്ച്ഡോഗുകളും ഉപയോഗിച്ച് ഒരു ക്ലീൻ API-യിൽ ഇൻഫറൻസ് പൊതിയുക

6. സ്വകാര്യതയെ മാനിക്കുന്ന ടെലിമെട്രി രൂപകൽപ്പന ചെയ്യുക

7. കർശനമായ സുരക്ഷ : ഒപ്പിട്ട ബൈനറികൾ, സുരക്ഷിത ബൂട്ട്, കുറഞ്ഞ സേവനങ്ങൾ തുറന്നിരിക്കുന്നു.

8. പ്ലാൻ OTA : സ്തംഭിച്ച റോളൗട്ടുകൾ, കാനറികൾ, തൽക്ഷണ റോൾബാക്ക്.

9. ഒരു ഘോരമായ കോർണർ കേസിൽ ആദ്യം പൈലറ്റ് ചെയ്യുക - അത് അവിടെ അതിജീവിച്ചാൽ, അത് എവിടെയും അതിജീവിക്കും.

10. ഒരു പ്ലേബുക്ക് ഉപയോഗിച്ച് സ്കെയിൽ ചെയ്യുക : മോഡലുകൾ എങ്ങനെ ചേർക്കാം, കീകൾ തിരിക്കുക, ഡാറ്റ ആർക്കൈവ് ചെയ്യുക - അതിനാൽ പ്രോജക്റ്റ് #2 കുഴപ്പമല്ല.

പതിവുചോദ്യങ്ങൾ - കൗതുകങ്ങൾ എന്താണ്

എഡ്ജ് AI ഒരു ചെറിയ കമ്പ്യൂട്ടറിൽ ഒരു ചെറിയ മോഡൽ പ്രവർത്തിപ്പിക്കുകയാണോ?
മിക്കവാറും, അതെ-പക്ഷേ വലുപ്പമല്ല മുഴുവൻ കഥ. ഇത് ലേറ്റൻസി ബജറ്റുകൾ, സ്വകാര്യതാ വാഗ്ദാനങ്ങൾ, പ്രാദേശികമായി പ്രവർത്തിക്കുന്ന നിരവധി ഉപകരണങ്ങൾ സംഘടിപ്പിക്കൽ, ആഗോളതലത്തിൽ പഠിക്കൽ എന്നിവയെക്കുറിച്ചും ആണ്. [1]

എനിക്കും എഡ്ജിൽ പരിശീലനം നൽകാൻ കഴിയുമോ?
ഭാരം കുറഞ്ഞ ഓൺ-ഡിവൈസ് പരിശീലനം/വ്യക്തിഗതമാക്കൽ നിലവിലുണ്ട്; കൂടുതൽ ശക്തമായ പരിശീലനം ഇപ്പോഴും കേന്ദ്രീകൃതമായി പ്രവർത്തിക്കുന്നു. നിങ്ങൾ സാഹസികത ഇഷ്ടപ്പെടുന്ന ആളാണെങ്കിൽ ONNX റൺടൈം ഓൺ-ഡിവൈസ് പരിശീലന ഓപ്ഷനുകൾ രേഖപ്പെടുത്തുന്നു. [4]

എഡ്ജ് AI vs ഫോഗ് കമ്പ്യൂട്ടിംഗ് എന്താണ്?
ഫോഗും എഡ്ജും കസിൻസാണ്. രണ്ടും കമ്പ്യൂട്ടിനെ ഡാറ്റാ സ്രോതസ്സുകളിലേക്ക് അടുപ്പിക്കുന്നു, ചിലപ്പോൾ സമീപത്തുള്ള ഗേറ്റ്‌വേകൾ വഴി. ഔപചാരിക നിർവചനങ്ങൾക്കും സന്ദർഭത്തിനും, NIST കാണുക. [2]

എഡ്ജ് AI എപ്പോഴും സ്വകാര്യത മെച്ചപ്പെടുത്തുമോ?
അത് സഹായിക്കുന്നു - പക്ഷേ അത് മാജിക്കല്ല. നിങ്ങൾക്ക് ഇപ്പോഴും മിനിമൈസേഷൻ, സുരക്ഷിതമായ അപ്‌ഡേറ്റ് പാതകൾ, ശ്രദ്ധാപൂർവ്വമായ ലോഗിംഗ് എന്നിവ ആവശ്യമാണ്. സ്വകാര്യതയെ ഒരു ചെക്ക്‌ബോക്‌സായിട്ടല്ല, ഒരു ശീലമായി കണക്കാക്കുക.

നിങ്ങൾക്ക് വായിക്കാൻ കഴിയുന്ന ആഴത്തിലുള്ള പഠനങ്ങൾ 📚

1) കൃത്യതയെ തകർക്കാത്ത മോഡൽ ഒപ്റ്റിമൈസേഷൻ

ക്വാണ്ടൈസേഷൻ മെമ്മറി കുറയ്ക്കുകയും പ്രവർത്തനങ്ങളെ വേഗത്തിലാക്കുകയും ചെയ്യും, എന്നാൽ പ്രതിനിധി ഡാറ്റ ഉപയോഗിച്ച് കാലിബ്രേറ്റ് ചെയ്യുക അല്ലെങ്കിൽ മോഡൽ ട്രാഫിക് കോണുകൾ ഉള്ളിടത്ത് അണ്ണാൻമാരെ ഭ്രമിപ്പിക്കും. ഡിസ്റ്റിലേഷൻ - ഒരു ചെറിയ വിദ്യാർത്ഥിയെ നയിക്കുന്ന അധ്യാപകൻ - പലപ്പോഴും സെമാന്റിക്സ് സംരക്ഷിക്കുന്നു. [3]

2) പ്രായോഗികമായി എഡ്ജ് അനുമാന റൺടൈമുകൾ

LiteRT യുടെ ഇന്റർപ്രെറ്റർ റൺടൈമിൽ മനഃപൂർവ്വം സ്റ്റാറ്റിക്-ലെസ് മെമ്മറി ചർണിംഗ് ആണ്. എക്സിക്യൂഷൻ പ്രൊവൈഡർമാർ വഴി ONNX റൺടൈം വ്യത്യസ്ത ആക്സിലറേറ്ററുകളിലേക്ക് പ്ലഗ് ചെയ്യുന്നു. രണ്ടും ഒരു സിൽവർ ബുള്ളറ്റല്ല; രണ്ടും സോളിഡ് ഹാമറുകളാണ്. [3][4]

3) കാട്ടിലെ കരുത്ത്

ചൂട്, പൊടി, ഫ്ലേക്കി പവർ, സ്ലാപ്പ്ഡാഷ് വൈ-ഫൈ: പൈപ്പ്‌ലൈനുകൾ പുനരാരംഭിക്കുന്ന, തീരുമാനങ്ങൾ കാഷെ ചെയ്യുന്ന, നെറ്റ്‌വർക്ക് തിരിച്ചുവരുമ്പോൾ അനുരഞ്ജനം ചെയ്യുന്ന വാച്ച്‌ഡോഗുകളെ നിർമ്മിക്കുക. ശ്രദ്ധാകേന്ദ്രങ്ങളേക്കാൾ ഗ്ലാമറസ് കുറവാണ് - എന്നിരുന്നാലും കൂടുതൽ പ്രധാനമാണ്.

മീറ്റിംഗുകളിൽ നിങ്ങൾ ആവർത്തിക്കുന്ന വാചകം - എഡ്ജ് AI എന്താണ് 🗣️

ലേറ്റൻസി, സ്വകാര്യത, ബാൻഡ്‌വിഡ്ത്ത്, വിശ്വാസ്യത എന്നിവയുടെ പ്രായോഗിക പരിമിതികൾ നിറവേറ്റുന്നതിനായി എഡ്ജ് AI ഇന്റലിജൻസിനെ ഡാറ്റയിലേക്ക് അടുപ്പിക്കുന്നു. മാജിക് ഒരു ചിപ്പോ ചട്ടക്കൂടോ അല്ല - എവിടെ എന്ത് കണക്കാക്കണമെന്ന് ബുദ്ധിപൂർവ്വം തിരഞ്ഞെടുക്കുന്നതാണ്.

അന്തിമ കുറിപ്പുകൾ - വളരെ ദൈർഘ്യമേറിയതാണ്, ഞാൻ അത് വായിച്ചില്ല 🧵

എഡ്ജ് AI മോഡലുകൾ ഡാറ്റയ്ക്ക് സമീപം പ്രവർത്തിപ്പിക്കുന്നതിനാൽ ഉൽപ്പന്നങ്ങൾക്ക് വേഗതയേറിയതും സ്വകാര്യവും കരുത്തുറ്റതുമായി തോന്നുന്നു. രണ്ട് ലോകങ്ങളിലും മികച്ച രീതിയിൽ നിങ്ങൾക്ക് പ്രാദേശിക അനുമാനവും ക്ലൗഡ് മേൽനോട്ടവും സംയോജിപ്പിക്കാൻ കഴിയും. നിങ്ങളുടെ ഉപകരണങ്ങളുമായി പൊരുത്തപ്പെടുന്ന ഒരു റൺടൈം തിരഞ്ഞെടുക്കുക, കഴിയുമ്പോൾ ആക്സിലറേറ്ററുകളെ ആശ്രയിക്കുക, കംപ്രഷൻ ഉപയോഗിച്ച് മോഡലുകൾ വൃത്തിയായി സൂക്ഷിക്കുക, നിങ്ങളുടെ ജോലി അതിനെ ആശ്രയിച്ചിരിക്കുന്നതുപോലെ ഫ്ലീറ്റ് പ്രവർത്തനങ്ങൾ രൂപകൽപ്പന ചെയ്യുക - കാരണം, അങ്ങനെയായിരിക്കാം. എഡ്ജ് AI എന്താണെന്ന് , പറയുക: സമയബന്ധിതമായി പ്രാദേശികമായി എടുക്കുന്ന മികച്ച തീരുമാനങ്ങൾ. എന്നിട്ട് പുഞ്ചിരിച്ചുകൊണ്ട് വിഷയം ബാറ്ററികളിലേക്ക് മാറ്റുക. 🔋🙂

അവലംബം

1. IBM - എഡ്ജ് AI എന്താണ്? (നിർവചനം, നേട്ടങ്ങൾ).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: ഫോഗ് കമ്പ്യൂട്ടിംഗ് കൺസെപ്ച്വൽ മോഡൽ (ഫോഗ്/എഡ്ജ് എന്നതിനുള്ള ഔപചാരിക സന്ദർഭം).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. ഗൂഗിൾ എഐ എഡ്ജ് - ലൈറ്റ്ആർടി (മുമ്പ് ടെൻസർഫ്ലോ ലൈറ്റ്) (റൺടൈം, ക്വാണ്ടൈസേഷൻ, മൈഗ്രേഷൻ).
   https://ai.google.dev/edge/littert

4. ONNX റൺടൈം - ഓൺ-ഡിവൈസ് പരിശീലനം (പോർട്ടബിൾ റൺടൈം + എഡ്ജ് ഉപകരണങ്ങളിൽ പരിശീലനം).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. ആപ്പിൾ മെഷീൻ ലേണിംഗ് റിസർച്ച് - ആപ്പിൾ ന്യൂറൽ എഞ്ചിനിൽ ട്രാൻസ്ഫോർമറുകൾ വിന്യസിക്കൽ (ANE കാര്യക്ഷമതാ കുറിപ്പുകൾ).
   https://machinelearning.apple.com/research/neural-engine-transformers

ഔദ്യോഗിക AI അസിസ്റ്റന്റ് സ്റ്റോറിൽ ഏറ്റവും പുതിയ AI കണ്ടെത്തുക

ഞങ്ങളേക്കുറിച്ച്