വലിയ സെർവറുകളിലും ക്ലൗഡ് ജിപിയുകളിലും ആയിരുന്നു AI ജീവിച്ചിരുന്നത്. ഇപ്പോൾ അത് ചുരുങ്ങുകയും സെൻസറുകൾക്ക് തൊട്ടടുത്തായി സ്ലൈഡ് ചെയ്യുകയും ചെയ്യുന്നു. എംബഡഡ് സിസ്റ്റങ്ങൾക്കുള്ള AI അത്ര വിദൂരമായ ഒരു വാഗ്ദാനമല്ല - അത് ഫ്രിഡ്ജുകൾ, ഡ്രോണുകൾ, വെയറബിളുകൾ... ഒട്ടും "സ്മാർട്ട്" ആയി തോന്നാത്ത ഉപകരണങ്ങൾ പോലും.
ഈ മാറ്റം എന്തുകൊണ്ട് പ്രധാനമാണെന്നും, എന്താണ് ഇതിനെ ബുദ്ധിമുട്ടാക്കുന്നതെന്നും, ഏതൊക്കെ ഓപ്ഷനുകൾ നിങ്ങളുടെ സമയത്തിന് വിലപ്പെട്ടതാണെന്നും ഇതാ.
ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:
🔗 ധാർമ്മിക അനുസരണവും സുതാര്യവുമായ AI സംവിധാനങ്ങൾ ഉറപ്പാക്കുന്ന മികച്ച AI ഗവേണൻസ് ഉപകരണങ്ങൾ
ധാർമ്മികവും, അനുസരണയുള്ളതും, സുതാര്യവുമായ AI നിലനിർത്താൻ സഹായിക്കുന്ന ഉപകരണങ്ങളിലേക്കുള്ള വഴികാട്ടി.
🔗 AI-യ്ക്കുള്ള ഒബ്ജക്റ്റ് സംഭരണം: തിരഞ്ഞെടുപ്പുകൾ, തിരഞ്ഞെടുപ്പുകൾ, തിരഞ്ഞെടുപ്പുകൾ
AI വർക്ക്ലോഡുകൾക്ക് അനുയോജ്യമായ ഒബ്ജക്റ്റ് സ്റ്റോറേജ് ഓപ്ഷനുകളുടെ താരതമ്യം.
🔗 AI-യ്ക്കുള്ള ഡാറ്റ സംഭരണ ആവശ്യകതകൾ: നിങ്ങൾ ശരിക്കും അറിയേണ്ടത്
AI ഡാറ്റ സംഭരണം ആസൂത്രണം ചെയ്യുമ്പോൾ പരിഗണിക്കേണ്ട പ്രധാന ഘടകങ്ങൾ.
എംബഡഡ് സിസ്റ്റങ്ങൾക്കുള്ള AI🌱
എംബഡഡ് ഉപകരണങ്ങൾ ചെറുതാണ്, പലപ്പോഴും ബാറ്ററിയിൽ പ്രവർത്തിക്കുന്നതും, വിഭവങ്ങൾ പരിമിതപ്പെടുത്തുന്നതുമാണ്. എന്നിരുന്നാലും AI വലിയ വിജയങ്ങൾ തുറക്കുന്നു:
-
ക്ലൗഡ് റൗണ്ട് ട്രിപ്പുകൾ ഇല്ലാതെ തത്സമയ തീരുമാനങ്ങൾ
-
രൂപകൽപ്പന പ്രകാരമുള്ള സ്വകാര്യത - റോ ഡാറ്റ ഉപകരണത്തിൽ തുടരാം.
-
മില്ലിസെക്കൻഡ് പ്രധാനമാകുമ്പോൾ ലേറ്റൻസി കുറയ്ക്കുക
-
ശ്രദ്ധാപൂർവ്വമായ മോഡൽ + ഹാർഡ്വെയർ തിരഞ്ഞെടുപ്പുകൾ വഴി ഊർജ്ജ അവബോധ അനുമാനം
ഇവ കൈകൊണ്ട് അലയടിക്കുന്ന ഗുണങ്ങളല്ല: കമ്പ്യൂട്ടിനെ അരികിലേക്ക് തള്ളിവിടുന്നത് നെറ്റ്വർക്ക് ആശ്രിതത്വം കുറയ്ക്കുകയും പല ഉപയോഗ കേസുകളിലും സ്വകാര്യത ശക്തിപ്പെടുത്തുകയും ചെയ്യുന്നു [1].
ഈ തന്ത്രം ബലപ്രയോഗത്തിലൂടെയുള്ളതല്ല - പരിമിതമായ വിഭവങ്ങൾ ഉപയോഗിച്ച് സമർത്ഥമായി പ്രവർത്തിക്കുക എന്നതാണ്. ഒരു ബാക്ക്പാക്ക് ഉപയോഗിച്ച് ഒരു മാരത്തൺ ഓടുന്നത് ഓർക്കുക... എഞ്ചിനീയർമാർ ഇഷ്ടികകൾ നീക്കം ചെയ്യുന്നത് തുടരുന്നു.
എംബഡഡ് സിസ്റ്റങ്ങൾക്കായുള്ള AI-യുടെ ദ്രുത താരതമ്യ പട്ടിക 📝
| ഉപകരണം / ഫ്രെയിംവർക്ക് | അനുയോജ്യമായ പ്രേക്ഷകർ | വില (ഏകദേശം) | ഇത് എന്തുകൊണ്ട് പ്രവർത്തിക്കുന്നു (വിചിത്രമായ കുറിപ്പുകൾ) |
|---|---|---|---|
| ടെൻസർഫ്ലോ ലൈറ്റ് | ഡെവലപ്പർമാർ, ഹോബിയിസ്റ്റുകൾ | സൗ ജന്യം | ഒതുക്കമുള്ള, കൊണ്ടുനടക്കാവുന്ന, മികച്ച MCU → മൊബൈൽ കവറേജ് |
| എഡ്ജ് ഇംപൾസ് | തുടക്കക്കാരും സ്റ്റാർട്ടപ്പുകളും | ഫ്രീമിയം ടയറുകൾ | ഡ്രാഗ്-ആൻഡ്-ഡ്രോപ്പ് വർക്ക്ഫ്ലോ - “AI LEGO” പോലെ |
| എൻവിഡിയ ജെറ്റ്സൺ പ്ലാറ്റ്ഫോം | എഞ്ചിനീയർമാർക്ക് വൈദ്യുതി ആവശ്യമാണ് | $$$ (വിലകുറഞ്ഞതല്ല) | കനത്ത കാഴ്ച/ജോലിഭാരം എന്നിവയ്ക്കുള്ള GPU + ആക്സിലറേറ്ററുകൾ |
| TinyML (Arduino വഴി) | അധ്യാപകർ, പ്രോട്ടോടൈപ്പർമാർ | ചെലവുകുറഞ്ഞത് | സമീപിക്കാവുന്നത്; സമൂഹത്താൽ നയിക്കപ്പെടുന്നത് ❤️ |
| ക്വാൽകോം AI എഞ്ചിൻ | OEM-കൾ, മൊബൈൽ നിർമ്മാതാക്കൾ | വ്യത്യാസപ്പെടുന്നു | സ്നാപ്ഡ്രാഗണിൽ NPU-ത്വരിതപ്പെടുത്തിയത് - വളരെ വേഗതയുള്ളത് |
| എക്സിക്യൂട്ടീവ് ടോർച്ച് (പൈടോർച്ച്) | മൊബൈൽ & എഡ്ജ് ഡെവലപ്പർമാർ | സൗ ജന്യം | ഫോണുകൾ/ധരിക്കാവുന്നവ/എംബെഡഡ് എന്നിവയ്ക്കായുള്ള ഓൺ-ഡിവൈസ് പൈടോർച്ച് റൺടൈം [5] |
(അതെ, അസമമാണ്. യാഥാർത്ഥ്യവും അങ്ങനെ തന്നെ.)
എംബഡഡ് ഉപകരണങ്ങളിലെ AI വ്യവസായത്തിന് എന്തുകൊണ്ട് പ്രധാനമാകുന്നു 🏭
വെറും ഹൈപ്പ് മാത്രമല്ല: ഫാക്ടറി ലൈനുകളിൽ, കോംപാക്റ്റ് മോഡലുകൾ വൈകല്യങ്ങൾ കണ്ടെത്തുന്നു; കാർഷിക മേഖലയിൽ, കുറഞ്ഞ പവർ നോഡുകൾ വയലിലെ മണ്ണ് വിശകലനം ചെയ്യുന്നു; വാഹനങ്ങളിൽ, സുരക്ഷാ സവിശേഷതകൾ ബ്രേക്കിംഗിന് മുമ്പ് "വീട്ടിലേക്ക് വിളിക്കാൻ" കഴിയില്ല. ലേറ്റൻസിയും സ്വകാര്യതയും വിലപേശാനാവാത്തപ്പോൾ , കമ്പ്യൂട്ട് അരികിലേക്ക് നീക്കുന്നത് ഒരു തന്ത്രപരമായ ലിവർ ആണ് [1].
TinyML: എംബഡഡ് AI യുടെ നിശബ്ദ നായകൻ 🐜
TinyML മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നത് - എന്നിട്ടും കീവേഡ് സ്പോട്ടിംഗ്, ജെസ്റ്റർ റെക്കഗ്നിഷൻ, അനോമലി ഡിറ്റക്ഷൻ തുടങ്ങിയവ ഇപ്പോഴും ചെയ്യുന്നു. ഒരു മൗസ് ഒരു ഇഷ്ടിക ഉയർത്തുന്നത് കാണുന്നത് പോലെയാണ് ഇത്. വിചിത്രമായി തൃപ്തികരമാണ്.
ഒരു ദ്രുത മാനസിക മാതൃക:
-
ഡാറ്റ കാൽപ്പാടുകൾ : ചെറുത്, സ്ട്രീമിംഗ് സെൻസർ ഇൻപുട്ടുകൾ.
-
മോഡലുകൾ : കോംപാക്റ്റ് സിഎൻഎൻ/ആർഎൻഎൻ, ക്ലാസിക്കൽ എംഎൽ, അല്ലെങ്കിൽ സ്പാർസിഫൈഡ്/ക്വാണ്ടൈസ്ഡ് നെറ്റ്സ്.
-
ബജറ്റുകൾ : മില്ലിവാട്ട്സ്, വാട്ട്സ് അല്ല; KB–MB, GB അല്ല.
ഹാർഡ്വെയർ തിരഞ്ഞെടുപ്പുകൾ: ചെലവ് vs. പ്രകടനം ⚔️
ഹാർഡ്വെയർ തിരഞ്ഞെടുക്കുമ്പോഴാണ് പല പ്രോജക്ടുകളും പാളിപ്പോകുന്നത്:
-
റാസ്ബെറി പൈ ക്ലാസ് : സൗഹൃദപരവും പൊതുവായ ഉപയോഗത്തിനുള്ളതുമായ സിപിയു; പ്രോട്ടോടൈപ്പുകൾക്ക് അനുയോജ്യം.
-
NVIDIA Jetson പതിനായിരക്കണക്കിന് TOPS നൽകുന്നു, ഉദ്ദേശ്യത്തോടെ നിർമ്മിച്ച എഡ്ജ് AI മൊഡ്യൂളുകൾ (ഉദാ. Orin) - മികച്ചതാണ്, പക്ഷേ വിലയേറിയതും പവർ-ഹെവിയറുമാണ് [4].
-
ഗൂഗിൾ കോറൽ (എഡ്ജ് ടിപിയു) ഏകദേശം 2W (~2 TOPS/W) വേഗതയിൽ ~4 TOPS നൽകുന്ന ഒരു ASIC ആക്സിലറേറ്റർ - നിങ്ങളുടെ മോഡൽ നിയന്ത്രണങ്ങൾ പാലിക്കുമ്പോൾ അതിശയകരമായ പെർഫ്/W [3].
-
സ്മാർട്ട്ഫോൺ SoC-കൾ (സ്നാപ്ഡ്രാഗൺ) : ഉപകരണങ്ങളിൽ മോഡലുകൾ കാര്യക്ഷമമായി പ്രവർത്തിപ്പിക്കുന്നതിന് NPU-കളും SDK-കളും ഉപയോഗിച്ച് പ്രവർത്തിക്കുക.
പ്രധാന നിയമം: ചെലവ്, തെർമൽസ്, കമ്പ്യൂട്ട് എന്നിവ സന്തുലിതമാക്കുക. "എല്ലായിടത്തും മതി, മതി" എന്നത് പലപ്പോഴും "അത്യാധുനിക, ഒരിടത്തും ഇല്ല" എന്നതിനെ മറികടക്കുന്നു.
എംബഡഡ് സിസ്റ്റങ്ങൾക്കുള്ള AI-യിലെ സാധാരണ വെല്ലുവിളികൾ 🤯
എഞ്ചിനീയർമാർ പതിവായി ഇവയുമായി മല്ലിടാറുണ്ട്:
-
ഇടുങ്ങിയ മെമ്മറി : ചെറിയ ഉപകരണങ്ങൾക്ക് ഭീമൻ മോഡലുകൾ ഹോസ്റ്റ് ചെയ്യാൻ കഴിയില്ല.
-
ബാറ്ററി ബജറ്റുകൾ : ഓരോ മില്ലിയാമ്പും പ്രധാനമാണ്.
-
മോഡൽ ഒപ്റ്റിമൈസേഷൻ:
-
ക്വാണ്ടൈസേഷൻ → ചെറുതും വേഗതയേറിയതുമായ int8/float16 വെയ്റ്റുകൾ/ആക്ടിവേഷനുകൾ.
-
അരിവാൾകൊണ്ടുണ്ടാക്കൽ → സ്പാർസിറ്റിക്ക് വേണ്ടി നിസ്സാരമായ ഭാരം നീക്കം ചെയ്യുക.
-
ക്ലസ്റ്ററിംഗ്/ഭാരം പങ്കിടൽ → കൂടുതൽ കംപ്രസ് ചെയ്യുക.
ഉപകരണത്തിലെ കാര്യക്ഷമതയ്ക്കുള്ള സ്റ്റാൻഡേർഡ് സാങ്കേതിക വിദ്യകളാണിവ [2].
-
-
സ്കെയിലിംഗ് അപ്പ് : ഒരു ക്ലാസ് റൂം ആർഡ്വിനോ ഡെമോ ≠ സുരക്ഷ, സുരക്ഷ, ജീവിതചക്ര പരിമിതികൾ എന്നിവയുള്ള ഒരു ഓട്ടോമോട്ടീവ് പ്രൊഡക്ഷൻ സിസ്റ്റം.
ഡീബഗ്ഗിംഗ് ആണോ? കൈത്തണ്ട ധരിച്ച് ഒരു താക്കോൽ ദ്വാരത്തിലൂടെ ഒരു പുസ്തകം വായിക്കുന്ന ചിത്രം.
പ്രായോഗിക ആപ്ലിക്കേഷനുകൾ നിങ്ങൾ ഉടൻ തന്നെ കൂടുതൽ കാണും 🚀
-
ഉപകരണത്തിലെ ആരോഗ്യ സ്ഥിതിവിവരക്കണക്കുകൾ നൽകുന്ന സ്മാർട്ട് വെയറബിളുകൾ
-
IoT ക്യാമറകൾ അസംസ്കൃത ദൃശ്യങ്ങൾ സ്ട്രീം ചെയ്യാതെ ഇവന്റുകൾ ഫ്ലാഗ് ചെയ്യുന്നു.
-
ഓഫ്ലൈൻ വോയ്സ് അസിസ്റ്റന്റുമാർ - ക്ലൗഡ് ആശ്രിതത്വമില്ല.
-
പരിശോധന, ഡെലിവറി, കൃത്യത എന്നിവയ്ക്കായി സ്വയംഭരണ ഡ്രോണുകൾ
ചുരുക്കത്തിൽ: AI അക്ഷരാർത്ഥത്തിൽ നമ്മുടെ കൈത്തണ്ടയിലേക്കും, അടുക്കളകളിലേക്കും, അടിസ്ഥാന സൗകര്യങ്ങളിലേക്കും അടുത്തുവരികയാണ്.
ഡെവലപ്പർമാർക്ക് എങ്ങനെ തുടങ്ങാം 🛠️
-
വിശാലമായ ടൂളിംഗിനും MCU→മൊബൈൽ കവറേജിനും വേണ്ടി TensorFlow Lite ഉപയോഗിച്ച് ആരംഭിക്കുക
-
നിങ്ങൾ PyTorch-ൽ താമസിക്കുന്ന ആളാണെങ്കിൽ, മൊബൈലിലും എംബഡഡിലും ലീൻ ഓൺ-ഡിവൈസ് റൺടൈം ആവശ്യമുണ്ടെങ്കിൽ [5] ExecuTorch പര്യവേക്ഷണം ചെയ്യുക
-
വേഗതയേറിയതും മനോഹരവുമായ പ്രോട്ടോടൈപ്പിംഗിനായി Arduino + TinyML കിറ്റുകൾ പരീക്ഷിച്ചുനോക്കൂ
-
വിഷ്വൽ പൈപ്പ്ലൈനുകൾ ഇഷ്ടപ്പെടുന്നുണ്ടോ? എഡ്ജ് ഇംപൾസ് തടസ്സം കുറയ്ക്കുന്നു.
-
ഹാർഡ്വെയറിനെ ഒരു ഒന്നാംതരം പൗരനായി പരിഗണിക്കുക - സിപിയുകളിൽ പ്രോട്ടോടൈപ്പ് ചെയ്യുക, തുടർന്ന് ലേറ്റൻസി, തെർമലുകൾ, കൃത്യത ഡെൽറ്റകൾ എന്നിവ സ്ഥിരീകരിക്കുന്നതിന് നിങ്ങളുടെ ടാർഗെറ്റ് ആക്സിലറേറ്ററിൽ (എഡ്ജ് ടിപിയു, ജെറ്റ്സൺ, എൻപിയു) സാധൂകരിക്കുക.
മിനി-വിഗ്നെറ്റ്: ഒരു കോയിൻ-സെൽ സെൻസറിൽ ഒരു ടീം ഒരു വൈബ്രേഷൻ-അനോമലി ഡിറ്റക്ടർ അയയ്ക്കുന്നു. ഫ്ലോട്ട്32 മോഡലിന് പവർ ബജറ്റ് നഷ്ടമാകുന്നു; ഇന്റ്8 ക്വാണ്ടൈസേഷൻ അനുമാനത്തിന് ഊർജ്ജം കുറയ്ക്കുന്നു, മെമ്മറി വെട്ടിക്കുറയ്ക്കുന്നു, എംസിയുവിന്റെ ഡ്യൂട്ടി-സൈക്ലിംഗ് ജോലി പൂർത്തിയാക്കുന്നു - നെറ്റ്വർക്ക് ആവശ്യമില്ല [2,3].
എംബഡഡ് സിസ്റ്റങ്ങൾക്കായുള്ള AI യുടെ നിശബ്ദ വിപ്ലവം 🌍
മനസ്സിലാക്കാൻ → ചിന്തിക്കാൻ → പ്രവർത്തിക്കാൻ പഠിക്കുന്നു . ബാറ്ററി ലൈഫ് എപ്പോഴും നമ്മെ വേട്ടയാടും, പക്ഷേ പാത വ്യക്തമാണ്: ഇറുകിയ മോഡലുകൾ, മികച്ച കംപൈലറുകൾ, മികച്ച ആക്സിലറേറ്ററുകൾ. ഫലം? കൂടുതൽ വ്യക്തിപരവും പ്രതികരണശേഷിയുള്ളതുമായി തോന്നുന്ന സാങ്കേതികവിദ്യ, കാരണം അത് കേവലം കണക്റ്റുചെയ്തിട്ടില്ല - അത് ശ്രദ്ധ ചെലുത്തുന്നു.
അവലംബം
[1] ETSI (മൾട്ടി-ആക്സസ് എഡ്ജ് കമ്പ്യൂട്ടിംഗ്) - ലേറ്റൻസി/സ്വകാര്യതാ ആനുകൂല്യങ്ങളും വ്യവസായ സന്ദർഭവും.
ETSI MEC: പുതിയ ധവളപത്ര അവലോകനം
[2] Google TensorFlow മോഡൽ ഒപ്റ്റിമൈസേഷൻ ടൂൾകിറ്റ് - ഉപകരണത്തിലെ കാര്യക്ഷമതയ്ക്കായി ക്വാണ്ടൈസേഷൻ, പ്രൂണിംഗ്, ക്ലസ്റ്ററിംഗ്.
TensorFlow മോഡൽ ഒപ്റ്റിമൈസേഷൻ ഗൈഡ്
[3] ഗൂഗിൾ കോറൽ എഡ്ജ് ടിപിയു - എഡ്ജ് ആക്സിലറേഷനുള്ള പെർഫ്/ഡബ്ല്യു ബെഞ്ച്മാർക്കുകൾ.
എഡ്ജ് ടിപിയു ബെഞ്ച്മാർക്കുകൾ
[4] NVIDIA Jetson Orin (ഔദ്യോഗികം) - എഡ്ജ് AI മൊഡ്യൂളുകളും പ്രകടന എൻവലപ്പുകളും.
Jetson Orin മൊഡ്യൂളുകളുടെ അവലോകനം
[5] PyTorch ExecuTorch (ഔദ്യോഗിക രേഖകൾ) - മൊബൈലിലും എഡ്ജിലുമുള്ള ഓൺ-ഡിവൈസ് PyTorch റൺടൈം.
ExecuTorch അവലോകനം