ഡാറ്റാ എഞ്ചിനീയർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?

ഡാറ്റാ എഞ്ചിനീയർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?

ചുരുക്ക ഉത്തരം: ഡാറ്റാ എഞ്ചിനീയർമാരെ AI പൂർണ്ണമായും മാറ്റിസ്ഥാപിക്കില്ല; ഇത് SQL ഡ്രാഫ്റ്റിംഗ്, പൈപ്പ്‌ലൈൻ സ്കാഫോൾഡിംഗ്, ടെസ്റ്റുകൾ, ഡോക്യുമെന്റേഷൻ തുടങ്ങിയ ആവർത്തിച്ചുള്ള ജോലികൾ ഓട്ടോമേറ്റ് ചെയ്യും. നിങ്ങളുടെ റോൾ കൂടുതലും താഴ്ന്ന ഉടമസ്ഥതയിലുള്ളതും ടിക്കറ്റ് അടിസ്ഥാനമാക്കിയുള്ളതുമായ ജോലിയാണെങ്കിൽ, അത് കൂടുതൽ തുറന്നുകാട്ടപ്പെടും; നിങ്ങൾക്ക് വിശ്വാസ്യത, നിർവചനങ്ങൾ, ഭരണം, സംഭവ പ്രതികരണം എന്നിവ സ്വന്തമാണെങ്കിൽ, AI പ്രധാനമായും നിങ്ങളെ വേഗത്തിലാക്കുന്നു.

പ്രധാന കാര്യങ്ങൾ:

ഉടമസ്ഥാവകാശം : വേഗത്തിൽ കോഡ് നിർമ്മിക്കുന്നതിനു പകരം, ഫലങ്ങളുടെ ഉത്തരവാദിത്തത്തിന് മുൻഗണന നൽകുക.

ഗുണനിലവാരം : പൈപ്പ്‌ലൈനുകൾ വിശ്വസനീയമായി നിലനിൽക്കുന്നതിന് പരിശോധനകൾ, നിരീക്ഷണക്ഷമത, കരാറുകൾ എന്നിവ നിർമ്മിക്കുക.

ഭരണം : സ്വകാര്യത, ആക്‌സസ് നിയന്ത്രണം, നിലനിർത്തൽ, ഓഡിറ്റ് പാതകൾ എന്നിവ മനുഷ്യ ഉടമസ്ഥതയിൽ നിലനിർത്തുക.

ദുരുപയോഗ പ്രതിരോധം : AI ഔട്ട്‌പുട്ടുകളെ ഡ്രാഫ്റ്റുകളായി കണക്കാക്കുക; ആത്മവിശ്വാസത്തോടെയുള്ള തെറ്റുകൾ ഒഴിവാക്കാൻ അവ അവലോകനം ചെയ്യുക.

റോൾ ഷിഫ്റ്റ് : ബോയിലർപ്ലേറ്റ് ടൈപ്പ് ചെയ്യുന്നതിന് കുറച്ച് സമയം ചെലവഴിക്കുകയും ഈടുനിൽക്കുന്ന സിസ്റ്റങ്ങൾ രൂപകൽപ്പന ചെയ്യുന്നതിന് കൂടുതൽ സമയം ചെലവഴിക്കുകയും ചെയ്യുക.

ഡാറ്റാ എഞ്ചിനീയർമാരെ മാറ്റിസ്ഥാപിക്കാൻ AI വരുമോ? ഇൻഫോഗ്രാഫിക്

ഡാറ്റാ ടീമുകൾക്ക് ചുറ്റും അഞ്ച് മിനിറ്റിൽ കൂടുതൽ ചെലവഴിച്ചിട്ടുണ്ടെങ്കിൽ, നിങ്ങൾ ഈ പല്ലവി കേട്ടിട്ടുണ്ടാകും - ചിലപ്പോൾ മന്ത്രിക്കും, ചിലപ്പോൾ ഒരു പ്ലോട്ട് ട്വിസ്റ്റ് പോലെ ഒരു മീറ്റിംഗിൽ ആരംഭിക്കും: ഡാറ്റാ എഞ്ചിനീയർമാരെ മാറ്റിസ്ഥാപിക്കാൻ AI വരുമോ?

പിന്നെ... എനിക്ക് മനസ്സിലായി. AI-ക്ക് SQL സൃഷ്ടിക്കാനും, പൈപ്പ്‌ലൈനുകൾ നിർമ്മിക്കാനും, സ്റ്റാക്ക് ട്രെയ്‌സുകൾ വിശദീകരിക്കാനും, dbt മോഡലുകൾ ഡ്രാഫ്റ്റ് ചെയ്യാനും, അസ്വസ്ഥമായ ആത്മവിശ്വാസത്തോടെ വെയർഹൗസ് സ്കീമകൾ നിർദ്ദേശിക്കാനും കഴിയും. SQL-നുള്ള GitHub Copilot dbt മോഡലുകളെക്കുറിച്ച് GitHub Copilot
ഒരു ഫോർക്ക്‌ലിഫ്റ്റ് കബളിപ്പിക്കാൻ പഠിക്കുന്നത് കാണുന്നത് പോലെയാണ് തോന്നുന്നത്. മതിപ്പുളവാക്കുന്നതാണ്, അൽപ്പം അസ്വസ്ഥത ഉളവാക്കുന്നതാണ്, നിങ്ങളുടെ ജോലിക്ക് അത് എന്താണ് അർത്ഥമാക്കുന്നതെന്ന് നിങ്ങൾക്ക് പൂർണ്ണമായി ഉറപ്പില്ല 😅

പക്ഷേ സത്യം തലക്കെട്ടിനേക്കാൾ വ്യക്തമല്ല. AI ഡാറ്റാ എഞ്ചിനീയറിംഗിനെ പൂർണ്ണമായും മാറ്റുകയാണ്. ഇത് മങ്ങിയതും ആവർത്തിക്കാവുന്നതുമായ ബിറ്റുകളെ ഓട്ടോമേറ്റ് ചെയ്യുന്നു. "എനിക്ക് എന്താണ് വേണ്ടതെന്ന് എനിക്കറിയാം, പക്ഷേ വാക്യഘടന ഓർമ്മിക്കാൻ കഴിയുന്നില്ല" എന്ന നിമിഷങ്ങളെ ഇത് വേഗത്തിലാക്കുന്നു. ഇത് പുതിയ തരം കുഴപ്പങ്ങൾ സൃഷ്ടിക്കുകയും ചെയ്യുന്നു.

അതുകൊണ്ട്, കൈകൊണ്ട് അലയടിക്കുന്ന ശുഭാപ്തിവിശ്വാസമോ വിധിയെക്കുറിച്ചുള്ള പരിഭ്രാന്തിയോ ഇല്ലാതെ, നമുക്ക് അത് ശരിയായി തയ്യാറാക്കാം.

ഇതിനു ശേഷം നിങ്ങൾക്ക് വായിക്കാൻ ഇഷ്ടപ്പെട്ടേക്കാവുന്ന ലേഖനങ്ങൾ:

🔗 റേഡിയോളജിസ്റ്റുകളെ AI മാറ്റിസ്ഥാപിക്കുമോ?
ഇമേജിംഗ് AI എങ്ങനെയാണ് വർക്ക്ഫ്ലോ, കൃത്യത, ഭാവിയിലെ റോളുകൾ എന്നിവ മാറ്റുന്നത്.

🔗 അക്കൗണ്ടന്റുമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?
ഏതൊക്കെ അക്കൗണ്ടിംഗ് ജോലികളാണ് AI ഓട്ടോമേറ്റ് ചെയ്യുന്നതെന്നും എന്തൊക്കെയാണ് മനുഷ്യനായി നിലനിൽക്കുന്നതെന്നും കാണുക.

🔗 നിക്ഷേപ ബാങ്കർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?
ഡീലുകൾ, ഗവേഷണം, ക്ലയന്റ് ബന്ധങ്ങൾ എന്നിവയിൽ AI-യുടെ സ്വാധീനം മനസ്സിലാക്കുക.

🔗 ഇൻഷുറൻസ് ഏജന്റുമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?
അണ്ടർറൈറ്റിംഗ്, വിൽപ്പന, ഉപഭോക്തൃ പിന്തുണ എന്നിവയെ AI എങ്ങനെ പരിവർത്തനം ചെയ്യുന്നുവെന്ന് മനസ്സിലാക്കുക.


"ഡാറ്റ എഞ്ചിനീയർമാരെ മാറ്റിസ്ഥാപിക്കുന്നത് AI" എന്ന ചോദ്യം വീണ്ടും വീണ്ടും ഉയർന്നുവരുന്നത് എന്തുകൊണ്ട് 😬

ഈ ഭയം വളരെ വ്യക്തമായ ഒരു സ്ഥലത്ത് നിന്നാണ് വരുന്നത്: ഡാറ്റാ എഞ്ചിനീയറിംഗിന് ആവർത്തിക്കാവുന്ന ധാരാളം ജോലികളുണ്ട് .

  • SQL എഴുത്തും റീഫാക്ടറിംഗും

  • ഇൻജസ്റ്റ്‌മെന്റ് സ്‌ക്രിപ്റ്റുകൾ നിർമ്മിക്കുന്നു

  • ഒരു സ്കീമയിൽ നിന്ന് മറ്റൊന്നിലേക്ക് ഫീൽഡുകൾ മാപ്പുചെയ്യുന്നു

  • പരിശോധനകളും അടിസ്ഥാന ഡോക്യുമെന്റേഷനുകളും സൃഷ്ടിക്കുന്നു

  • പൈപ്പ്‌ലൈൻ പരാജയങ്ങൾ ഡീബഗ്ഗ് ചെയ്യുന്നത്... ഒരു തരത്തിൽ പ്രവചനാതീതമാണ്

ആവർത്തിക്കാവുന്ന പാറ്റേണുകളിൽ AI അസാധാരണമാംവിധം മികച്ചതാണ്. ഡാറ്റാ എഞ്ചിനീയറിംഗിന്റെ ഒരു ഭാഗം കൃത്യമായി അതാണ് - പാറ്റേണുകളിൽ അടുക്കിയിരിക്കുന്ന പാറ്റേണുകൾ. GitHub കോപൈലറ്റ് കോഡ് നിർദ്ദേശങ്ങൾ.

കൂടാതെ, ഉപകരണങ്ങളുടെ ആവാസവ്യവസ്ഥ ഇതിനകം തന്നെ സങ്കീർണ്ണതയെ "മറയ്ക്കുന്നു":

അപ്പോൾ AI പ്രത്യക്ഷപ്പെടുമ്പോൾ, അത് അവസാനത്തെ കഷണം പോലെ തോന്നാം. സ്റ്റാക്ക് ഇതിനകം തന്നെ അമൂർത്തമാണെങ്കിൽ, AI-ക്ക് ഗ്ലൂ കോഡ് എഴുതാൻ കഴിയുമെങ്കിൽ... എന്താണ് ബാക്കി? 🤷

പക്ഷേ ആളുകൾ അവഗണിക്കുന്ന ഒരു കാര്യം ഇതാ: ഡാറ്റാ എഞ്ചിനീയറിംഗ് പ്രധാനമായും ടൈപ്പിംഗ് അല്ല . ടൈപ്പിംഗ് എളുപ്പമുള്ള ഭാഗമാണ്. ബുദ്ധിമുട്ടുള്ള ഭാഗം അവ്യക്തവും രാഷ്ട്രീയവും മാറിക്കൊണ്ടിരിക്കുന്നതുമായ ബിസിനസ്സ് യാഥാർത്ഥ്യത്തെ വിശ്വസനീയമായ ഒരു സംവിധാനമായി മാറ്റുക എന്നതാണ്.

AI ഇപ്പോഴും ആ അവ്യക്തതയുമായി പൊരുതുന്നു. ആളുകളും ബുദ്ധിമുട്ടുന്നു - അവർ കൂടുതൽ മികച്ച രീതിയിൽ മെച്ചപ്പെടുത്തുന്നു.


ഡാറ്റാ എഞ്ചിനീയർമാർ ദിവസം മുഴുവൻ എന്താണ് ചെയ്യുന്നത് (അസുഖകരമായ സത്യം) 🧱

തുറന്നു പറയട്ടെ - "ഡാറ്റ എഞ്ചിനീയർ" എന്ന ജോലിയുടെ പേര് തന്നെ നിങ്ങൾ വെറും കണക്കിൽ നിന്ന് റോക്കറ്റ് എഞ്ചിനുകൾ നിർമ്മിക്കുകയാണെന്ന് തോന്നുന്നു. പ്രായോഗികമായി, നിങ്ങൾ വിശ്വാസം .

ഒരു സാധാരണ ദിവസം "പുതിയ അൽഗോരിതങ്ങൾ കണ്ടുപിടിക്കുക" കുറവാണ്, അതിലും കൂടുതലാണ്:

  • ഡാറ്റ നിർവചനങ്ങളെക്കുറിച്ച് അപ്‌സ്ട്രീം ടീമുകളുമായി ചർച്ച നടത്തുന്നു (വേദനാജനകമാണ്, പക്ഷേ അത്യാവശ്യമാണ്)

  • ഒരു മെട്രിക് എന്തുകൊണ്ടാണ് മാറിയതെന്ന് അന്വേഷിക്കുന്നു (അത് യഥാർത്ഥമാണോ എന്നും)

  • സ്കീമ ഡ്രിഫ്റ്റും "അർദ്ധരാത്രിയിൽ ആരോ ഒരു കോളം ചേർത്തു" എന്നതും കൈകാര്യം ചെയ്യുന്നത് അത്ഭുതപ്പെടുത്തുന്നു

  • പൈപ്പ്‌ലൈനുകൾ നിഷ്ക്രിയവും, വീണ്ടെടുക്കാവുന്നതും, നിരീക്ഷിക്കാവുന്നതുമാണെന്ന് ഉറപ്പാക്കുക

  • ഡൗൺസ്ട്രീം അനലിസ്റ്റുകൾ അബദ്ധവശാൽ അസംബന്ധ ഡാഷ്‌ബോർഡുകൾ നിർമ്മിക്കാതിരിക്കാൻ ഗാർഡ്‌റെയിലുകൾ സൃഷ്ടിക്കുന്നു

  • നിങ്ങളുടെ വെയർഹൗസ് പണത്തിന്റെ തീപ്പൊരിയായി മാറാതിരിക്കാൻ ചെലവുകൾ നിയന്ത്രിക്കുക 🔥

  • ആക്‌സസ്, ഓഡിറ്റിംഗ്, അനുസരണം, നിലനിർത്തൽ നയങ്ങൾ സുരക്ഷിതമാക്കൽ GDPR തത്വങ്ങൾ (യൂറോപ്യൻ കമ്മീഷൻ) സംഭരണ ​​പരിധി (ICO)

  • ഡിഎം ചെയ്യാതെ തന്നെ ആളുകൾക്ക് ഉപയോഗിക്കാൻ കഴിയുന്ന ഡാറ്റ ഉൽപ്പന്നങ്ങൾ നിർമ്മിക്കുന്നു 20 ചോദ്യങ്ങൾ

ജോലിയുടെ വലിയൊരു ഭാഗം സാമൂഹികവും പ്രവർത്തനപരവുമാണ്:

  • "ഈ മേശ ആരുടേതാണ്?"

  • "ഈ നിർവചനം ഇപ്പോഴും സാധുവാണോ?"

  • "എന്തുകൊണ്ടാണ് CRM ഡ്യൂപ്ലിക്കേറ്റുകൾ കയറ്റുമതി ചെയ്യുന്നത്?"

  • “ഈ മെട്രിക് എക്സിക്യൂട്ടീവുകൾക്ക് നാണമില്ലാതെ അയയ്ക്കാമോ?” 😭

തീർച്ചയായും ഇതിന്റെ ചില ഭാഗങ്ങളിൽ AI-ക്ക് സഹായിക്കാനാകും. പക്ഷേ, അത് പൂർണ്ണമായും മാറ്റിസ്ഥാപിക്കുന്നത്... ഒരു നീണ്ട പണിയാണ്.


ഒരു ഡാറ്റാ എഞ്ചിനീയറിംഗ് റോളിന്റെ ശക്തമായ പതിപ്പ് എന്താണ്? ✅

ഡാറ്റാ എഞ്ചിനീയർമാർ പ്രധാനമായും "പൈപ്പ്‌ലൈൻ നിർമ്മാതാക്കൾ" ആണെന്ന് സാധാരണയായി അനുമാനിക്കുന്നതിനാൽ ഈ വിഭാഗം പ്രധാനമാണ്. അത് പാചകക്കാർ പ്രധാനമായും "പച്ചക്കറികൾ അരിയുന്നു" എന്ന് കരുതുന്നത് പോലെയാണ്. ഇത് ജോലിയുടെ ഭാഗമാണ്, പക്ഷേ അത് ജോലിയല്ല.

ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെ ശക്തമായ പതിപ്പ് സാധാരണയായി അവർക്ക് ഇവയിൽ മിക്കതും ചെയ്യാൻ കഴിയും എന്നാണ് അർത്ഥമാക്കുന്നത്:

  • മാറ്റത്തിനായുള്ള രൂപകൽപ്പന
    ഡാറ്റ മാറുന്നു. ടീമുകൾ മാറുന്നു. ഉപകരണങ്ങൾ മാറുന്നു. ഒരു നല്ല എഞ്ചിനീയർ യാഥാർത്ഥ്യം തുമ്മുമ്പോഴെല്ലാം തകരാത്ത സംവിധാനങ്ങൾ നിർമ്മിക്കുന്നു 🤧

  • കരാറുകളും പ്രതീക്ഷകളും നിർവചിക്കുക
    “ഉപഭോക്താവ്” എന്നതിന്റെ അർത്ഥമെന്താണ്? “സജീവ” എന്നതിന്റെ അർത്ഥമെന്താണ്? ഒരു വരി വൈകി വരുമ്പോൾ എന്ത് സംഭവിക്കും? ഫാൻസി കോഡിനേക്കാൾ കുഴപ്പങ്ങൾ തടയുന്നത് കരാറുകളാണ്. ഓപ്പൺ ഡാറ്റ കോൺട്രാക്ട് സ്റ്റാൻഡേർഡ് (ODCS) ODCS (GitHub)

  • എല്ലാത്തിലും നിരീക്ഷണക്ഷമത വളർത്തിയെടുക്കുക.
    "അത് പ്രവർത്തിച്ചോ" എന്നതിലുപരി "അത് ശരിയായി പ്രവർത്തിച്ചോ" എന്നതിലുപരി. പുതുമ, വോളിയം അപാകതകൾ, ശൂന്യ സ്ഫോടനങ്ങൾ, വിതരണ മാറ്റങ്ങൾ. ഡാറ്റ നിരീക്ഷണക്ഷമത (ഡൈനാട്രേസ്) ഡാറ്റ നിരീക്ഷണക്ഷമത എന്താണ്?

  • എന്നിങ്ങനെ മുതിർന്നവരുടെ പരസ്പര ധാരണകൾ ഉണ്ടാക്കുക
    . പൂർണതയുള്ള പൈപ്പ്‌ലൈൻ ഇല്ല, പൈപ്പ്‌ലൈനുകൾ മാത്രമേ നിങ്ങൾക്ക് പിന്തുടരാൻ കഴിയൂ.

  • ബിസിനസ്സ് ആവശ്യങ്ങളെ ഈടുറ്റ സംവിധാനങ്ങളാക്കി മാറ്റുക
    ആളുകൾ മെട്രിക്സ് ആവശ്യപ്പെടുന്നു, പക്ഷേ അവർക്ക് വേണ്ടത് ഒരു ഡാറ്റ ഉൽപ്പന്നമാണ്. AI-ക്ക് കോഡ് ഡ്രാഫ്റ്റ് ചെയ്യാൻ കഴിയും, പക്ഷേ അതിന് ബിസിനസ്സ് കുഴിബോംബുകളെ മാന്ത്രികമായി അറിയാൻ കഴിയില്ല.

  • ഡാറ്റ നിശബ്ദമായി സൂക്ഷിക്കുക
    ഒരു ഡാറ്റ പ്ലാറ്റ്‌ഫോമിനുള്ള ഏറ്റവും വലിയ പ്രശംസ ആരും അതിനെക്കുറിച്ച് സംസാരിക്കുന്നില്ല എന്നതാണ്. സംഭവബഹുലമായ ഡാറ്റ നല്ല ഡാറ്റയാണ്. പ്ലംബിംഗ് പോലെ. അത് പരാജയപ്പെടുമ്പോൾ മാത്രമേ നിങ്ങൾ അത് ശ്രദ്ധിക്കൂ 🚽

നിങ്ങൾ ഈ കാര്യങ്ങൾ ചെയ്യുകയാണെങ്കിൽ, “ഡാറ്റ എഞ്ചിനീയർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?” ഉടമസ്ഥാവകാശത്തെയല്ല , ടാസ്‌ക്കുകളെ AI മാറ്റിസ്ഥാപിക്കും .


ഡാറ്റാ എഞ്ചിനീയർമാരെ AI ഇതിനകം തന്നെ സഹായിക്കുന്നിടത്ത് (ഇത് ശരിക്കും മികച്ചതാണ്) 🤖✨

AI വെറും മാർക്കറ്റിംഗ് മാത്രമല്ല. നന്നായി ഉപയോഗിച്ചാൽ, അത് നിയമപരമായ ഒരു ബല ഗുണിതമാണ്.

1) വേഗതയേറിയ SQL, പരിവർത്തന പ്രവർത്തനങ്ങൾ

  • കോംപ്ലക്സ് ജോയിനുകൾ വരയ്ക്കുന്നു

  • നിങ്ങൾ ചിന്തിക്കാൻ ആഗ്രഹിക്കാത്ത വിൻഡോ ഫംഗ്‌ഷനുകൾ എഴുതുന്നു

  • പ്ലെയിൻ-ലാംഗ്വേജ് ലോജിക്കിനെ ക്വറി സ്കെലിറ്റണുകളാക്കി മാറ്റുന്നു

  • വൃത്തികെട്ട അന്വേഷണങ്ങൾ വായിക്കാവുന്ന CTE-കളിലേക്ക് പുനഃക്രമീകരിക്കുന്നു SQL-നുള്ള GitHub Copilot

ഇത് വളരെ വലുതാണ്, കാരണം ഇത് "ശൂന്യമായ പേജ്" പ്രഭാവം കുറയ്ക്കുന്നു. നിങ്ങൾ ഇപ്പോഴും സാധൂകരിക്കേണ്ടതുണ്ട്, പക്ഷേ നിങ്ങൾ 0% ന് പകരം 70% ൽ ആരംഭിക്കുന്നു.

2) ഡീബഗ്ഗിംഗും റൂട്ട് കോസ് ബ്രെഡ്ക്രംബ്സും

AI മികച്ചതാണ്:

  • പിശക് സന്ദേശങ്ങൾ വിശദീകരിക്കുന്നു

  • എവിടെയാണ് നോക്കേണ്ടതെന്ന് നിർദ്ദേശിക്കുന്നു

  • "സ്‌കീമ പൊരുത്തക്കേട് പരിശോധിക്കുക" എന്ന തരത്തിലുള്ള ഘട്ടങ്ങൾ ശുപാർശ ചെയ്യുന്നു GitHub കോപൈലറ്റ്
    ഒരിക്കലും ഉറങ്ങാത്ത, ചിലപ്പോൾ ആത്മവിശ്വാസത്തോടെ കള്ളം പറയുന്ന ഒരു തളരാത്ത ജൂനിയർ എഞ്ചിനീയർ ഉള്ളത് പോലെയാണ് ഇത് 😅

3) ഡോക്യുമെന്റേഷനും ഡാറ്റ കാറ്റലോഗ് സമ്പുഷ്ടീകരണവും

സ്വയം സൃഷ്ടിച്ചത്:

  • കോളം വിവരണങ്ങൾ

  • മോഡൽ സംഗ്രഹങ്ങൾ

  • വംശാവലി വിശദീകരണങ്ങൾ

  • "ഈ പട്ടിക എന്തിനാണ് ഉപയോഗിക്കുന്നത്?" dbt ഡോക്യുമെന്റേഷന്റെ

ഇത് പൂർണതയുള്ളതല്ല, പക്ഷേ രേഖപ്പെടുത്താത്ത പൈപ്പ്ലൈനുകളുടെ ശാപം ഇത് തകർക്കുന്നു.

4) സ്കാഫോൾഡിംഗ് പരീക്ഷിക്കുകയും പരിശോധിക്കുകയും ചെയ്യുക

AI-ക്ക് നിർദ്ദേശിക്കാൻ കഴിയും:

വീണ്ടും - എന്താണ് പ്രധാനമെന്ന് നിങ്ങൾ ഇപ്പോഴും തീരുമാനിക്കുന്നു, പക്ഷേ അത് പതിവ് ഭാഗങ്ങൾ വേഗത്തിലാക്കുന്നു.

5) പൈപ്പ്ലൈൻ "ഗ്ലൂ" കോഡ്

കോൺഫിഗ് ടെംപ്ലേറ്റുകൾ, YAML സ്കാഫോൾഡുകൾ, ഓർക്കസ്ട്രേഷൻ DAG ഡ്രാഫ്റ്റുകൾ. ആ സാധനങ്ങൾ ആവർത്തിച്ചുള്ളതാണ്, പ്രഭാതഭക്ഷണത്തിന് AI ആവർത്തിച്ചുള്ള ഭക്ഷണം നൽകുന്നു 🥣 അപ്പാച്ചെ എയർഫ്ലോ DAG-കൾ.


AI ഇപ്പോഴും ബുദ്ധിമുട്ടുന്നിടത്ത് (ഇതാണ് അതിന്റെ കാതൽ) 🧠🧩

ഇതാണ് ഏറ്റവും പ്രധാനപ്പെട്ട ഭാഗം, കാരണം ഇത് യഥാർത്ഥ ടെക്സ്ചർ ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കൽ ചോദ്യത്തിന് ഉത്തരം നൽകുന്നു.

1) അവ്യക്തതയും മാറ്റാവുന്ന നിർവചനങ്ങളും

ബിസിനസ്സ് യുക്തി വളരെ അപൂർവമായി മാത്രമേ വ്യക്തമാകൂ. വാചകം കഴിയുമ്പോൾ തന്നെ ആളുകൾ മനസ്സ് മാറ്റും. "സജീവ ഉപയോക്താവ്" എന്നത് "സജീവ പണമടയ്ക്കുന്ന ഉപയോക്താവ്" ആയി മാറുന്നു, "ചിലപ്പോൾ ഒഴികെ റീഫണ്ടുകൾ ഒഴികെ സജീവ പണമടയ്ക്കുന്ന ഉപയോക്താവ്" ആയി മാറുന്നു... അത് എങ്ങനെയാണെന്ന് നിങ്ങൾക്കറിയാം.

ആ അവ്യക്തത AI-ക്ക് ഉൾക്കൊള്ളാൻ കഴിയില്ല. അതിന് ഊഹിക്കാൻ മാത്രമേ കഴിയൂ.

2) ഉത്തരവാദിത്തവും അപകടസാധ്യതയും

ഒരു പൈപ്പ്‌ലൈൻ പൊട്ടുകയും എക്സിക്യൂട്ടീവ് ഡാഷ്‌ബോർഡ് അസംബന്ധം കാണിക്കുകയും ചെയ്യുമ്പോൾ, ആരെങ്കിലും ഇനിപ്പറയുന്നവ ചെയ്യേണ്ടതുണ്ട്:

  • ട്രയേജ്

  • ആഘാതം അറിയിക്കുക

  • ശരിയാക്കൂ

  • ആവർത്തനം തടയുക

  • പോസ്റ്റ്‌മോർട്ടം എഴുതുക

  • കഴിഞ്ഞ ആഴ്ചയിലെ കണക്കുകൾ ഇപ്പോഴും ബിസിനസിന് വിശ്വസിക്കാൻ കഴിയുമോ എന്ന് തീരുമാനിക്കുക

AI-ക്ക് സഹായിക്കാൻ കഴിയും, പക്ഷേ അർത്ഥവത്തായ രീതിയിൽ ഉത്തരവാദിത്തം ഏറ്റെടുക്കാൻ അതിന് കഴിയില്ല. സ്ഥാപനങ്ങൾ വൈബുകളെ ആശ്രയിച്ചല്ല പ്രവർത്തിക്കുന്നത് - അവ ഉത്തരവാദിത്തത്തിലാണ് പ്രവർത്തിക്കുന്നത്.

3) സിസ്റ്റം ചിന്ത

ഡാറ്റ പ്ലാറ്റ്‌ഫോമുകൾ ആവാസവ്യവസ്ഥകളാണ്: ഉൾപ്പെടുത്തൽ, സംഭരണം, പരിവർത്തനങ്ങൾ, ഓർക്കസ്ട്രേഷൻ, ഭരണം, ചെലവ് നിയന്ത്രണങ്ങൾ, SLA-കൾ. ഒരു ലെയറിലെ മാറ്റം അലകൾ. അപ്പാച്ചെ എയർഫ്ലോ ആശയങ്ങൾ

ആഗോളതലത്തിൽ വേദന സൃഷ്ടിക്കുന്ന പ്രാദേശിക ഒപ്റ്റിമൈസേഷനുകൾ നിർദ്ദേശിക്കാൻ AI-ക്ക് കഴിയും. ഞരക്കമുള്ള വാതിൽ നീക്കം ചെയ്ത് ശരിയാക്കുന്നത് പോലെയാണ് ഇത് 😬

4) സുരക്ഷ, സ്വകാര്യത, അനുസരണം

ഇവിടെയാണ് പകരക്കാരന്റെ ഫാന്റസികൾ മരിക്കുന്നത്.

AI-ക്ക് നയങ്ങൾ തയ്യാറാക്കാൻ കഴിയും, പക്ഷേ അവ സുരക്ഷിതമായി നടപ്പിലാക്കുന്നതാണ് യഥാർത്ഥ എഞ്ചിനീയറിംഗ്.

5) "അജ്ഞാതമായ അജ്ഞാതർ"

ഡാറ്റ സംഭവങ്ങൾ പലപ്പോഴും പ്രവചനാതീതമാണ്:

  • ഒരു വെണ്ടർ API നിശബ്ദമായി സെമാന്റിക്‌സിനെ മാറ്റുന്നു

  • ഒരു സമയമേഖലാ അനുമാനം തകരുന്നു

  • ഒരു ബാക്ക്ഫിൽ ഒരു പാർട്ടീഷൻ ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യുന്നു

  • ഒരു പുനഃശ്രമ സംവിധാനം ഇരട്ട എഴുത്തുകൾക്ക് കാരണമാകുന്നു

  • പുതിയ ഉൽപ്പന്ന സവിശേഷത പുതിയ ഇവന്റ് പാറ്റേണുകൾ അവതരിപ്പിക്കുന്നു

സാഹചര്യം അറിയപ്പെടുന്ന ഒരു പാറ്റേൺ അല്ലാത്തപ്പോൾ AI ദുർബലമാകും.


താരതമ്യ പട്ടിക: പ്രായോഗികമായി എന്താണ് കുറയ്ക്കുന്നത് 🧾🤔

താഴെ കൊടുത്തിരിക്കുന്നത് ഒരു പ്രായോഗിക വീക്ഷണമാണ്. "ആളുകളെ മാറ്റിസ്ഥാപിക്കുന്ന ഉപകരണങ്ങൾ" അല്ല, മറിച്ച് ചില ജോലികളെ ചുരുക്കുന്ന ഉപകരണങ്ങളും സമീപനങ്ങളുമാണ്.

ഉപകരണം / സമീപനം പ്രേക്ഷകർ വില നിലവാരം എന്തുകൊണ്ട് ഇത് പ്രവർത്തിക്കുന്നു
AI കോഡ് കോപൈലറ്റുകൾ (SQL + പൈത്തൺ സഹായികൾ) GitHub കോപൈലറ്റ് ധാരാളം കോഡുകൾ എഴുതുന്ന എഞ്ചിനീയർമാർ സൗജന്യം മുതൽ പണം വരെ സ്കാഫോൾഡിംഗ്, റീഫാക്ടറുകൾ, വാക്യഘടന എന്നിവയിൽ മികച്ചതാണ്... ചിലപ്പോൾ വളരെ പ്രത്യേക രീതിയിൽ സ്വയം മയപ്പെടുത്തും
ഫൈവ്‌ട്രാൻ നിയന്ത്രിത ELT കണക്ടറുകൾ ഉൾപ്പെടുത്തൽ നിർമ്മിക്കുന്നതിൽ ടീമുകൾ മടുത്തു സബ്‌സ്‌ക്രിപ്‌ഷൻ-y ഇച്ഛാനുസൃത ഇൻജക്ഷൻ വേദന നീക്കംചെയ്യുന്നു, പക്ഷേ രസകരമായ പുതിയ രീതികളിൽ തടസ്സപ്പെടുന്നു
ഡാറ്റാ നിരീക്ഷണ പ്ലാറ്റ്‌ഫോമുകൾ ഡാറ്റാ നിരീക്ഷണക്ഷമത (ഡൈനാട്രേസ്) SLA-കൾ സ്വന്തമാക്കിയിട്ടുള്ള ആർക്കും ഇടത്തരം മുതൽ സംരംഭം വരെ അപാകതകൾ നേരത്തെ കണ്ടെത്തുന്നു - പൈപ്പ്‌ലൈനുകൾക്കുള്ള പുക അലാറങ്ങൾ പോലെ 🔔
പരിവർത്തന ചട്ടക്കൂടുകൾ (ഡിക്ലറേറ്റീവ് മോഡലിംഗ്) dbt അനലിറ്റിക്സ് + ഡിഇ ഹൈബ്രിഡുകൾ സാധാരണയായി ഉപകരണം + കമ്പ്യൂട്ട് ലോജിക്കിനെ മോഡുലാർ ആയും ടെസ്റ്റ് ചെയ്യാവുന്നതുമാക്കി മാറ്റുന്നു, സ്പാഗെട്ടി കുറവ്
ഡാറ്റ കാറ്റലോഗുകൾ + സെമാന്റിക് ലെയറുകൾ dbt സെമാന്റിക് ലെയർ മെട്രിക് ആശയക്കുഴപ്പമുള്ള സ്ഥാപനങ്ങൾ പ്രായോഗികമായി, ആശ്രയിച്ചിരിക്കുന്നു "സത്യം" ഒരിക്കൽ നിർവചിക്കുന്നു - അനന്തമായ മെട്രിക് സംവാദങ്ങൾ കുറയ്ക്കുന്നു
അപ്പാച്ചെ എയർഫ്ലോ ടെംപ്ലേറ്റുകളുള്ള ഓർക്കസ്ട്രേഷൻ പ്ലാറ്റ്‌ഫോമിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന ടീമുകൾ ഓപ്പൺ + ഓപ്‌സ് ചെലവ് വർക്ക്ഫ്ലോകളെ സ്റ്റാൻഡേർഡ് ചെയ്യുന്നു; സ്നോഫ്ലെക്ക് ഡിഎജികൾ കുറവാണ്
AI- സഹായത്തോടെയുള്ള ഡോക്യുമെന്റേഷൻ dbt ഡോക്സ് ജനറേഷൻ രേഖകൾ എഴുതുന്നത് വെറുക്കുന്ന ടീമുകൾ വിലകുറഞ്ഞത് മുതൽ മിതമായത് വരെ അറിവ് അപ്രത്യക്ഷമാകാതിരിക്കാൻ "മതിയായ" ഡോക്യുമെന്റുകൾ ഉണ്ടാക്കുന്നു
ഓട്ടോമേറ്റഡ് ഗവേണൻസ് പോളിസികൾ NIST സ്വകാര്യതാ ചട്ടക്കൂട് നിയന്ത്രിത പരിതസ്ഥിതികൾ എന്റർപ്രൈസ്-വൈ നിയമങ്ങൾ നടപ്പിലാക്കാൻ സഹായിക്കുന്നു - പക്ഷേ നിയമങ്ങൾ രൂപകൽപ്പന ചെയ്യാൻ ഇപ്പോഴും മനുഷ്യരെ ആവശ്യമുണ്ട്

എന്താണ് വിട്ടുപോയിരിക്കുന്നതെന്ന് ശ്രദ്ധിക്കുക: “ഡാറ്റ എഞ്ചിനീയർമാരെ നീക്കം ചെയ്യാൻ ബട്ടൺ അമർത്തുക” എന്ന് പറയുന്ന ഒരു വരി. അതെ... ആ വരി നിലവിലില്ല 🙃


അപ്പോൾ... ഡാറ്റാ എഞ്ചിനീയർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ, അതോ റോൾ മാറ്റുമോ? 🛠️

നാടകീയമല്ലാത്ത ഉത്തരം ഇതാ: തൊഴിലിനെയല്ല, വർക്ക്ഫ്ലോയുടെ ചില ഭാഗങ്ങളെ AI മാറ്റിസ്ഥാപിക്കും.

പക്ഷേ അത് റോളിനെ പുനഃക്രമീകരിക്കും. നിങ്ങൾ അത് അവഗണിച്ചാൽ, നിങ്ങൾക്ക് സമ്മർദ്ദം അനുഭവപ്പെടും .

എന്ത് മാറ്റങ്ങൾ:

  • ബോയിലർപ്ലേറ്റ് എഴുതാൻ കുറഞ്ഞ സമയം

  • ഡോക്യുമെന്റുകൾ തിരയുന്നതിന് കുറഞ്ഞ സമയം

  • അവലോകനം, സാധൂകരണം, രൂപകൽപ്പന എന്നിവയ്ക്ക് കൂടുതൽ സമയം

  • കരാറുകളും ഗുണനിലവാര പ്രതീക്ഷകളും നിർവചിക്കുന്നതിന് കൂടുതൽ സമയം ഓപ്പൺ ഡാറ്റ കോൺട്രാക്ട് സ്റ്റാൻഡേർഡ് (ODCS)

  • ഉൽപ്പന്നം, സുരക്ഷ, ധനകാര്യം എന്നിവയിൽ പങ്കാളിത്തത്തിൽ കൂടുതൽ സമയം

ഇതാണ് സൂക്ഷ്മമായ മാറ്റം: ഡാറ്റ എഞ്ചിനീയറിംഗ് "പൈപ്പ്‌ലൈനുകൾ നിർമ്മിക്കുക" എന്നതിനെക്കുറിച്ചല്ല, "വിശ്വസനീയമായ ഒരു ഡാറ്റ ഉൽപ്പന്ന സംവിധാനം നിർമ്മിക്കുക" എന്നതിനെക്കുറിച്ചാണ്

ശാന്തമായ ഒരു വഴിത്തിരിവിൽ, അത് കൂടുതൽ മൂല്യവത്താണ്, കുറവല്ല.

കൂടാതെ - അത് നാടകീയമായി തോന്നിയാലും ഞാൻ ഇത് പറയാൻ പോകുന്നു - ഡാറ്റ ആർട്ടിഫാക്റ്റുകൾ നിർമ്മിക്കാൻ കഴിയുന്ന ആളുകളുടെ എണ്ണം AI വർദ്ധിപ്പിക്കുന്നു , ഇത് മുഴുവൻ കാര്യവും വിവേകപൂർവ്വം നിലനിർത്താൻ ഒരാളുടെ ആവശ്യകത വർദ്ധിപ്പിക്കുന്നു. കൂടുതൽ ഔട്ട്‌പുട്ട് എന്നാൽ കൂടുതൽ ആശയക്കുഴപ്പം എന്നാണ്. GitHub Copilot.

എല്ലാവർക്കും പവർ ഡ്രിൽ കൊടുക്കുന്നത് പോലെയാണ് ഇത്. കൊള്ളാം! ഇനി ആരെങ്കിലും "ദയവായി വാട്ടർ പൈപ്പിലേക്ക് ഡ്രിൽ ചെയ്യരുത്" എന്ന നിയമം നടപ്പിലാക്കേണ്ടതുണ്ട് 🪠


മൂല്യവത്തായി തുടരുന്ന പുതിയ സ്കിൽ സ്റ്റാക്ക് (എല്ലായിടത്തും AI ഉണ്ടെങ്കിലും) 🧠⚙️

നിങ്ങൾക്ക് പ്രായോഗികമായ ഒരു "ഭാവി-പ്രതിരോധ" ചെക്ക്‌ലിസ്റ്റ് വേണമെങ്കിൽ, അത് ഇതുപോലെയായിരിക്കും:

സിസ്റ്റം ഡിസൈൻ മാനസികാവസ്ഥ

  • മാറ്റത്തെ അതിജീവിക്കുന്ന ഡാറ്റ മോഡലിംഗ്

  • ബാച്ച് vs സ്ട്രീമിംഗ് ഇടപാടുകൾ

  • കാലതാമസം, ചെലവ്, വിശ്വാസ്യത ചിന്ത

ഡാറ്റ ഗുണനിലവാര എഞ്ചിനീയറിംഗ്

ഭരണവും വിശ്വാസ്യതാ ഘടനയും

പ്ലാറ്റ്‌ഫോം ചിന്ത

  • പുനരുപയോഗിക്കാവുന്ന ടെംപ്ലേറ്റുകൾ, സുവർണ്ണ പാതകൾ

  • ഫൈവ്‌ട്രാൻ ഡിബിടി ഡാറ്റ ടെസ്റ്റുകൾ ഉൾപ്പെടുത്തൽ, പരിവർത്തനങ്ങൾ, പരിശോധന എന്നിവയ്‌ക്കായുള്ള സ്റ്റാൻഡേർഡ് പാറ്റേണുകൾ

  • ഉരുകാത്ത സ്വയം സേവിക്കുന്ന ഉപകരണങ്ങൾ

ആശയവിനിമയം (അതെ, ശരിക്കും)

  • വ്യക്തമായ രേഖകൾ എഴുതുന്നു

  • നിർവചനങ്ങൾ വിന്യസിക്കുന്നു

  • "ഇല്ല" എന്ന് മാന്യമായി എന്നാൽ ഉറച്ചു പറയുക

  • റോബോട്ടിനെ പോലെ തോന്നാതെ പരസ്പരവിരുദ്ധമായ കാര്യങ്ങൾ വിശദീകരിക്കുന്നു 🤖

ഇവ ചെയ്യാൻ കഴിയുമെങ്കിൽ, “ഡാറ്റ എഞ്ചിനീയർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ?” എന്ന ചോദ്യം അത്ര ഭയാനകമല്ല. AI നിങ്ങളുടെ പകരക്കാരനായി മാറുന്നില്ല, മറിച്ച് നിങ്ങളുടെ എക്സോസ്കെലിറ്റണായി മാറുന്നു.


ചില ഡാറ്റാ എഞ്ചിനീയറിംഗ് റോളുകൾ ചുരുങ്ങുന്ന യഥാർത്ഥ സാഹചര്യങ്ങൾ 📉

ശരി, പെട്ടെന്ന് റിയാലിറ്റി ചെക്ക് ചെയ്യൂ, കാരണം ഇതെല്ലാം സൂര്യപ്രകാശവും ഇമോജി കൺഫെറ്റിയും മാത്രമല്ല 🎉

ചില വേഷങ്ങൾ കൂടുതൽ പ്രകടമാണ്:

  • എല്ലാം സ്റ്റാൻഡേർഡ് കണക്ടറുകൾ മാത്രമുള്ള പ്യുവർ ഇൻജക്ഷൻ-ഒൺലി റോളുകൾ ഫൈവ്‌ട്രാൻ കണക്ടറുകൾ

  • കുറഞ്ഞ ഡൊമെയ്ൻ സൂക്ഷ്മതയോടെ ആവർത്തിച്ചുള്ള റിപ്പോർട്ടിംഗ് പൈപ്പ്‌ലൈനുകൾ ചെയ്യുന്ന ടീമുകൾ

  • ഡാറ്റാ എഞ്ചിനീയറിംഗിനെ "SQL കുരങ്ങുകൾ" ആയി കണക്കാക്കുന്ന ഓർഗനൈസേഷനുകൾ (പരുഷമാണെങ്കിലും ശരി)

  • കുറഞ്ഞ ഉടമസ്ഥാവകാശമുള്ള തസ്തികകളിൽ ജോലി ടിക്കറ്റുകളും കോപ്പി-പേസ്റ്റും മാത്രമായിരിക്കും

AI പ്ലസ് മാനേജ്ഡ് ടൂളിംഗിന് ആ ആവശ്യങ്ങൾ ചുരുക്കാൻ കഴിയും.

പക്ഷേ അവിടെയും, പകരം വയ്ക്കൽ സാധാരണയായി ഇതുപോലെ കാണപ്പെടുന്നു:

  • ഒരേ ആവർത്തിച്ചുള്ള ജോലി ചെയ്യുന്ന ആളുകളുടെ എണ്ണം കുറയുന്നു

  • പ്ലാറ്റ്‌ഫോം ഉടമസ്ഥതയ്ക്കും വിശ്വാസ്യതയ്ക്കും കൂടുതൽ ഊന്നൽ

  • "ഒരാൾക്ക് കൂടുതൽ പൈപ്പ്‌ലൈനുകളെ പിന്തുണയ്ക്കാൻ കഴിയും" എന്നതിലേക്കുള്ള മാറ്റം

അതെ - ആളുകളുടെ എണ്ണത്തിന്റെ പാറ്റേണുകൾ മാറാം. റോളുകൾ മാറുന്നു. തലക്കെട്ടുകൾ മാറുന്നു. ആ ഭാഗം യഥാർത്ഥമാണ്.

എന്നിരുന്നാലും, ഉയർന്ന ഉടമസ്ഥാവകാശവും ഉയർന്ന വിശ്വാസ്യതയുമുള്ള റോളിന്റെ പതിപ്പ് ഇപ്പോഴും നിലനിൽക്കുന്നു.


സമാപന സംഗ്രഹം 🧾✅

ഡാറ്റാ എഞ്ചിനീയർമാരെ AI മാറ്റിസ്ഥാപിക്കുമോ? ആളുകൾ സങ്കൽപ്പിക്കുന്നത്ര വൃത്തിയുള്ളതും സമഗ്രവുമായ രീതിയിൽ അല്ല.

AI ഇനിപ്പറയുന്നവ ചെയ്യും:

  • ആവർത്തിച്ചുള്ള ജോലികൾ ഓട്ടോമേറ്റ് ചെയ്യുക

  • കോഡിംഗ്, ഡീബഗ്ഗിംഗ്, ഡോക്യുമെന്റേഷൻ എന്നിവ ത്വരിതപ്പെടുത്തുക dbt ഡോക്യുമെന്റേഷനുള്ള GitHub കോപൈലറ്റ്

  • പൈപ്പ്ലൈനുകൾ നിർമ്മിക്കുന്നതിനുള്ള ചെലവ് കുറയ്ക്കുക

എന്നാൽ ഡാറ്റ എഞ്ചിനീയറിംഗ് അടിസ്ഥാനപരമായി ഇവയെക്കുറിച്ചാണ്:

AI-ക്ക് അതിൽ സഹായിക്കാനാകും... പക്ഷേ അത് "സ്വന്തമാക്കുന്നില്ല".

നിങ്ങൾ ഒരു ഡാറ്റ എഞ്ചിനീയർ ആണെങ്കിൽ, നീക്കം ലളിതമാണ് (എളുപ്പമല്ല, പക്ഷേ ലളിതമാണ്):
ഉടമസ്ഥാവകാശം, ഗുണനിലവാരം, പ്ലാറ്റ്‌ഫോം ചിന്ത, ആശയവിനിമയം എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക. പ്രധാനപ്പെട്ട ഭാഗങ്ങൾ കൈകാര്യം ചെയ്യുമ്പോൾ AI കാര്യങ്ങൾ കൈകാര്യം ചെയ്യട്ടെ.

അതെ - ചിലപ്പോൾ അതിനർത്ഥം മുറിയിൽ മുതിർന്ന ആളായിരിക്കുക എന്നാണ്. ഗ്ലാമറസ് അല്ല. നിശബ്ദമായി ശക്തനാണെങ്കിലും 😄

ഡാറ്റ എഞ്ചിനീയർമാരെ മാറ്റിസ്ഥാപിക്കാൻ AI വരുമോ?
അത് ചില ജോലികൾ മാറ്റിസ്ഥാപിക്കും, ഘട്ടം ഘട്ടമായി മാറ്റും, മികച്ച ഡാറ്റ എഞ്ചിനീയർമാരെ കൂടുതൽ മൂല്യമുള്ളവരാക്കും. അതാണ് യഥാർത്ഥ കഥ.


പതിവുചോദ്യങ്ങൾ

ഡാറ്റാ എഞ്ചിനീയർമാരെ AI പൂർണ്ണമായും മാറ്റിസ്ഥാപിക്കുമോ?

മിക്ക സ്ഥാപനങ്ങളിലും, AI, റോൾ പൂർണ്ണമായും ഇല്ലാതാക്കുന്നതിനുപകരം നിർദ്ദിഷ്ട ജോലികൾ ഏറ്റെടുക്കാൻ സാധ്യതയുണ്ട്. ഇതിന് SQL ഡ്രാഫ്റ്റിംഗ്, പൈപ്പ്‌ലൈൻ സ്കാഫോൾഡിംഗ്, ഡോക്യുമെന്റേഷൻ ഫസ്റ്റ് പാസുകൾ, അടിസ്ഥാന ടെസ്റ്റ് സൃഷ്ടി എന്നിവ ത്വരിതപ്പെടുത്താൻ കഴിയും. എന്നാൽ ഡാറ്റ എഞ്ചിനീയറിംഗിന് ഉടമസ്ഥതയും ഉത്തരവാദിത്തവും ഉണ്ട്, കൂടാതെ കുഴപ്പമുള്ള ബിസിനസ്സ് യാഥാർത്ഥ്യത്തെ വിശ്വസനീയമായ ഒരു സിസ്റ്റം പോലെ പെരുമാറുന്നതിലെ അപ്രസക്തമായ ജോലിയും ഉണ്ട്. "ശരി" എങ്ങനെയായിരിക്കണമെന്ന് തീരുമാനിക്കാനും കാര്യങ്ങൾ തകരുമ്പോൾ ഉത്തരവാദിത്തം ഏറ്റെടുക്കാനും ആ ഭാഗങ്ങൾക്ക് ഇപ്പോഴും മനുഷ്യർ ആവശ്യമാണ്.

ഡാറ്റാ എഞ്ചിനീയറിംഗിന്റെ ഏതൊക്കെ ഭാഗങ്ങളാണ് AI ഇതിനകം ഓട്ടോമേറ്റ് ചെയ്യുന്നത്?

ആവർത്തിക്കാവുന്ന ജോലികളിൽ AI മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു: SQL ഡ്രാഫ്റ്റിംഗും റീഫാക്ടറിംഗും, dbt മോഡൽ അസ്ഥികൂടങ്ങൾ സൃഷ്ടിക്കൽ, സാധാരണ പിശകുകൾ വിശദീകരിക്കൽ, ഡോക്യുമെന്റേഷൻ ഔട്ട്‌ലൈനുകൾ നിർമ്മിക്കൽ. നൾ അല്ലെങ്കിൽ യുണിക്വിറ്റി ചെക്കുകൾ പോലുള്ള സ്കാഫോൾഡ് ടെസ്റ്റുകളും ഓർക്കസ്ട്രേഷൻ ഉപകരണങ്ങൾക്കായി ടെംപ്ലേറ്റ് "ഗ്ലൂ" കോഡ് സൃഷ്ടിക്കാനും ഇതിന് കഴിയും. വിജയം ആക്കം കൂട്ടുന്നു - നിങ്ങൾ ഒരു പ്രവർത്തിക്കുന്ന പരിഹാരത്തിലേക്ക് അടുക്കാൻ തുടങ്ങുന്നു - പക്ഷേ നിങ്ങൾ ഇപ്പോഴും കൃത്യത സാധൂകരിക്കുകയും അത് നിങ്ങളുടെ പരിസ്ഥിതിക്ക് അനുയോജ്യമാണെന്ന് ഉറപ്പാക്കുകയും വേണം.

AI-ക്ക് SQL ഉം പൈപ്പ്‌ലൈനുകളും എഴുതാൻ കഴിയുമെങ്കിൽ, ഡാറ്റ എഞ്ചിനീയർമാർക്ക് എന്താണ് ശേഷിക്കുന്നത്?

ഒരുപാട് കാര്യങ്ങൾ: ഡാറ്റാ കരാറുകൾ നിർവചിക്കുക, സ്കീമ ഡ്രിഫ്റ്റ് കൈകാര്യം ചെയ്യുക, പൈപ്പ്‌ലൈനുകൾ സ്ഥിരവും നിരീക്ഷിക്കാവുന്നതും വീണ്ടെടുക്കാവുന്നതുമാണെന്ന് ഉറപ്പാക്കുക. മെട്രിക് മാറ്റങ്ങൾ അന്വേഷിക്കുന്നതിനും, ഡൗൺസ്ട്രീം ഉപയോക്താക്കൾക്കായി ഗാർഡ്‌റെയിലുകൾ നിർമ്മിക്കുന്നതിനും, ചെലവ്, വിശ്വാസ്യത എന്നിവ കൈകാര്യം ചെയ്യുന്നതിനും ഡാറ്റാ എഞ്ചിനീയർമാർ സമയം ചെലവഴിക്കുന്നു. വിശ്വാസം വളർത്തിയെടുക്കുന്നതിലും ഡാറ്റാ പ്ലാറ്റ്‌ഫോം "നിശബ്ദമായി" നിലനിർത്തുന്നതിലും പലപ്പോഴും ജോലി വരുന്നു, അതായത് ആരും അതിനെക്കുറിച്ച് ദിവസവും ചിന്തിക്കേണ്ടതില്ലാത്തത്ര സ്ഥിരതയുള്ളതായി നിലനിർത്തുന്നതിലുമാണ്.

ഒരു ഡാറ്റ എഞ്ചിനീയറുടെ ദൈനംദിന ജോലിയിൽ AI എങ്ങനെ മാറ്റങ്ങൾ വരുത്തുന്നു?

ഇത് സാധാരണയായി ബോയിലർപ്ലേറ്റും "ലുക്കപ്പ് സമയവും" കുറയ്ക്കുന്നു, അതിനാൽ നിങ്ങൾ ടൈപ്പ് ചെയ്യുന്നതിൽ കുറവ് സമയം ചെലവഴിക്കുകയും അവലോകനം ചെയ്യുന്നതിലും സാധൂകരിക്കുന്നതിലും രൂപകൽപ്പന ചെയ്യുന്നതിലും കൂടുതൽ സമയം ചെലവഴിക്കുകയും ചെയ്യുന്നു. എല്ലാം കൈകൊണ്ട് കോഡ് ചെയ്യുന്നതിനുപകരം പ്രതീക്ഷകൾ, ഗുണനിലവാര മാനദണ്ഡങ്ങൾ, പുനരുപയോഗിക്കാവുന്ന പാറ്റേണുകൾ എന്നിവ നിർവചിക്കുന്നതിലേക്ക് ആ മാറ്റം റോളിനെ നയിക്കുന്നു. പ്രായോഗികമായി, ഉൽപ്പന്നം, സുരക്ഷ, ധനകാര്യം എന്നിവയുമായി നിങ്ങൾ കൂടുതൽ പങ്കാളിത്ത പ്രവർത്തനങ്ങൾ നടത്താൻ സാധ്യതയുണ്ട് - കാരണം സാങ്കേതിക ഔട്ട്പുട്ട് സൃഷ്ടിക്കാൻ എളുപ്പമാണ്, പക്ഷേ നിയന്ത്രിക്കാൻ കൂടുതൽ ബുദ്ധിമുട്ടാണ്.

"സജീവ ഉപയോക്താവ്" പോലുള്ള അവ്യക്തമായ ബിസിനസ്സ് നിർവചനങ്ങൾ AI-ക്ക് ബുദ്ധിമുട്ടാകുന്നത് എന്തുകൊണ്ട്?

കാരണം ബിസിനസ് ലോജിക് സ്ഥിരമോ കൃത്യമോ അല്ല - അത് പ്രോജക്റ്റിന്റെ മധ്യത്തിൽ മാറുകയും പങ്കാളിയെ ആശ്രയിച്ച് വ്യത്യാസപ്പെടുകയും ചെയ്യുന്നു. AI-ക്ക് ഒരു വ്യാഖ്യാനം തയ്യാറാക്കാൻ കഴിയും, എന്നാൽ നിർവചനങ്ങൾ വികസിക്കുമ്പോഴോ വൈരുദ്ധ്യങ്ങൾ ഉയർന്നുവരുമ്പോഴോ അതിന് തീരുമാനം സ്വന്തമാക്കാൻ കഴിയില്ല. ഡാറ്റ എഞ്ചിനീയറിംഗിന് പലപ്പോഴും ചർച്ചകൾ, അനുമാനങ്ങൾ രേഖപ്പെടുത്തൽ, അവ്യക്തമായ ആവശ്യകതകൾ ഈടുനിൽക്കുന്ന കരാറുകളാക്കി മാറ്റൽ എന്നിവ ആവശ്യമാണ്. ടൂളിംഗ് മെച്ചപ്പെടുമ്പോഴും റോൾ അപ്രത്യക്ഷമാകാതിരിക്കാനുള്ള ഒരു പ്രധാന കാരണം ആ "മനുഷ്യ വിന്യാസ" പ്രവർത്തനമാണ്.

ഡാറ്റാ ഗവേണൻസ്, സ്വകാര്യത, അനുസരണം എന്നിവ സുരക്ഷിതമായി കൈകാര്യം ചെയ്യാൻ AI-ക്ക് കഴിയുമോ?

നയങ്ങൾ തയ്യാറാക്കാനോ സമീപനങ്ങൾ നിർദ്ദേശിക്കാനോ AI സഹായിക്കും, പക്ഷേ സുരക്ഷിതമായ നടപ്പാക്കലിന് ഇപ്പോഴും യഥാർത്ഥ എഞ്ചിനീയറിംഗും ശ്രദ്ധാപൂർവ്വമായ മേൽനോട്ടവും ആവശ്യമാണ്. ഭരണത്തിൽ ആക്‌സസ് നിയന്ത്രണങ്ങൾ, PII കൈകാര്യം ചെയ്യൽ, നിലനിർത്തൽ നിയമങ്ങൾ, ഓഡിറ്റ് ട്രെയിലുകൾ, ചിലപ്പോൾ താമസ നിയന്ത്രണങ്ങൾ എന്നിവ ഉൾപ്പെടുന്നു. "ഏതാണ്ട് ശരി" ​​എന്നത് സ്വീകാര്യമല്ലാത്ത ഉയർന്ന അപകടസാധ്യതയുള്ള മേഖലകളാണിവ. മനുഷ്യർ നിയമങ്ങൾ രൂപകൽപ്പന ചെയ്യുകയും നടപ്പിലാക്കൽ സ്ഥിരീകരിക്കുകയും അനുസരണ ഫലങ്ങൾക്ക് ഉത്തരവാദിത്തം വഹിക്കുകയും വേണം.

AI മെച്ചപ്പെടുമ്പോൾ ഡാറ്റാ എഞ്ചിനീയർമാർക്ക് എന്ത് കഴിവുകൾ മൂല്യവത്തായി തുടരും?

സിസ്റ്റങ്ങളെ പ്രതിരോധശേഷിയുള്ളതാക്കുന്ന കഴിവുകൾ: സിസ്റ്റം ഡിസൈൻ ചിന്ത, ഡാറ്റ ഗുണനിലവാര എഞ്ചിനീയറിംഗ്, പ്ലാറ്റ്‌ഫോം-മനസ്സുള്ള സ്റ്റാൻഡേർഡൈസേഷൻ. കൂടുതൽ ആളുകൾക്ക് ഡാറ്റ ആർട്ടിഫാക്‌റ്റുകൾ വേഗത്തിൽ സൃഷ്ടിക്കാൻ കഴിയുമ്പോൾ കരാറുകൾ, നിരീക്ഷണക്ഷമത, സംഭവ പ്രതികരണ ശീലങ്ങൾ, അച്ചടക്കമുള്ള മൂലകാരണ വിശകലനം എന്നിവ കൂടുതൽ പ്രാധാന്യമർഹിക്കുന്നു. ആശയവിനിമയവും ഒരു വ്യത്യസ്ത ഘടകമായി മാറുന്നു - നിർവചനങ്ങൾ വിന്യസിക്കുക, വ്യക്തമായ രേഖകൾ എഴുതുക, നാടകീയതയില്ലാതെ ട്രേഡ്‌ഓഫുകൾ വിശദീകരിക്കുക എന്നിവ ഡാറ്റ വിശ്വസനീയമായി നിലനിർത്തുന്നതിന്റെ വലിയ ഭാഗമാണ്.

AI, മാനേജ്ഡ് ടൂളിംഗ് എന്നിവയിൽ നിന്ന് ഏറ്റവും കൂടുതൽ അപകടസാധ്യതയുള്ള ഡാറ്റ എഞ്ചിനീയറിംഗ് റോളുകൾ ഏതാണ്?

ആവർത്തിച്ചുള്ള ഉൾപ്പെടുത്തലുകളിലോ സ്റ്റാൻഡേർഡ് റിപ്പോർട്ടിംഗ് പൈപ്പ്‌ലൈനുകളിലോ മാത്രം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന റോളുകൾ കൂടുതൽ തുറന്നുകാട്ടപ്പെടുന്നു, പ്രത്യേകിച്ചും മാനേജ്ഡ് ELT കണക്ടറുകൾ മിക്ക ഉറവിടങ്ങളെയും ഉൾക്കൊള്ളുമ്പോൾ. കുറഞ്ഞ ഉടമസ്ഥാവകാശമുള്ള, ടിക്കറ്റ് അധിഷ്ഠിത ജോലികൾ ചുരുങ്ങാൻ സാധ്യതയുണ്ട്, കാരണം AI, അമൂർത്തീകരണം എന്നിവ പൈപ്പ്‌ലൈനിലെ പരിശ്രമം കുറയ്ക്കുന്നു. എന്നാൽ ഇത് സാധാരണയായി ആവർത്തിച്ചുള്ള ജോലികൾ ചെയ്യുന്ന ആളുകളുടെ എണ്ണത്തിൽ കുറവാണെന്ന് തോന്നുന്നു, "ഡാറ്റ എഞ്ചിനീയർമാർ ഇല്ല" എന്നല്ല. വിശ്വാസ്യത, ഗുണനിലവാരം, വിശ്വാസം എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ചുള്ള ഉയർന്ന ഉടമസ്ഥാവകാശ റോളുകൾ നിലനിൽക്കുന്നു.

കുഴപ്പങ്ങൾ സൃഷ്ടിക്കാതെ AI ഉള്ള GitHub Copilot അല്ലെങ്കിൽ dbt പോലുള്ള ഉപകരണങ്ങൾ ഞാൻ എങ്ങനെ ഉപയോഗിക്കണം?

AI ഔട്ട്‌പുട്ടിനെ ഒരു തീരുമാനമായിട്ടല്ല, ഒരു ഡ്രാഫ്റ്റായി കണക്കാക്കുക. ക്വറി സ്‌കെലിറ്റനുകൾ സൃഷ്ടിക്കുന്നതിനും, വായനാക്ഷമത മെച്ചപ്പെടുത്തുന്നതിനും, സ്‌കാഫോൾഡ് ഡിബിടി ടെസ്റ്റുകളും ഡോക്‌സുകളും മെച്ചപ്പെടുത്തുന്നതിനും ഇത് ഉപയോഗിക്കുക, തുടർന്ന് യഥാർത്ഥ ഡാറ്റയ്ക്കും എഡ്ജ് കേസുകൾക്കും എതിരായി സാധൂകരിക്കുക. ശക്തമായ കൺവെൻഷനുകളുമായി ഇത് ജോടിയാക്കുക: കരാറുകൾ, നാമകരണ മാനദണ്ഡങ്ങൾ, നിരീക്ഷണക്ഷമത പരിശോധനകൾ, അവലോകന രീതികൾ. വിശ്വാസ്യത, ചെലവ് നിയന്ത്രണം അല്ലെങ്കിൽ ഭരണം എന്നിവ ബലികഴിക്കാതെ വേഗത്തിലുള്ള ഡെലിവറി ചെയ്യുക എന്നതാണ് ലക്ഷ്യം.

അവലംബം

  1. യൂറോപ്യൻ കമ്മീഷൻ - ഡാറ്റാ സംരക്ഷണം വിശദീകരിച്ചു: GDPR തത്വങ്ങൾ - commission.europa.eu

  2. ഇൻഫർമേഷൻ കമ്മീഷണറുടെ ഓഫീസ് (ICO) - സംഭരണ ​​പരിധി - ico.org.uk

  3. യൂറോപ്യൻ കമ്മീഷൻ - ഡാറ്റ എത്ര കാലം സൂക്ഷിക്കാം, അത് അപ്ഡേറ്റ് ചെയ്യേണ്ടത് ആവശ്യമാണോ? - commission.europa.eu

  4. നാഷണൽ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് സ്റ്റാൻഡേർഡ്സ് ആൻഡ് ടെക്നോളജി (NIST) - സ്വകാര്യതാ ചട്ടക്കൂട് - nist.gov

  5. NIST കമ്പ്യൂട്ടർ സെക്യൂരിറ്റി റിസോഴ്‌സ് സെന്റർ (CSRC) - SP 800-92: കമ്പ്യൂട്ടർ സെക്യൂരിറ്റി ലോഗ് മാനേജ്‌മെന്റിലേക്കുള്ള ഗൈഡ് - csrc.nist.gov

  6. സെന്റർ ഫോർ ഇന്റർനെറ്റ് സെക്യൂരിറ്റി (സിഐഎസ്) - ഓഡിറ്റ് ലോഗ് മാനേജ്മെന്റ് (സിഐഎസ് നിയന്ത്രണങ്ങൾ) - cisecurity.org

  7. സ്നോഫ്ലേക്ക് ഡോക്യുമെന്റേഷൻ - റോ ആക്‌സസ് പോളിസികൾ - docs.snowflake.com

  8. Google ക്ലൗഡ് ഡോക്യുമെന്റേഷൻ - BigQuery വരി-തല സുരക്ഷ - docs.cloud.google.com

  9. BITOL - ഓപ്പൺ ഡാറ്റ കോൺട്രാക്ട് സ്റ്റാൻഡേർഡ് (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - ഓപ്പൺ ഡാറ്റ കോൺട്രാക്റ്റ് സ്റ്റാൻഡേർഡ് - github.com

  11. അപ്പാച്ചെ എയർഫ്ലോ - ഡോക്യുമെന്റേഷൻ (സ്റ്റേബിൾ) - airflow.apache.org

  12. അപ്പാച്ചെ എയർഫ്ലോ - ഡിഎജികൾ (പ്രധാന ആശയങ്ങൾ) - airflow.apache.org

  13. ഡിബിടി ലാബ്സ് ഡോക്യുമെന്റേഷൻ - ഡിബിടി എന്താണ്? - docs.getdbt.com

  14. ഡിബിടി ലാബ്സ് ഡോക്യുമെന്റേഷൻ - ഡിബിടി മോഡലുകളെക്കുറിച്ച് - docs.getdbt.com

  15. ഡിബിടി ലാബ്സ് ഡോക്യുമെന്റേഷൻ - ഡോക്യുമെന്റേഷൻ - docs.getdbt.com

  16. ഡിബിടി ലാബ്സ് ഡോക്യുമെന്റേഷൻ - ഡാറ്റ ടെസ്റ്റുകൾ - docs.getdbt.com

  17. dbt ലാബ്സ് ഡോക്യുമെന്റേഷൻ - dbt സെമാന്റിക് ലെയർ - docs.getdbt.com

  18. ഫൈവ്‌ട്രാൻ ഡോക്യുമെന്റേഷൻ - ആരംഭിക്കുന്നു - fivetran.com

  19. ഫൈവ്‌ട്രാൻ - കണക്ടറുകൾ - fivetran.com

  20. AWS ഡോക്യുമെന്റേഷൻ - AWS ലാംഡ ഡെവലപ്പർ ഗൈഡ് - docs.aws.amazon.com

  21. ഗിറ്റ്ഹബ് - ഗിറ്റ്ഹബ് കോപൈലറ്റ് - github.com

  22. GitHub ഡോക്സ് - GitHub Copilot ഉപയോഗിച്ച് നിങ്ങളുടെ IDE-യിൽ കോഡ് നിർദ്ദേശങ്ങൾ ലഭിക്കുന്നു - docs.github.com

  23. മൈക്രോസോഫ്റ്റ് ലേൺ - SQL-നുള്ള GitHub കോപൈലറ്റ് (VS കോഡ് എക്സ്റ്റൻഷൻ) - learn.microsoft.com

  24. ഡൈനാട്രേസ് ഡോക്യുമെന്റേഷൻ - ഡാറ്റ നിരീക്ഷണക്ഷമത - docs.dynatrace.com

  25. ഡാറ്റാഗാലക്സി - ഡാറ്റാ നിരീക്ഷണക്ഷമത എന്താണ്? - datagalaxy.com

  26. ഗ്രേറ്റ് എക്‌സ്‌പെക്റ്റേഷൻസ് ഡോക്യുമെന്റേഷൻ - എക്‌സ്‌പെക്റ്റേഷൻസ് അവലോകനം - docs.greatexpectations.io

ഔദ്യോഗിക AI അസിസ്റ്റന്റ് സ്റ്റോറിൽ ഏറ്റവും പുതിയ AI കണ്ടെത്തുക

ഞങ്ങളേക്കുറിച്ച്

ബ്ലോഗിലേക്ക് മടങ്ങുക