توصیه برای ساخت و مقیاس‌پذیری یک تیم داده مؤثر و شاد

بسیاری از شرکت‌ها نقش‌های داده را فراتر از ظرفیت خود تعیین می‌کنند. غیرمعمول نیست که داستان‌هایی از تحلیل‌گران داده در استارتاپ‌ها بشنویم که انتظار می‌رفت خطوط لوله و انبار داده را تعمیر کنند. یا یک مهندس داده تنها که استخدام شده بود تا هرج و مرج پشته داده مدرن دست و پا گیر شرکت خود را مهار کند.

آیا داده در هر شرکتی هنوز یک آشفتگی مطلق است؟ توسط u/Reddit_Account_C-137 در dataengineering

گاهی اوقات درک کمی از چالش‌هایی که تیم‌های داده با آن مواجه می‌شوند و نحوه انجام کارشان وجود دارد. اما مهم‌تر از آن، ارزشی که به یک شرکت می‌آورند.

اگر شما بخشی از تیم داده هستید، ممکن است بدانید این چگونه احساس می‌شود. اما اگر شما یک تیم داده را رهبری می‌کنید، یا یک شرکت را رهبری می‌کنید، می‌تواند سخت باشد که این مسئله را قبل از اینکه از کنترل خارج شود شناسایی کنید.

ما می‌توانستیم به جزئیات اینکه چرا شرکت‌ها تیم‌های داده خود را شکست می‌دهند بپردازیم. اما در عوض ما بازخورد ارزشمندی را از تیم داده خود و از افراد داده در اینترنت منبع کرده‌ایم، تا توصیه‌هایی در مورد نحوه مواجهه با این مسائل در حین ساخت یا مقیاس‌پذیری ارائه دهیم.

روشن‌سازی و درک مشکلات کسب‌وکار قبل از جمع‌آوری داده

اگر داده درست را ندارید، نمی‌توانید مشکلات را حل کنید. روشن‌سازی اینکه چه سوالات و ارزشی می‌خواهید از داده خود به دست آورید به جلوگیری از اشتباهات رایج و هدررفته کمک می‌کند، مانند سرمایه‌گذاری در ابزارها یا زیرساخت غیرضروری، یا جمع‌آوری مقادیر زیادی از داده اشتباه.

برخی تیم‌های داده گفته نمی‌شود که روی چه مشکلات کسب‌وکاری تمرکز کنند، یا چرا شرکت می‌خواهد داده جمع‌آوری کند، و این باعث می‌شود که نقش‌های داده نتوانند به طور کارآمد کار کنند. این می‌تواند علت جابجایی باشد.

اگر شما یک تیم داده یا یک شرکت را رهبری می‌کنید، مشکلات کسب‌وکار را به تفصیل به هر کسی در نقش داده توضیح دهید. با تیم کار کنید تا چشم‌انداز خود را برای جمع‌آوری و استفاده از داده توضیح دهید. بدون این اطلاعات، آنها نمی‌توانند به شما کمک کنند. و حیاتی است که قبل از رشد بیشتر تیم به کارکنان موجود روشن کنید. نرخ فرسایش برای همه شرکت‌های با هر اندازه از سال ۲۰۲۰ در حال رشد بوده است.

اگر شما بخشی از یک تیم داده هستید و نمی‌توانید دلایل جمع‌آوری و کار با داده خاص را خلاصه کنید، از مدیریت بخواهید که مشکلات کسب‌وکار و ایده‌های آنها برای جمع‌آوری و استفاده از داده را روشن کنند. و اگر آنها پاسخ یا زمان ندارند، این ممکن است نشانه‌ای باشد که شرکت ساختار کافی برای پشتیبانی از فرهنگ داده، نقش شما، یا یک تیم داده ندارد.

درک نقاط قوت هر نقش داده و تفویض حجم کار بر همین اساس

عدم تعیین انتظارات برای نقش‌های داده می‌تواند منجر به جابجایی بالا شود. اگر در یک شرکت کوچکتر یا استارتاپ هستید، ممکن است محدودیت در چیزهایی مانند بودجه و اندازه تیم داشته باشید، که تعیین نقش‌ها را سخت می‌کند.

با این حال، شما باید حد بالای هر نقش را تعیین کنید تا از فرسودگی و فرسایش آینده جلوگیری کنید، که می‌تواند عواقب ماندگاری برای تیم یا شرکت شما داشته باشد.

قبل از ایجاد یک توضیحات شغل جدید تیم داده، یا رشد و ارتقای تیم خود، باید تصویر واضحی از شکاف‌ها در پوشش داشته باشید. حد بالای هر نقش داده را پیدا کنید و شکاف‌ها را به این ترتیب پر کنید.

نقش‌ها نیازی به تعیین شدن به طور قطعی ندارند که یک تحلیل‌گر داده هرگز نتواند روی چیزهای دیگری که به آنها علاقه دارد کار کند، اما باید مرزهای واقع‌بینانه برای کار تیم خود تعیین کنید. وگرنه همه شما برای پر کردن شکاف‌ها در پوشش تقلا خواهید کرد، که سریع‌ترین راه به فرسودگی است.

بیایید برخی از نقش‌های رایج‌تر تیم داده و نقاط قوت آنها را تجزیه کنیم تا ایده واضح‌تری از نحوه تعیین نیازمندی‌ها بدون درخواست بیش از حد داشته باشیم.

مهندسان تحلیل می‌توانند نقطه شروع خوبی برای ساخت فرهنگ داده باشند

اگر شما یک شرکت کوچکتر هستید که به دنبال ساخت یک فرهنگ داده هستید، یک مهندس تحلیل می‌تواند به پاک کردن اکثر موانع اولیه که تیم‌های داده هنگام پیاده‌سازی معماری و فرآیندهای داده جدید با آن مواجه می‌شوند کمک کند.

یک مهندس تحلیل مهارت‌هایی برای پل زدن شکاف بین نیازمندی‌های کسب‌وکار و نیازمندی‌های تیم دارد. مهندس داده مناسب برای این کار قادر خواهد بود بر مهارت‌های نرم‌افزاری اصلی تأکید کند، اما با نگرش عمومی‌گرا و همدلی عمیق برای نیازهای کسب‌وکار.

پس از اینکه یک مهندس داده در تیم دارید، و به نقطه‌ای می‌چرخید که نیاز به ساخت خطوط لوله داده سفارشی یا بهینه‌سازی عملکرد دارید، یک مهندس داده می‌تواند کمک کند.

یک مهندس داده می‌تواند زیرساخت تخصصی را در حالی که رهبری حاکمیت داده را فراهم می‌کند

نقش مهندس داده از عصر Hadoop تغییر زیادی کرده است. ابر عمومی نحوه نگاه ما به معماری داده را تغییر داد، بنابراین بسیاری از مهندسان داده امروز انتظار می‌رود که بهترین شیوه‌های SWE سنتی در مقابل بهترین شیوه‌های مشاهده‌پذیری داده را دنبال کنند. این می‌تواند منبع ناامیدی باشد.

برای جلوگیری از این، بدانید که یک مهندس داده معمولاً روی ذخیره داده خام در یک انبار داده مناسب کار می‌کند، و سپس زیرساخت و ابزارها را به مهندسان دیگر، مانند مهندسان تحلیل، برای تبدیل داده به مدل‌ها ارائه می‌دهد. آنها همچنین می‌توانند مسئول بهینه‌سازی ذخیره‌سازی و پرس‌وجوی مدل‌های داده با انجام تنظیم پایگاه داده و اسکیما باشند.

مهندسان داده یکپارچگی و انطباق داده را با افزودن خطوط لوله جدید که داده را از منابعی مانند APIها می‌آورند تضمین می‌کنند، و می‌توانند خطوط لوله منسوخ که دیگر نیازی به نگهداری ندارند را هرس کنند. به همین دلیل است که آنها افزودنی عالی برای تیم شما هستند اگر به دنبال کمی حاکمیت داده هستید.

با معماری در جای خود و برخی داده مدل شده برای کار با تشکر از یک مهندس داده، یک تحلیل‌گر داده می‌تواند به شما کمک کند تا معنا را از داده استخراج کنید تا شروع به تصمیم‌گیری کسب‌وکار کنید.

تحلیل‌گران داده می‌توانند به تصمیم‌گیری مطلع کمک کنند، اگر به آنها فضای انجام آن را بدهید

تحلیل‌گران داده با مشکلات کسب‌وکار پیچیده کار می‌کنند. آنها کلید پیدا کردن حقیقت از داده شما و استفاده از شواهد برای کمک به شما در تصمیم‌گیری هستند.

یک راه خوب برای تشویق جابجایی تحلیل‌گر استخدام آنها برای شروع یک برنامه داده از صفر است، یا غرق کردن آنها با کارهای بزرگ مانند راه‌اندازی معماری داده. بازار تحلیل‌گر داده جونیور می‌تواند به شدت اشباع شده باشد، بنابراین برای شرکت‌های کوچکتر آسان است که اشتباه آوردن یک تحلیل‌گر جاه‌طلب در تیم با انتظار کار مهندسی را مرتکب شوند. از این اجتناب کنید و تحلیل‌گران خود را روی تحلیل داده متمرکز نگه دارید.

نقطه قوت یک تحلیل‌گر داده توانایی دیدن و ردیابی الگوها است. اگر به آنها فضای تمرکز صرفاً روی این بدهید، کل شرکت شما بهتر مجهز خواهد بود تا داده را از نقاط دیدگاه مختلف، از جمله نقطه‌نظر مشتری درک کند.

اگر به دنبال گسترش به پروژه‌های داده بزرگ‌تر هستید، مانند محاسبه پیش‌بینی‌های آینده یا ML یا AI، یک دانشمند داده می‌تواند کمک کند.

دانشمندان داده دانش دامنه را با تجربه فنی خود ترکیب می‌کنند تا داده را مدل و اعتبارسنجی کنند

دانشمند داده ممکن است بیشترین نقش نادرست درک شده و مورد بحث باشد. آیا آنها به همان سطح دانش مهندسی عمیق به عنوان یک مهندس داده نیاز دارند؟ آیا شرکت‌های خاص دانشمندان داده را به سادگی به این دلیل استخدام می‌کنند که «این کاری است که باید انجام شود»؟ واقعاً سخت است که به سوالات در مورد نقش یک دانشمند داده پاسخ دهیم زیرا می‌تواند به شدت در هر صنعت متفاوت باشد.

اما، به طور کلی، نقش‌های دانشمند داده موازی با نقش تحلیل‌گر داده اجرا می‌شوند، و برخی شرکت‌ها از هر دو نام برای همان نقش استفاده می‌کنند. یک دانشمند داده معمولاً یک نسخه فنی‌تر از تحلیل‌گر داده است، با تجربه بیشتر در مدل‌سازی و آزمایش‌ها، مانند یادگیری ماشین.

تحلیل‌گران تمایل دارند روی درک تاریخ تمرکز کنند (مثلاً، چه اتفاقی برای ثبت‌نام مشتریان در ژوئن افتاد؟)، در حالی که دانشمندان داده تمایل دارند روی ساخت مدل‌ها برای پیش‌بینی در مورد آینده تمرکز کنند (مثلاً، با توجه به اینکه X را می‌دانیم، می‌توانیم یک مدل برای پیش‌بینی اینکه کدام چشم‌اندازها باید با آنها تماس بگیریم و روی کدام بازارها باید تمرکز کنیم ایجاد کنیم.)

نقاط قوت یک دانشمند داده، مانند قابلیت تمیز و پیش‌پردازش داده، ارزیابی، ایجاد و نگهداری مدل‌ها، و اعتبارسنجی داده، می‌تواند آنها را به کار با چندین ذینفع، از محصول و مهندسی، تا مالی و رهبری کسب‌وکار سوق دهد.

همانطور که تیم شما همچنان رشد می‌کند، آنچه بعداً انجام می‌دهید واقعاً به نیاز بستگی دارد، اما در برخی موارد اگر به یک شرکت بزرگتر مقیاس کنید، باید در نظر بگیرید که با تیم‌های دیگر جاسازی شوید.

همانطور که رشد می‌کنید، نقش‌های داده باید با تیم‌های دیگر جاسازی شوند

وقتی یک شرکت کوچک است، تیم‌های داده تمایل دارند که بیشتر متمرکز باشند یا به عنوان یک تیم کار کنند. همانطور که رشد می‌کنید، غیرمتمرکز کردن نقش‌ها و کار آنها مهم‌تر می‌شود.

مهندسان داده و تحلیل تقریباً همیشه به طور کلی متمرکز هستند، در حالی که تحلیل‌گران و دانشمندان داده معمولاً از تیم به عنوان یک شرکت مقیاس می‌یابد غیرمتمرکزتر می‌شوند. این به این دلیل است که تحلیل‌گران و دانشمندان داده نیاز به تعامل با دیگران برای به دست آوردن دانش دامنه دارند، و اغلب نیاز به در دسترس بودن زمانی دارند که ناهماهنگی‌ها و مسائل داده رخ می‌دهد.

در این مرحله، هر چه این نقش‌ها نزدیک‌تر به حوزه دامنه خود بنشینند، کار آنها بهتر خواهد بود. به عنوان مثال، اگر حوزه دامنه یک تحلیل‌گر داده در یک نوع خاص از محصول است، تیم‌های محصول، طراحی و مهندسی شما بینش ارزشمندی زیادی در مورد مشتریان خواهند داشت. اجازه دهید آنها در این تیم‌ها جاسازی شوند تا به طور نزدیک و کارآمد با هم کار کنند.

به سمت در دسترس قرار دادن داده برای کل شرکت ادامه دهید

همانطور که مقیاس می‌کنید، تحلیل‌های خودخدمت می‌تواند برخی از وزن را از تیم داده شما توزیع کند. به سمت بهبود سواد داده در سطح شرکت کار کنید تا همه بتوانند یاد بگیرند و از استفاده از داده قدردانی کنند، و روی راه‌هایی برای ساده‌سازی درخواست‌های موردی تمرکز کنید تا از فرسودگی جلوگیری کنید.

مهم‌تر از همه، نقاط داده داخلی در مورد نقش‌ها و فرآیندهای داده را ردیابی کنید. بازخورد تیم داده بسیار ارزشمند است. به آنچه می‌گویند گوش دهید و به سمت بهبود محیط کار کنید. این بیشترین تأثیر را بر فرهنگ داده در شرکت شما خواهد داشت.