۶ نوع رایج سوگیری هنگام کار با داده

شما سعی می‌کنید یک تصمیم خوب بگیرید، و تصمیم می‌گیرید به داده‌های خود نگاه کنید تا به شما کمک کند تصمیم خود را بگیرید. همه چیز مورد نیاز برای احساس اعتماد دارید، و با احساس شکست‌ناپذیر به جلو حرکت می‌کنید—بالاخره، داده‌های شما از شما پشتیبانی می‌کند. اما سپس، چیزها آنطور که انتظار دارید نمی‌شوند. ناگهان در حال دست و پا زدن هستید، و سعی می‌کنید بفهمید چه اشتباهی پیش رفت.

اگر این آشنا به نظر می‌رسد، ممکن است با سوگیری‌های شناختی که بر نحوه درک شما از جهان اطراف تأثیر می‌گذارند و تحریف می‌کنند سروکار داشته باشید. این سوگیری‌ها جهانی هستند—ذاتی بخشی از نحوه پردازش اطلاعات همه—اما وقتی با داده کار می‌کنید و از آن یاد می‌گیرید پیچیدگی اضافی به خود می‌گیرند.

صبر کنید، فکر می‌کردم داده قرار بود به من کمک کند عینی باشم؟

درست است، کار با داده به شما کمک می‌کند تصمیمات بهتری بگیرید، لنگر شده در واقعیت به جای نظر. اما فقط چون با داده کار می‌کنید، به این معنی نیست که سوگیری‌های شما نمی‌توانند نحوه دیدن جهان را تحریف کنند.

سوگیری‌های شناختی خطاهای سیستماتیک در تفکر هستند، معمولاً به ارث برده شده از تجربیات فرهنگی و شخصی، که منجر به تحریف ادراکات هنگام تصمیم‌گیری می‌شوند. و در حالی که داده ممکن است عینی به نظر برسد، داده توسط انسان‌ها جمع‌آوری و تحلیل می‌شود، و بنابراین می‌تواند سوگیر باشد.

و این اثرات فقط زمانی رشد می‌کنند که مشتریان به آموزش مدل‌های یادگیری ماشین عادت دارند. مدل‌ها سوگیری افرادی که آنها را می‌سازند را به ارث می‌برند، و نتایج غیرمنتظره و مضر مانند اینها را تولید می‌کنند:

• سیستم یادگیری ماشین استخدام Amazon علیه زنان سوگیر بود
• ماشین خودران Uber که یک زن را زد و کشت عابر پیاده jaywalk را تشخیص نداد
• تبعیض نژادی در فناوری تشخیص چهره

پس چه می‌توانم درباره سوگیری داده انجام دهم؟

اولین قدم برای غلبه بر سوگیری در تصمیم‌گیری شما آشنایی با رایج‌ترین انواع سوگیری داده است. برای شروع شما، ما شش نوع رایج سوگیری داده را، همراه با برخی استراتژی‌های کاهش توصیه شده جمع‌آوری کرده‌ایم.

۱. سوگیری تأیید

احتمالاً هر روز زندگی خود با این سوگیری زیربنایی مواجه شده‌اید. همه ما عاشق درست بودن هستیم، بنابراین مغز ما مدام در جستجوی شواهدی است که از باورهای قبلی ما پشتیبانی می‌کند. حتی اگر بهترین تلاش خود را برای باز بودن به ایده‌های جایگزین می‌کنیم، ذهن ما به سمت امنیت و راحتی افکار اول خود فشار می‌آورد. این می‌تواند به طور ناخودآگاه از طریق سوگیری‌ها در نحوه جستجو، تفسیر، یا یادآوری اطلاعات اتفاق بیفتد، یا آگاهانه، زمانی که تصمیم می‌گیریم گیلاس‌چینی کنیم، با تمرکز روی اطلاعاتی که از استدلال‌های ما پشتیبانی می‌کند.

مثال سوگیری تأیید: echo chamber رسانه‌های اجتماعی

"من آن را در Facebook دیدم، توسط John به اشتراک گذاشته شد" — آشنا به نظر می‌رسد؟ الگوریتم‌های رسانه‌های اجتماعی از سوگیری‌های تأیید طبیعی مشتریان استفاده می‌کنند. با ترویج و تقویت محتوایی که آنچه بازدیدکنندگان قبلاً باور دارند را تأیید می‌کند، پلتفرم‌های رسانه‌های اجتماعی باورهای قبلی بازدیدکنندگان را تقویت می‌کنند، آنها را درگیر با پلتفرم نگه می‌دارند. کاربران آنچه را که قبلاً باور دارند می‌بینند، و با احساس قانع‌تر شدن که دیدگاه‌های آنها در واقعیت پشتیبانی می‌شود ترک می‌کنند.

نحوه اجتناب از سوگیری تأیید

• باورها و فرضیات خود را قبل از شروع تحلیل خود ثبت کنید. این به شما کمک می‌کند به طور فعالانه سوگیری‌های خود را هنگام بررسی نتایج خود شناسایی کنید.
• از تمام داده و شواهد ارائه شده عبور کنید، اما فوراً به نتیجه‌گیری نپرید. در برابر وسوسه تولید فرضیه‌ها یا جمع‌آوری اطلاعات اضافی برای تأیید باورهای خود مقاومت کنید.
• باورها و فرضیات ثبت شده خود را در نتیجه تحلیل خود دوباره بررسی کنید، و ارزیابی کنید که آیا بر یافته‌های شما تأثیر گذاشته‌اند.

۲. سوگیری انتخاب

سوگیری‌های انتخاب زمانی اتفاق می‌افتند که به نمونه‌هایی نگاه می‌کنید که نماینده جمعیت نیستند. این می‌تواند به طور ارگانیک هنگام کار با مجموعه‌های کوچک داده، یا زمانی که روش نمونه‌گیری واقعاً تصادفی نیست اتفاق بیفتد.

مثال سوگیری انتخاب: تست A/B قیمت‌گذاری

یک استارتاپ می‌خواهد بداند که آیا کاهش قیمت محصول آنها منجر به درآمد کلی بالاتر می‌شود. آنها تصمیم می‌گیرند قیمت‌گذاری جدید خود را برای یک هفته تست کنند، اما فقط با بازدیدکنندگان از US تست می‌کنند. وقتی قیمت‌گذاری را به بقیه جهان rollout می‌کنند، متعجب می‌شوند که مخاطب گسترده‌تر متفاوت از نمونه آنها رفتار می‌کند.

نحوه اجتناب از سوگیری انتخاب

• از تصادفی‌سازی برای اطمینان از اینکه یک نمونه نماینده به جای یک نمونه راحت دارید استفاده کنید.
• مطمئن شوید نمونه‌ها نماینده جمعیت در متغیرهایی که می‌خواهید کنترل کنید هستند (به عنوان مثال. Geos به طور یکنواخت توزیع شده‌اند)

۳. سوگیری تاریخی

سوگیری داده تاریخی زمانی اتفاق می‌افتد که تعصبات و باورهای اجتماعی-فرهنگی در فرآیندهای سیستماتیک منعکس می‌شوند. این به ویژه چالش‌برانگیز می‌شود زمانی که داده از منابع با سوگیری تاریخی برای آموزش مدل‌های یادگیری ماشین استفاده می‌شود—به عنوان مثال، اگر سیستم‌های دستی به گروه‌های خاصی از مشتریان رتبه‌بندی اعتبار ضعیف می‌دهند، و شما از آن داده برای آموزش سیستم خودکار استفاده می‌کنید، سیستم خودکار سوگیری‌های سیستم اصلی را تکثیر و ممکن است تقویت کند.

مثال سوگیری تاریخی: word embeddings

در سال ۲۰۱۳، مدل‌های شبکه عصبی نحوه درک ماشین‌ها از کلمات نوشته شده را متحول کردند. این فناوری به کامپیوترها امکان رمزگذاری معنای معنایی کلمات را می‌دهد، با یادگیری از مجموعه‌های عظیم متن نوشته شده، مانند Wikipedia، Google News، یا Reddit. با این حال، ما چندین مثال دیده‌ایم که متن منبع از مجموعه داده‌های موجود مدل‌هایی تولید کرده است که سوگیری‌های موجود در آن مجموعه داده‌ها را منعکس و تقویت می‌کنند. به عنوان مثال، یک مدل یادگیری ماشین آموزش دیده روی Wikipedia قیاس‌های با سوگیری جنسیتی مانند: مرد : پزشک :: زن : پرستار، یا مرد : فرمانده :: زن : معلم مدرسه تولید کرد. مدل سوگیری‌های تاریخی جامعه را با یادگیری از corpus عظیم متن به ارث برد، و کارهایی تولید کرد که بیشتر آن سوگیری‌ها را تقویت می‌کند.

نحوه اجتناب از سوگیری تاریخی

• سوگیری‌ها را در منابع داده تاریخی و معاصر تصدیق و شناسایی کنید.
• چارچوب‌های شمولیت را برای گروه‌های کم‌نمایندگی ایجاد و پرورش دهید.

۴. سوگیری بقا

تمرکز روی برندگان به جای رقبای دوم آسان‌تر است. اگر به مسابقه مورد علاقه خود از المپیک ۲۰۱۶ فکر کنید، احتمالاً به خاطر آوردن اینکه چه کسی نقره و برنز گرفت بسیار سخت است. سوگیری بقا ما را تحت تأثیر قرار می‌دهد تا روی ویژگی‌های برندگان تمرکز کنیم، به دلیل کمبود دید سایر نمونه‌ها—توانایی ما برای تشخیص همبستگی و علیت را گیج می‌کند.

مثال سوگیری بقا: بیش‌نمایه‌سازی روی توصیه کارآفرینان موفق

پس از شنیدن داستان‌های کسب‌وکار از افرادی مانند کارآفرینان موفق، وسوسه‌انگیز است که سعی کنید توصیه آنها را بدون هیچ سوالی دنبال کنید. چرا؟ آنها موفق شدند. حتی ممکن است فکر کنید که کلید یک کارآفرین موفق بودن این است که هرگز کالج را تمام نکنید.

درست است که آنها نتایج چشمگیری به دست آوردند، اما چند نفر دیگر همان مسیر را دنبال کرده‌اند و شکست خورده‌اند؟ ما توجه بسیار کمتری به تعداد خاموش کارآفرینانی که شکست خورده‌اند می‌دهیم، اما تعداد بسیار بیشتری از آنها وجود دارد. این به معنای این نیست که نباید استراتژی‌های رهبران موفق را مطالعه کنیم، اما باید به خاطر داشته باشیم که متغیرهای بسیار بیشتری در بازی وجود دارد که تعیین می‌کند کدام سازمان‌ها موفق می‌شوند.

نحوه اجتناب از سوگیری بقا

• روی آنچه زنده ماند بیش‌نمایه نکنید. یک قدم به عقب بردارید و مسیرهای گرفته شده توسط هر دو شرکت‌کنندگان موفق و ناموفق را در نظر بگیرید.
• داده بیشتری برای طرف دیگر داستان پیدا کنید.

۵. سوگیری در دسترس بودن

در دسترس بودن داده تأثیر زیادی بر نحوه دیدن جهان دارد—اما همه داده به طور یکسان بررسی و وزن نمی‌شود. آیا تا به حال خود را در حال تعجب کرده‌اید که آیا جرم در محله شما افزایش یافته است چون یک پنجره ماشین شکسته دیده‌اید؟ شما یک سرنخ واضح دیده‌اید که چیزی ممکن است در حال انجام باشد، اما چون احتمالاً به بررسی آمار جرم ادامه ندادید، احتمالاً ادراک شما بر اساس اطلاعات فوراً در دسترس تغییر کرد.

مثال سوگیری در دسترس بودن: جنون نوآوری

یک فناوری جدید پیشگامانه جهان را طوفانی می‌کند. شما آن را در هر بیلبورد، مقاله خبری می‌بینید، و از همکاران خود به طور مداوم درباره آن می‌شنوید. وقتی با مشکلی مواجه می‌شوید که این فناوری می‌تواند به شما کمک کند، اولین چیزی است که در ذهن شما است، و فوراً به پیاده‌سازی آن در پروژه جدید خود می‌پرید. پس از چند هفته، پروژه شما آنطور که امیدوار بودید پیش نمی‌رود، و متوجه شدید که یک فناوری قدیمی‌تر و اثبات‌شده‌تر ممکن است راه‌حل بهتری بوده باشد. اما چون پیشرفت به راحتی در حافظه شما در دسترس بود، به طور کامل بررسی نکردید، و در نهایت نیاز به بازاندیشی کار خود داشتید.

نحوه اجتناب از سوگیری در دسترس بودن

• روی روندها و الگوهای بزرگ‌تر تمرکز کنید، به جای outlierهای حکایتی واضح. ممکن است خاطرات واضحی که دارید، استثنا به جای قاعده باشند، و فقط با بررسی بیشتر می‌توانید مطمئن شوید.
• به دنبال دیدگاه‌های مختلف باشید! اخبار، رسانه، اما همچنین تیم، خانواده، و دوستان شما نقش بزرگی در شکل‌دهی این میانبر طبیعی بازی می‌کنند، چون آنها شما را بیشتر در معرض آنچه فکر می‌کنند برای شما مهم است که به خاطر بسپارید و به آن توجه کنید قرار می‌دهند. می‌توانید سوگیری در دسترس بودن را با تمرین کنجکاوی و حفاری فعالانه در اطلاعات در دسترس (حتی اگر سخت‌تر باشد) برای درک یک وضعیت معین خنثی کنید.

۶. سوگیری outlier

میانگین‌ها مکان عالی برای پنهان کردن حقایق ناراحت‌کننده هستند. برخی داده به عنوان یک میانگین راحت برای تجسم است، اما این عملیات ساده اثر outlierها و ناهنجاری‌ها را پنهان می‌کند، و مشاهدات ما را تحریف می‌کند.

مثال سوگیری outlier: نگاه به میانگین KPI

یک استارتاپ می‌خواهد مطمئن شود که سایت بازاریابی آنها سریع و پاسخگو احساس می‌شود. آنها تصمیم می‌گیرند میانگین زمان تأخیر خود را برای اطمینان از اینکه سایت آنها به بارگذاری سریع ادامه می‌دهد ردیابی کنند. پس از چند ماه از مقادیر میانگین تأخیر تقریباً ثابت، شروع به دیدن کاهش در تعامل در برخی از مهم‌ترین صفحات خود می‌کنند. وقتی بیشتر بررسی می‌کنند، متوجه می‌شوند که تأخیر در آن صفحات به شدت افزایش یافته است. میانگین زمان تأخیر سایت‌های آنها در سراسر سایت به تصویر گلگون ادامه داد، چون آن صفحات یک outlier در میان بسیاری از صفحات دیگر با عملکرد خوب بودند.

نحوه اجتناب از سوگیری outlier

• وقتی میانگین‌ها به شما می‌گویند چیزها خوب به نظر می‌رسند، زمان حفاری عمیق‌تر است.
• به کل محدوده توزیع نگاه کنید
• از میانه به جای میانگین استفاده کنید
• outlierها را پیدا و بررسی کنید

افکار نهایی: سوگیری داده

کار از طریق سوگیری‌های شناختی ما بخش مهمی از کار با داده و یادگیری از آن است. اگرچه داده به ما کمک می‌کند جهان را مانند قبل ببینیم—آگاه شدن از، و اقدامات پیشگیرانه علیه سوگیری‌های داده یک قدم مهم برای تصمیم‌گیری بهتر با داده است.

درود،

تیم Metabase