Top 6 dezastre celebre ce au implicat soluții de inteligență artificială (AI)

În anul 2017, publicația The Economist a declarat că informațiile reprezintă cea mai importantă resursă pe care o companie o poate deține. Organizațiile, indiferent de industrie, au investit și continuă să investească masiv în soluții software ce generează și prelucrează date sau realizează analize, folosind fie instrumente de tip machine learning, inteligență artificială (AI), etc.

Deținerea și interpretarea datelor prin intermediul sistemelor utilizate reprezintă un proces foarte important. De aceea, cu cât organizațiile realizează acest aspect mai rapid, cu atât pot preveni și evita dezastrele.

Așadar, iată top 6 gafe din ultimul deceniu ce vizează utilizarea greșită a informațiilor și a analizelor generate:

Marea Britanie a pierdut mii de cazuri de COVID prin depășirea limitei de date oferite de soluția Microsoft utilizată

În octombrie 2020, Public Health England (PHE), organismul guvernamental al Marii Britanii responsabil de cuantificarea noilor infecții cu COVID-19, a dezvăluit că aproape 16.000 de cazuri de coronavirus au rămas neraportate între 25 septembrie și 2 octombrie din cauza limitărilor de date în Microsoft Excel.

Foile de calcul Excel pot avea maximum 1.048.576 de rânduri și 16.384 de coloane pe foaie de lucru, iar cum numărul înregistrărilor scăpaseră de sub control, limita a fost depășită.

Eșecul nu a împiedicat persoanele care au fost testate să primească rezultatele lor, dar a împiedicat eforturile de urmărire a contactelor, făcând mai dificil pentru Serviciul Național de Sănătate din Regatul Unit (NHS) să identifice și să notifice persoanele care au fost în contact strâns cu pacienții infectați.

Într-o declarație din 4 octombrie, Michael Brodie, directorul executiv interimar al PHE, a declarat că NHS Test and Trace și PHE au rezolvat problema rapid și au transferat imediat toate cazurile restante în sistemul de urmărire a contactelor NHS Test and Trace.

Algoritmul de asistență utilizat de unitățile medicale din SUA prezenta caracteristici rasiste

Algoritmul era predispus la recomandarea pacienților de culoare albă față de cei de culoare neagră la anumite programe medicale, nerespectând standardele de egalitate. De exemplu, statul american pune la dispoziție diverse programe ce oferă personal de îngrijire instruit și monitorizare primară pacienților cu boli cronice în efortul de a preveni complicațiile grave.

Studiul arată că algoritmul a folosit cheltuielile pentru a determina nevoia de asistență medicală a indivizilor. Costurile pacienților bolnavi de culoare neagră au fost la egalitate cu costurile persoanelor albe mai sănătoase, ceea ce înseamnă că aceștia au primit scoruri de risc mai mici indiferent dacă aveau nevoie mult mai mare.

Chatbot-ul Microsoft a publicat tweet-uri rasiste

Microsoft a lansat în anul 2016 - Tay, un chatbot bazat pe inteligență artificială și l-a testat în cadrul platformei de socializare Twitter. Compania a descris acest eveniment ca pe un experiment de „înțelegere conversațională”. Ideea a fost ca chatbot-ul să-și asume caracteristicile unei adolescente și să interacționeze cu persoane prin Twitter folosind o combinație de funcții bazate pe machine learning și procesare a limbajului natural. Microsoft i-a oferit acces la date publice anonimizate și unele materiale pre-scrise de comedianți, apoi l-a lăsat liber pentru a învăța și a evolua din interacțiunile sale pe rețeaua de socializare.

În doar 16 ore, chatbot-ul a postat peste 95.000 de tweet-uri, iar acestea au devenit rapid rasiste, misogine și antisemite din cauza interacțiunilor cu alți utilizatori. Microsoft a suspendat rapid experimentul.

Zillow – pierderi de 300 de milioane de dolari în domeniul imobiliar

Zillow, compania americană ce activează în industria de imobiliare a achiziționat din aprilie 2018 peste 27.000 de locuințe la prețuri sugerate de algoritmii utilizați, creați pe baza informațiilor generate de către organizație. Eșecul a determinat ca până în septembrie 2021, compania să vândă doar 17.000 de imobile și să piardă peste 300 de milioane de dolari.

Zillow a afirmat că algoritmul a determinat compania să cumpere neintenționat case la prețuri mult mai mari decât valorau, iar investigațiile au arătat că algoritmul a avut o rată de eroare între 1,9%, ajungând și până la 6,9% la casele din afara pieței. Totodată, contextul pandemic și lipsa forței de muncă a accentuat pierderile.

Instrumentul de recrutare al Amazon bazat pe AI recomanda doar bărbați

La fel ca majoritatea companiilor, Amazon a înclinat spre digitalizarea proceselor, în special a celor HR, cu scopul de a ecraniza aplicațiile pentru cei mai buni candidați. În 2014, gigantul american a început să lucreze la un software de recrutare bazat pe inteligență artificială pentru a face exact asta. A existat o singură problemă: sistemul prefera bărbații. 

Sistemul Amazon a acordat candidaților evaluări de la 1 la 5. Modelele de machine learning din centrul sistemului au fost instruite pe CV-uri provenite în mod predominant de la bărbați. Ca urmare a acestor date de antrenament, sistemul a început să penalizeze frazele din CV care includeau cuvântul „femei” și cuvinte derivate.

Compania a încercat să editeze instrumentul pentru a-l face neutru, dar în cele din urmă a decis că nu poate garanta că nu va învăța un alt mod discriminatoriu de sortare a candidaților. În 2018 Amazon a abandonat proiectul.

Target a încălcat confidențialitatea datelor prin analize

În anul 2012, Target, unul dintre cei mai importanți retaileri din industrie, a inițializat un proiect ce prevedea analizarea datelor și comportamentului clientelor cu scopul de a preconiza dacă acestea sunt însărcinate. Conform studiilor, o sarcină poate aduce schimbări de comportament și implicit tendințe în ceea ce privește preferințele pentru cumpărături. Scopul a fost de a crea o experiență a cumpărăturilor cât mai prolifică și de a recomanda produse bazate pe interesul acestora.

Target a colectat date despre clienții săi prin coduri de cumpărători, carduri de credit, sondaje și multe altele. A combinat acele date cu datele demografice și cu datele de la terți pe care le-a achiziționat. Strângerea tuturor acestor date a permis echipei de analiză să determine că existau aproximativ 25 de produse vândute de Target care puteau fi analizate împreună pentru a genera un scor de „predicție de sarcină”. 

Potrivit Times, compania nu s-a retras de la marketingul vizat, dar a început să amestece reclame pentru lucruri pe care știau că femeile însărcinate nu le vor cumpăra – de exemplu reclame pentru mașini de tuns iarba lângă reclame pentru scutece.

Așadar, având în vedere exemplele de mai sus, utilizarea unei soluții software potrivite care să realizeze managementul corect al informațiilor și a analizelor reprezintă un aspect foarte important ce trebuie țintit de către companii.

Din acest motiv, Softlead pune la dispoziție o gamă largă de aplicații și le oferă clienților săi detalii cu privire la implementări personalizate și suport pe parcursul alegerii celui mai bun software pliat pe cerințele și nevoile companiei, atât din punct de vedere tehnic, cât și financiar.

Ai nevoie de o soluție software potrivită companiei tale? Solicită un demo pe adresa [email protected] sau completează formularul de mai jos.

Încă nu știi ce soluție software este potrivită pentru tine? Folosește Softlead Digital DNA, singurul tool care indică gradul de digitalizare al companiei tale și îți oferă un raport personalizat al aplicațiilor necesare și al bugetelor de care poți avea nevoie.