Перейти до основного вмісту

Обґрунтована правдоподібність, а не правда - головна небезпека AI

Правдоподібність, а не правда – головна небезпека штучного інтелекту


Штучний інтелект уже навчився переконливо говорити, писати, малювати, програмувати і навіть створювати “аргументовані” висновки.

Але те, що він формує, не завжди є правдою.
AI чудово оперує поняттям обґрунтованої правдоподібності — тобто створює тексти, що виглядають логічно, переконливо і навіть експертно, проте можуть бути абсолютно хибними.   

Обґрунтована правдоподібність, а не правда - головна небезпека AI.

  • Люди довіряють стилю, а не змісту.
    AI пише впевнено, і це створює ілюзію авторитетності. Навіть фахівці іноді не помічають підміни фактів.

  • Помилки множаться експоненційно.
    Якщо неправду беруть за основу нових моделей, система “вчиться” на дезінформації.

  • Сфера ризику — медіа, аналітика, політика.
    Chat-боти здатні “довести” будь-яку тезу, формуючи у суспільства викривлене уявлення про реальність.

Однією правдоподібною публікацією чат-бота AI будь-якого розробника можливо повністю дискредитувати користувача, який публікує щось від свого імені, а не від імені чат-бота. Тому у всіх чат-ботів є ввічливе  повідомлення, подібне до такого: "ChatGPT може помилятися. Перевіряйте важливу інформацію". 

Можна виділити помилки двох груп: 1) очевидні помилки, 2)неочевидні помилки. 

Приклади очевидних помилок: на зображеннях замість правдивого тексту дрібним шрифтом відображають галюцинації чат-бота AI; замість 5-ти пальців на руці (4+1) відображаються 4 (3+1);  ін. 

Приклади не очевидних помилок: використана відносно мала кількість джерел допущених до навчання чат-боту AI; невірне семантичне виведення, не дивлячись на запевнення чат-боу AI у правдивості написаного і це може повторюватися кілька разів, у т.ч. після самокритики у відповідь на зауваження користувача; особливо небезпечні малопомітні помилки в інфографіці, у т.ч. заміна однієї української букви на англійську і т.п. У разі перевищення безкоштовного користування чат-ботом AI кількість помилкових відповідей може збільшуватися. 

Ще один ситуативний приклад для даного блогу: чат-боти AI перекладають "Business Intelligence" як "Бізнес-аналітика", але у користувача виникає логічне питання, а як же тоді перекладати "Business Analytics" (BA)?

Убудь-якому випадку треба розуміти, що чат-бот AI - це не створена Богом розумна істота, а створена людиною мережева програмна система машинного навчання (Machine learning (ML)) з учителем-людиною. 

Що робити - висновки

  • Перевіряти джерела.
    Не вірте “розумному” тексту без верифікації. AI — це інструмент, а не істина останньої інстанції.

  • Використовувати критичне мислення.
    Якщо твердження виглядає “занадто логічним”, це вже привід засумніватися.

  • Розробляти системи довіри до даних.
    У майбутньому головним буде не “розумніший” AI, а надійніше контрольовані дані, з яких він навчається.

Коментарі

Архів

Показати більше

Популярні дописи з цього блогу

Принципи ведення мережево-центричної війни (network-centric warfare)

У 2012...2013 роках на сайті студентських навчально-наукових публікацій  "Система+" були викладені одні з піонерських в Україні статей про особливості концепції Network Centric Warfare ("Мережево-центричні бойові дії" або неточно "Мережево-центрична війна") -    на основі  Joint Vision 2020 ("Спільне Бачення 2020"  та інших англомовних (в основному США) публікацій, які були опрацьовані раніше автором цієї статті. У Системі+  також активно обговорювалися на навчально-наукових семінарах особливості застосування цивільних додатків концепції Network Centric System (Мережево-центричних систем управління) у цивільних системах управління, для прикладу: мережецентричні операційні системи; мережецентричні міжнародні торговельні,  фінансові і виробничі мережі; мережецентрична система  управління залізничним рухом в РФ; ін. Не дивлячись на вказане, аналіз українських публікацій у цей час показує, що тема  Network Centric Wa...

OSINT (Розвідка відкритих джерел) в екосистемі зв`язаних термінів

OSINT - Open Sourse Intelligence Цей ескіз статті, за винятком інформації про "російсько-українську війну" (гібридну воєнну агресію РФ проти України з 2013 року) початково написаний як фрагмент повної статті про OSINT у січні 2019 року у зв`язку із тим, що раніше створена сторінка про OSINT у Вікіпедії базувалася на джерелах російського походження, хоча сам термін і технологія мають англомовне походження. Ймовірно, даний текст і  джерела у Вікіпедії буде змінено і викривлено,  як і по багатьом іншим інформаційним hi-tech.  Далі визначення OSINT, синтезоване на основі англомовних джерел і власних досліджень:  Розвідка відкритих джерел (англ. Open source intelligence, OSINT) — концепція,  методологія і  технологія   добування з відкритих джерел  військової, політичної, економічної та іншої безпекової інформації  і використання її  для підтримки прийняття рішень у сфері національної оборони і безпеки. Добування інформації здійсню...

Виключна економічна зона України - застосування дронів і міжнародне право

Карта напрямків російської агресії у Чорному морі і у Азовському морі на фоні виключних (морських) економічних зон Виключна економічна зона (Exlusive Economic Zone) це морська зона (maritime zones), до 200 морських миль, де прибережна держава має суверенне право на використання природних ресурсів і ведення економічної діяльності - з гідно з Конвенцією ООН з морського права [1-6] .  Визначені також Територіальне море ( Territorial sea ), Прилегла зона ( Contiguous zone ), Міжнародні води ( International waters ), континентальний шельф ( Continental shelf ), ін. - див. схему нижче. Schematic map of maritime zones, Wiki. Якщо між узбережжями держав менше 400 морських миль, то межі ВЕЗ встановлюються як «серединна  лінія» -  у Чорному морі це  приблизно 84 морських милі (~140 км) від узбережжя України до Туреччини. Чорноморський флот ЗС РФ нахабно влаштовує військові морські навчання у ВЕЗ Туреччини, не кажучи про окуповані морські зони України і Грузії. Між Росією і Тур...