Kluczowe dania na wynos
- Wygląda na to, że system AI o nazwie DALL-E2 stworzył własny system komunikacji pisemnej.
- Niektórzy eksperci twierdzą, że pozorny język może być po prostu bełkotem.
- Jest to przykład tego, jak trudno jest zinterpretować wyniki zaawansowanych systemów AI.
Wygląda na to, że sztuczna inteligencja (AI) opracowała własny język, ale niektórzy eksperci są sceptyczni wobec tego twierdzenia.
System sztucznej inteligencji OpenAI o nazwie tekst na obraz o nazwie DALL-E2 stworzył własny system komunikacji pisemnej. To przykład, jak trudno jest zinterpretować wyniki zaawansowanych systemów AI.
„Ze względu na rozmiar i głębokość dużych modeli bardzo trudno jest wytłumaczyć zachowanie modelu”, Teresa O'Neill, dyrektor ds. architektury rozwiązań do rozumienia języka naturalnego w iMerit, powiedziała Lifewire w wywiadzie e-mailowym. „Jest to jedno z głównych wyzwań, a w niektórych przypadkach problemy etyczne z coraz mocniejszymi modelami. Jeśli nie możemy wyjaśnić, dlaczego zachowują się tak, jak zachowują, czy możemy przewidzieć ich zachowanie lub zachować je zgodnie z naszymi normami i oczekiwaniami? „
Czaty AI
Student informatyki Giannis Daras zauważył niedawno, że system DALLE-2, który tworzy obrazy na podstawie wprowadzanego tekstu, w pewnych okolicznościach zwraca bezsensowne słowa jako tekst.
„Znanym ograniczeniem DALLE-2 jest to, że ma problemy z tekstem”, napisał w artykule opublikowanym na serwerze preprintów Arxiv. „Na przykład monity tekstowe, takie jak: „Obraz samolotu ze słowem” często prowadzą do wygenerowania obrazów przedstawiających bezużyteczny tekst”.
Ale, pisał Daras, może kryć się metoda za tym pozornym bełkotem. „Odkrywamy, że ten stworzony tekst nie jest przypadkowy, ale raczej ujawnia ukryte słownictwo, które wydaje się, że model rozwinął się wewnętrznie” – kontynuował. "Na przykład, gdy jest karmiony tym bełkotem, model często produkuje samoloty."
W swoim tweecie Daras zwrócił uwagę, że kiedy DALLE-2 został poproszony o napisy do rozmowy między dwoma rolnikami, pokazało to, że rozmawiają, ale dymki wypełnione były czymś, co wyglądało na bezsensowne słowa. Ale Daras odkrył, że słowa te wydają się mieć dla sztucznej inteligencji własne znaczenie: rolnicy mówili o warzywach i ptakach.
Nicola Davolio, dyrektor generalny firmy technologicznej Hupry, która pracuje z AI, wyjaśnił Lifewire w wywiadzie e-mailowym, że język jest oparty na symbolach, które system DALL-E2 nauczył się kojarzyć z pewnymi pojęciami. Na przykład symbol „pies” może być powiązany ze zdjęciem psa, a symbol „kot” może być powiązany ze zdjęciem kota. DALL-E2 stworzył swój język, ponieważ umożliwia bardziej efektywną komunikację z innymi systemami AI.
Zagadki, takie jak pozornie ukryte słownictwo DALL-E2 są zabawne, ale również podkreślają cięższe pytania…
„Język składa się z symboli, które wyglądają jak egipskie hieroglify i nie wydają się mieć żadnego konkretnego znaczenia” – dodał. „Symbole prawdopodobnie nie mają znaczenia dla ludzi, ale mają doskonały sens dla systemu AI, ponieważ został on przeszkolony na milionach obrazów”.
Naukowcy uważają, że system AI stworzył język, aby pomóc mu lepiej zrozumieć relacje między obrazami i słowami, powiedział Davolio.
„Nie są pewni, dlaczego system sztucznej inteligencji rozwinął swój język, ale podejrzewają, że może to mieć coś wspólnego z nauką tworzenia obrazów” – dodał Davolio. „Możliwe, że system AI opracował swój język, aby komunikacja między różnymi częściami sieci była bardziej wydajna.„
Tajemnice AI
DALL-E2 nie jest jedynym systemem AI, który rozwinął swój wewnętrzny język, zauważył Davolio. W 2017 r. system AutoML firmy Google stworzył nową formę architektury neuronowej zwaną „siecią podrzędną”, pozostawioną do podjęcia decyzji, jak najlepiej wykonać dane zadanie. Ta sieć dzieci nie mogła zostać zinterpretowana przez jej ludzkich twórców.
„Te przykłady to tylko kilka przypadków, w których systemy sztucznej inteligencji rozwinęły sposoby robienia rzeczy, których nie potrafimy wyjaśnić” – powiedział Davolio. „To pojawiające się zjawisko, które jest w równym stopniu fascynujące i alarmujące. W miarę jak systemy sztucznej inteligencji stają się coraz bardziej złożone i autonomiczne, możemy coraz częściej nie rozumieć, jak one działają”.
O'Neill powiedziała, że jej zdaniem DALL-E2 nie tworzy własnego języka. Zamiast tego powiedziała, że powód pozornej inwencji językowej jest prawdopodobnie nieco bardziej prozaiczny.
„Jednym z prawdopodobnych wyjaśnień jest przypadkowa szansa – w tak dużym modelu może mieć zastosowanie odrobina Prawa Murphy'ego: jeśli może się wydarzyć dziwna rzecz, prawdopodobnie tak się stanie” – dodał O'Neill. Inną możliwością sugerowaną przez analityka badawczego Benjamina Hiltona w wątku na Twitterze omawiającym odkrycia Darasa jest to, że forma wyrażenia „apoploe vesrreaitais” naśladuje formę łacińskiej nazwy zwierzęcia. Tak więc system zrodził nowy porządek Aves, dodał O'Neill.
„Zagadki, takie jak pozornie ukryte słownictwo DALL-E2 są zabawne w zmaganiach, ale podkreślają również cięższe pytania dotyczące ryzyka, stronniczości i etyki w często niezbadanym zachowaniu dużych modeli” – powiedział O'Neill.
