Nowe odkrycia w modelach językowych

Czatboty takie jak ChatGPT opierają się na niezwykle skomplikowanych modelach językowych. Mimo że te narzędzia znajdują zastosowanie w różnych dziedzinach, od obsługi klienta po generowanie kodu czy tłumaczenie językowe, naukowcy nadal nie w pełni rozumieją, jak działają te modele. Świadomość tej luki skłania naukowców do głębszych badań nad tymi technologiami.

Studia nad mechanizmami

Badacze z MIT oraz innych instytucji naukowych wzięli na warsztat mechanizmy działania tych ogromnych modeli uczenia maszynowego. Podczas badań zaobserwowali zaskakujący wynik - duże modele językowe (LLM) często wykorzystują bardzo prostą funkcję liniową do odzyskiwania i dekodowania przechowywanych faktów.

Identyfikując funkcje liniowe dla różnych faktów, mogą badać model, aby zobaczyć, co wie na temat nowych tematów i gdzie w modelu przechowywana jest ta wiedza. Badacze odkryli, że pomimo przechowywania w modelu odpowiednich odpowiedzi na zadawane pytania, odpowiada on na nie nieprawidłowo.

Dostrzeganie faktów

Większość dużych modeli językowych, zwanych także modelami transformacyjnymi, to sieci neuronowe. Podobnie jak ludzki mózg, sieci neuronowe zawierają miliardy połączonych ze sobą węzłów, zwanych neuronami, które są pogrupowane na wiele warstw, które kodują oraz przetwarzają dane.

Badacze utworzyli coś, co nazywają "soczewką atrybutów" - siatka, która pokazuje, gdzie konkretna informacja na temat określonego związku jest przechowywana w różnych warstwach modelu. Soczewki atrybutów mogą być generowane automatycznie, co dostarcza naukowcom uporządkowany schemat, który pozwala lepiej zrozumieć model językowy.

Szkic przyszłości

Naukowcy pragną zrozumieć, co się dzieje w przypadkach, gdy fakty nie są przechowywane w sposób liniowy. Chcą również przeprowadzić eksperymenty z większymi modelami, a także przeanalizować precyzję funkcji dekodujących.

Badania te pokazują, jak proste mechanizmy mogą pomóc zrozumieć skomplikowane modele, dając cenną wiedzę o tym, jak duże modele językowe odzyskują przechowywaną wiedzę. Odkrycie, że wiele informacji jest kodowane i odzyskiwane za pomocą prostych funkcji liniowych, otwiera nowe możliwości poprawy wyników tych modeli.