ELIZA przewyższa współczesną sztuczną inteligencję pod tym względem, co jeden z badaczy określił jako „żenujące” dla OpenAI

Wczesny program komputerowy zbudowany w latach 60. XX wieku pokonał wirusowego chatbota AI ChatGPT w teście Turinga, zaprojektowanym w celu odróżnienia człowieka od sztucznej inteligencji.

Naukowcy z Uniwersytetu Kalifornijskiego w San Diego w USA przetestowali wczesny chatbot ELIZA, stworzony w połowie lat 60. XX wieku przez naukowca z MIT Josepha Weizenbauma, w porównaniu z nowoczesnymi wersjami tej technologii.

Odkryli, że ELIZA przewyższa sztuczną inteligencję GPT-3.5 OpenAI, która obsługuje bezpłatną wersję ChatGPT firmy .

Test Turinga stanowi punkt odniesienia przy określaniu zdolności maszyny do naśladowania ludzkiej rozmowy od czasu jego opracowania w 1950 roku przez brytyjskiego informatyka Alana Turinga.

W najnowszym badaniu 652 uczestników musiało ocenić, czy rozmawiają przez Internet z innym człowiekiem, czy z chatbotem AI.

Chatbot GPT-4 OpenAI, który jest potężniejszy niż darmowa wersja tej technologii, był w stanie oszukiwać uczestników badania częściej niż ELIZA, a wskaźnik sukcesu wyniósł 41%.

ELIZA potrafiła podawać się za człowieka w 27% przypadków, podczas gdy wskaźnik sukcesu GPT-3.5 wyniósł zaledwie 14%.

Ekspert ds. sztucznej inteligencji, Gary Marcus, opisał sukces ELIZA jako „zawstydzający” dla nowoczesnych firm technologicznych pracujących nad chatbotami AI.

„Myślę, że fakt, że GPT-3.5 przegrywa z ELIZĄ, nie jest aż tak zaskakujący, gdy czyta się tę gazetę” – napisał na X (dawniej Twitter) Ethan Mollick, profesor sztucznej inteligencji w Wharton School w USA.

„OpenAI uznało ryzyko podszywania się za poważne zagrożenie i wdrożyło RLHF [wzmacnianie uczenia się na podstawie informacji zwrotnych od ludzi], aby zapewnić, że ChatGPT nie będzie udawać człowieka”.

See more

I think the fact that GPT-3.5 loses to ELIZA is not that surprising when you read the paper. OpenAI has considered impersonation risk to be a real concern, and has RLHF'ed to ensure ChatGPT doesn't try to pass as human. ELIZA very much is designed to pass using our psychology.

— Ethan Mollick (@emollick) November 26, 2023

Jednym z powodów, dla których uczestnicy pomylili ELIZĘ z człowiekiem, odnotowanym w badaniu, było to, że „szkoda” być obecnym modelem sztucznej inteligencji. W związku z czym „bardziej prawdopodobne było, że był to człowiek celowo odmawiający współpracy”.

Arvind Narayanan, profesor informatyki w Princeton, który nie był zaangażowany w badania, powiedział: „Jak zawsze testowanie zachowań nie mówi nam o możliwościach. ChatGPT jest dopracowany tak, aby miał formalny ton, a nie wyrażał opinii itp., co czyni go mniej ludzkim.