Logowanie przez swoje konto w chatGPT.
Uruchamiamy klasyfikator przeszkolony w rozróżnianiu tekstu napisanego przez sztuczną inteligencję i napisanego przez człowieka.
Wyszkoliliśmy klasyfikator, aby rozróżniał tekst napisany przez człowieka od tekstu napisanego przez sztuczną inteligencję różnych dostawców. Chociaż nie jest możliwe niezawodne wykrycie całego tekstu napisanego przez sztuczną inteligencję, uważamy, że dobre klasyfikatory mogą pomóc w ograniczeniu fałszywych twierdzeń, że tekst wygenerowany przez sztuczną inteligencję został napisany przez człowieka: na przykład prowadzenie zautomatyzowanych kampanii dezinformacyjnych , używanie narzędzi sztucznej inteligencji do nieuczciwości akademickiej oraz pozycjonowanie chatbota AI jako człowieka.
Nasz klasyfikator nie jest w pełni wiarygodny. W naszych ocenach „zestawu wyzwań” tekstów w języku angielskim nasz klasyfikator poprawnie identyfikuje 26% tekstu napisanego przez sztuczną inteligencję (prawdziwie pozytywne wyniki) jako „prawdopodobnie napisany przez sztuczną inteligencję”, podczas gdy błędnie oznacza tekst napisany przez człowieka jako napisany przez sztuczną inteligencję 9% czas (fałszywie dodatnie). Wiarygodność naszego klasyfikatora zwykle poprawia się wraz ze wzrostem długości tekstu wejściowego. W porównaniu z naszym poprzednio wydanym klasyfikatorem ten nowy klasyfikator jest znacznie bardziej niezawodny w przypadku tekstu z nowszych systemów sztucznej inteligencji.
Udostępniamy ten klasyfikator publicznie, aby uzyskać opinie na temat przydatności niedoskonałych narzędzi, takich jak to. Nasze prace nad wykrywaniem tekstu generowanego przez sztuczną inteligencję będą kontynuowane i mamy nadzieję, że w przyszłości udostępnimy udoskonalone metody.
Wypróbuj nasz klasyfikator w toku:
Ograniczenia
Nasz klasyfikator ma kilka ważnych ograniczeń. Nie powinien być używany jako podstawowe narzędzie decyzyjne , ale jako uzupełnienie innych metod określania źródła fragmentu tekstu.
-
Klasyfikator jest bardzo zawodny w przypadku krótkich tekstów (poniżej 1000 znaków). Nawet dłuższe teksty są czasami błędnie oznaczane przez klasyfikator.
-
Czasami tekst napisany przez człowieka zostanie nieprawidłowo, ale pewnie oznaczony przez nasz klasyfikator jako napisany przez sztuczną inteligencję.
-
Zalecamy używanie klasyfikatora tylko dla tekstu w języku angielskim. Działa znacznie gorzej w innych językach i jest zawodny w kodzie.
-
Tekst, który jest bardzo przewidywalny, nie może być wiarygodnie zidentyfikowany. Na przykład nie można przewidzieć, czy lista pierwszych 1000 liczb pierwszych została napisana przez sztuczną inteligencję, czy przez ludzi, ponieważ poprawna odpowiedź jest zawsze taka sama.
-
Tekst napisany przez AI można edytować, aby ominąć klasyfikator. Klasyfikatory takie jak nasz można aktualizować i ponownie szkolić w oparciu o udane ataki, ale nie jest jasne, czy wykrywanie ma przewagę w dłuższej perspektywie.
-
Wiadomo, że klasyfikatory oparte na sieciach neuronowych są słabo skalibrowane poza danymi treningowymi. W przypadku danych wejściowych, które bardzo różnią się od tekstu w naszym zbiorze uczącym, klasyfikator jest czasami bardzo pewny błędnej prognozy.
Szkolenie klasyfikatora
Nasz klasyfikator to model językowy dostrojony do zestawu danych par tekstu napisanego przez człowieka i tekstu napisanego przez sztuczną inteligencję na ten sam temat. Zebraliśmy ten zestaw danych z różnych źródeł, które naszym zdaniem zostały napisane przez ludzi, takich jak dane przedtreningowe i demonstracje ludzi na monitach przesłanych do InstructGPT . Każdy tekst podzieliliśmy na monit i odpowiedź. Na podstawie tych monitów wygenerowaliśmy odpowiedzi z różnych modeli językowych przeszkolonych przez nas i inne organizacje. W przypadku naszej aplikacji internetowej dostosowujemy próg ufności, aby utrzymać niski współczynnik fałszywych trafień; innymi słowy, oznaczamy tekst jako prawdopodobnie napisany przez AI tylko wtedy, gdy klasyfikator jest bardzo pewny siebie.
Wpływ na nauczycieli i wezwanie do wkładu
Zdajemy sobie sprawę, że identyfikacja tekstu napisanego przez sztuczną inteligencję była ważnym punktem dyskusji wśród nauczycieli i równie ważne jest rozpoznanie ograniczeń i wpływu klasyfikatorów tekstu generowanych przez sztuczną inteligencję w klasie. Opracowaliśmy wstępne zasoby dotyczące korzystania z ChatGPT dla nauczycieli, w których opisano niektóre zastosowania oraz związane z nimi ograniczenia i uwagi. Chociaż ten zasób koncentruje się na edukatorach, spodziewamy się, że nasz klasyfikator i powiązane z nim narzędzia klasyfikacyjne będą miały wpływ na dziennikarzy, badaczy dezinformacji i innych grup.
Współpracujemy z nauczycielami w USA, aby dowiedzieć się, co widzą w swoich klasach i omówić możliwości i ograniczenia ChatGPT, i będziemy nadal poszerzać nasz zasięg w miarę zdobywania wiedzy. Są to ważne rozmowy, ponieważ częścią naszej misji jest bezpieczne wdrażanie dużych modeli językowych w bezpośrednim kontakcie z dotkniętymi społecznościami.
Jeśli te problemy dotyczą bezpośrednio Ciebie (w tym między innymi nauczycieli, administratorów, rodziców, uczniów i dostawców usług edukacyjnych), prześlij nam swoją opinię za pomocą tego formularza . Pomocna jest bezpośrednia opinia na temat wstępnego zasobu , a także wszelkie zasoby, które nauczyciele opracowują lub które uznali za pomocne (np. wytyczne dotyczące kursu, kodeks honorowy i aktualizacje zasad, narzędzia interaktywne, programy alfabetyzacji AI).
#ai #openai #chatgpt