Krótki test możliwości AI w korekcie polskiego tekstu.
hejto.pl
Krótki test możliwości AI w korekcie polskiego tekstu.
Błędy w testowym tekście:
1. brak dużej litery
2. 7x podwójna spacja
3. podwójne aa
4. refleksii
5. dajo
6. wartośći
7. bóduje
Prompt/zadanie:
wylistuj wszystkie błędy ortograficzne, pomiń sprawdzanie przecinków, stosuj zasady dla pisowni języka polskiego w tekście "..."
Model - ilość znalezionych błędów:
GPT 4.o - 6/7
(aistudio.google.com) Gemini Pro 1.5 (temperature 1) (wykrył brak dużej litery) - 6/7
(aistudio.google.com) Gemini 1.5 Flash (temperature 1) (wykrył brak dużej litery) - 6/7
(aistudio.google.com) Gemini Pro 1.5 (temperature 0) - 5/7
Reka CORE - 4/7
(przez perplexity.com) Claude 3 Haiku - 4/7
Mistral - 3/7 + 3 z 7 znalezionych zbędnych spacji
Claude 3 Sonnet - 3/7
Gemini 1 - 2/7
(chat.lmsys.org, Direct chat) Yi-large-preview - 4/7 + jeden błąd składniowy ekstra
(chat.lmsys.org, Direct chat) qwen1.5-110b-chat - 4/7 + 2/7 znalezionych zbędnych spacji
(chat.lmsys.org, Direct chat) command-r - 4/7 + 3 znalezionych zbędnych spacji
(chat.lmsys.org, Direct chat) dbrx-instruct - 4/7
GroQ-Llama3 70b - 2/8
lokalnie Ollama/Llama3-8b:latest - 0/7
lokalnie Ollama/Llama3-8b
Wniosek:
Z korektą tekstu w j. polskim lepiej sobie radzą duże, znane modele językowe. Małe/uruchamiane lokalnie (bez dostępu do internetu) - na razie sobie nie radzą.