Columbia Journalism Review har gjort en systematisk undersökning av hur pålitliga AI-chattbotar är som sökmotorer för information och fakta. Resultaten är entydiga, och gör det väldigt tydligt att det inte handlar om några uppslagsverk med smarta sökfunktioner.
Så här sammanfattar tidningen sina fynd:
Chattbotar är dåliga på att säga ifrån om de inte vet något. Istället producerar de påhittade eller spekulativa svar.
Premiumtjänster genererar mer självsäkra felaktiga svar än gratistjänster.
Flera testade chattbotar ser ut att ignorera robots.txt-filer på webbplatser.
Generativa sökfunktioner inkluderar fabricerade länkar och citerar kopior av artiklar istället för originalen.
Licensavtal med nyhetsmedier gör inte nödvändigtvis att svaren blir mer pålitliga.
Tidningen testade Chatgpt Search, Perplexity, Perplexity Pro, Deepseek Search, Copilot, Grok 2 Search, Grok 3 Search och Gemini.
Svarar självsäkert även när de har fel
Av dessa var Perplexity Pro mest korrekt, men svarade ändå självsäkert fel i 37 procent av fallen. Gratisversionen av tjänsten svarade rätt nästan lika mycket men var bättre på att inte ge något svar eller ett osäkert svar när den hade fel.
Gemini var sämst och svarade bara korrekt på 3 av 200 frågor. Grok-3 svarade rätt på 10, men gav flest självsäkra-men-felaktiga svar. Chat GPT var tvåa efter Perplexity, följt av Deepseek. Microsoft Copilot var bäst på att säga ”det där vet jag inte” när den inte hittade ett svar.
Att Perplexity svarar korrekt så ofta kan delvis förklaras av att företaget ignorerar robots.txt-filer. I tidningens test citerade den till exempel korrekt från National Geographic-artiklar, trots att dessa ligger bakom en betalvägg och sajten förbjuder AI-robotar.
