„Je lepší ChatGPT, nebo Claude?“

To je jedna z nejčastějších otázek kolem AI a zároveň jedna z nejrychleji zastarávajících.

Modely se mění několikrát ročně, funkce přibývají, limity tarifů se mění a schopnost v jednom benchmarku neznamená, že nástroj bude lepší pro váš konkrétní BIM proces.

Pro projekční kancelář je proto užitečnější jiná otázka:

Který nástroj je vhodnější pro konkrétní typ práce a provozní prostředí naší firmy?

Tento článek používá rozhodovací rámec, který přežije déle než žebříček aktuálních modelů.

Nejdřív oddělte model od produktu

ChatGPT není pouze jeden model. Claude také není pouze jeden model.

Když porovnáváte nástroje, hodnotíte kombinaci:

  • modelu,
  • uživatelského rozhraní,
  • práce se soubory,
  • dostupných nástrojů,
  • connectorů,
  • týmové správy,
  • API,
  • bezpečnostního režimu,
  • ceny a limitů.

Výsledek se proto může lišit podle tarifu i konkrétního dne.

1. Práce s dlouhou projektovou dokumentací

Typický use-case:

  • technická zpráva,
  • PBŘ,
  • soupis požadavků,
  • smlouva,
  • několik výkresových PDF,
  • stanoviska.

Nesledujte jen, jestli AI „umí otevřít PDF“.

Testujte:

Přesnost odkazu

Umí model říct, z jaké části dokumentu tvrzení čerpá?

Cross-document reasoning

Najde rozpor mezi dvěma dokumenty?

Abstinence

Dokáže přiznat, že informaci nenašel, místo doplnění pravděpodobné odpovědi?

Strukturovaný výstup

Dokáže vrátit konzistentní issue list?

Opakovatelnost

Dostanete podobný výsledek při druhém běhu?

Tohle je důležitější než subjektivní pocit, že odpověď „zní chytřeji“.

2. Výkresy a vizuální informace

U stavebnictví je text jen část dokumentace.

AI může potřebovat číst:

  • kóty,
  • tabulky,
  • symboly,
  • legendy,
  • poznámky,
  • řezy,
  • schémata.

Vytvořte si vlastní testovací dataset deseti stránek s ověřenými odpověďmi.

Například:

  1. Jaká je světlá výška místnosti 1.24?
  2. Které dveře jsou označené jako požární?
  3. Je hodnota v tabulce konzistentní s poznámkou ve výkresu?
  4. Kolikrát se vyskytuje konkrétní symbol?

Pak porovnávejte skutečnou accuracy, ne marketing.

3. Dynamo, Python a Revit API

AI coding v AEC má specifický problém: model může napsat syntakticky správný kód pro špatné prostředí.

Proto hodnoťte:

  • schopnost držet se verze Revitu,
  • znalost konkrétního Python enginu,
  • správné použití transakcí,
  • zacházení s .NET typy,
  • vysvětlení vstupů/výstupů,
  • schopnost opravit traceback.

Test prompt

Místo:

Napiš Dynamo Python pro dveře.

použijte:

Revit 2027
Dynamo 4.0.2
PythonNet3
IN[0] = seznam dveří
Výstup = tabulka ElementId, Mark, Fire Rating
Kód nesmí měnit model.
Pokud si nejsi jistý názvem Revit API metody, explicitně to řekni.

Stejný prompt spusťte v obou nástrojích a testujte funkčnost.

4. Analýza tabulek a rozpočtů

Zde sledujte:

  • práci s CSV/XLSX,
  • datové typy,
  • agregace,
  • chybějící hodnoty,
  • tvorbu grafů,
  • transparentnost výpočtu,
  • možnost exportovat výsledek.

U cenových dat je důležité, aby model nevytvářel čísla, která v datasetu nejsou.

Dobrý test obsahuje záměrně:

  • duplicitu,
  • chybnou jednotku,
  • prázdnou cenu,
  • extrémní outlier,
  • nesprávný součet.

5. Výzkum a práce se zdroji

Pro přípravu technického podkladu sledujte:

  • zda model umí pracovat s aktuálními webovými zdroji,
  • zda cituje konkrétní stránky,
  • zda odlišuje primární zdroj od blogu,
  • zda neprezentuje zastaralé informace jako aktuální.

Ve stavebnictví preferujte:

  1. právní předpis,
  2. oficiální technickou dokumentaci,
  3. standardizační organizaci,
  4. výrobce,
  5. až potom sekundární článek.

6. Interní knowledge base

Velká hodnota vzniká, když AI pracuje s firemními zdroji:

  • standardy kanceláře,
  • lessons learned,
  • BIM manual,
  • šablony,
  • typové detaily,
  • interní dokumentace.

Při výběru nástroje proto zkoumejte:

  • jaké connectory nabízí,
  • jak respektuje oprávnění zdrojového systému,
  • zda lze zdroje oddělit podle týmů,
  • jak se logují přístupy,
  • jak snadné je data odpojit.

7. Bezpečnost a firemní nasazení

OpenAI i Anthropic u svých komerčních produktů popisují firemní režimy, kde data standardně nepoužívají k trénování modelů. To ale není jediný parametr.

Porovnávejte:

  • DPA,
  • retention,
  • SSO,
  • role,
  • audit,
  • data residency požadavky,
  • administraci,
  • connector governance,
  • možnosti API.

Pro citlivý projekt může být tento blok důležitější než rozdíl v kvalitě odpovědí o několik procent.

8. API a automatizace

Pokud chcete AI skutečně zabudovat do workflow, budete dříve nebo později řešit API.

Například:

CDE
 ↓
nový dokument
 ↓
parser
 ↓
AI API
 ↓
structured JSON
 ↓
issue database
 ↓
review člověkem

Tady už neporovnáváte hezké chatovací UI.

Hodnotíte:

  • stabilitu API,
  • strukturované výstupy,
  • tool calling,
  • observability,
  • rate limits,
  • cenu,
  • latency,
  • data controls.

Je možné, že firma používá jeden nástroj pro běžný chat a jiný model přes API pro automatizovaný proces.

To je zcela v pořádku.

Doporučená firemní metodika výběru

Místo obecného hlasování „co je lepší“ vytvořte tabulku deseti reálných úloh.

Příklad:

Úloha Váha
Analýza 100stránkové technické zprávy 15 %
Cross-check dvou PDF 15 %
Čtení výkresové stránky 10 %
Dynamo Python 10 %
Revit API debugging 10 %
Excel analýza 10 %
Web research 10 %
Strukturovaný JSON 5 %
Bezpečnost/admin 10 %
Cena 5 %

Pak každý test ohodnoťte podle předem definovaných kritérií.

Ne podle dojmu.

Jak měřit kvalitu odpovědi

Pro document review používáme například:

Precision

Kolik označených problémů bylo skutečně problémem?

Recall

Kolik známých problémů systém našel?

Citation accuracy

Sedí odkaz na zdrojovou stránku?

Severity accuracy

Odpovídá priorita reálnému dopadu?

Unsupported claim rate

Kolik tvrzení systém vytvořil bez podpory ve zdroji?

To jsou mnohem užitečnější metriky než „Claude mi přijde lepší na text“.

Kdy může vyhrát kombinace více modelů

Pro profesionální systém nemusí existovat jeden vítěz.

Například:

Model A → extrakce dokumentu
Model B → druhá nezávislá kontrola
Deterministic engine → tvrdá pravidla
Human reviewer → finální rozhodnutí

Dvojice modelů může pomoci odhalit problémy, ale sama o sobě nezaručuje správnost. Pokud oba modely používají podobný chybný předpoklad, mohou se shodnout na stejné chybě.

Co nedělat

Nevybírejte podle jednoho virálního benchmarku

Vaše úloha může být úplně jiná.

Neměřte jen rychlost

Rychlá halucinace nepomáhá.

Nepřenášejte consumer zkušenost na enterprise produkt

Funkce a podmínky mohou být jiné.

Nevybírejte AI bez testovacích dat

Vytvořte si vlastní „golden set“ z reálné práce.

AIprojektant verdikt

Pro jednotlivce je rozumné používat oba nástroje a sledovat, kde který sedí lépe.

Pro firmu je ale správný postup jiný:

Definujte 10 nejcennějších AI workflow, vytvořte testovací dataset a porovnávejte nástroje na vlastních datech.

Za šest měsíců se může pořadí modelů změnit. Vaše metodika výběru zůstane.

Zdroje pro firemní data policy

Redakční politika: Tento článek záměrně nevyhlašuje aktuální model „vítězem“. Modely, tarify a funkce se rychle mění; doporučení je založeno na workflow a měřitelných testech.