Užitečné diagnostické příkazy a nástroje pro ladění vaší AI (pro vás jako vlastníka)

Během testování (vašeho i externího) budete často potřebovat analyzovat, proč váš AI Expert odpověděl určitým způsobem, nebo kde může být problém. K tomu slouží následující příkazy, které zadáváte vy jako vlastník instance do chatu s ní:

• 📊 /lastRole
  • Co dělá: Po jakékoli odpovědi od vaší AI instance tento příkaz vypíše název (ID) expertní podrole, kterou AI právě použila pro vygenerování dané odpovědi.
  • K čemu je to dobré: Pokud se vám odpověď AI zdá zvláštní, nesprávná, nebo mimo téma, tento příkaz vám pomůže rychle zjistit, zda problém nespočívá v tom, že AI (z nějakého důvodu) aktivovala nevhodnou expertní podroli, nebo zda definice dané podrole není optimální. Můžete pak zkontrolovat obsah této role na Google Drive (viz ČÁST C, bod 11.5).
• 🕵️ /investigateAnswer:{message}
  • Co dělá: Toto je velmi mocný diagnostický nástroj. Místo {message} zadejte přesný text vaší otázky (nebo otázky, kterou položil váš beta tester a na kterou AI odpověděla problematicky). Vaše BuddyPro instance nejenže na tuto otázku znovu odpoví, ale také vám explicitně ukáže:
    1. Název (ID) expertní podrole, kterou pro generování odpovědi použila.
    2. Relevantní úryvky z vašeho nahraného know-how (z vaší vektorové databáze), které byly vybrány jako nejdůležitější podklady pro odpověď na vaši otázku.
  • K čemu je to dobré: Tento příkaz vám dává detailní vhled do "myšlenkových pochodů" vaší AI. Můžete přesně vidět, z jakých informací (vaše know-how, definice role) AI čerpala a proč odpověděla tak, jak odpověděla. To je neocenitelné pro identifikaci:
    • Chybějících nebo nedostatečných informací ve vašem know-how.
    • Nevhodně definované nebo neúplné role.
    • Situací, kdy AI sice použila správnou roli, ale vybrala si z know-how méně relevantní úryvky.
  • Na základě těchto zjištění pak můžete cíleně provádět optimalizace (doplnit know-how, upravit definici role, zpřesnit System Prompt).
• ⏪ /del
  • Co dělá: Smaže poslední zprávu v aktuální konverzaci jak ze zobrazení v Telegram chatu, tak i z krátkodobé paměti AI.
  • K čemu je to dobré: Velmi užitečné při iterativním ladění. Pokud například:
    • Upravíte System Prompt nebo doplníte nějaké know-how.
    • Chcete zjistit, zda tato změna ovlivnila odpověď AI na konkrétní otázku.
    • Položíte stejnou otázku znovu (bez smazání předchozí interakce), AI by mohla být stále ovlivněna kontextem té (možná chybné) předchozí odpovědi.
    • Pomocí /del "vyčistíte" poslední interakci a můžete položit otázku znovu "s čistým štítem", abyste lépe viděli dopad vašich úprav.
• ⏪⏪ /del2 (Smaže 2 poslední zprávy) / /del10 (Smaže 10 posledních zpráv)
  • Co dělají: Fungují stejně jako /del, ale smažou více posledních zpráv.
  • K čemu jsou dobré: Pokud potřebujete "vrátit čas" v konverzaci o více kroků zpět, abyste mohli otestovat delší sekvenci interakcí po nějaké změně.
• 🎭 /test:{test_id}
  • Co dělá: Přepne vás do role "testovacího uživatele" s unikátním identifikátorem {test_id} (můžete si zvolit libovolné ID, např. /test:klient_A nebo /test:scenar_navrat_po_roce). Tento testovací uživatel bude mít vlastní, oddělenou historii konverzace.
  • K čemu je to dobré: Umožňuje vám simulovat interakci z pohledu zcela nového uživatele nebo testovat specifické scénáře, aniž by byly ovlivněny vaší vlastní historií konverzace jako vlastníka. Můžete tak lépe hodnotit onboardingové procesy a chování AI "od nuly". Pokud na začátek {test_id} přidáte test_ (např. /test:test_franta), konverzace nebude šifrovaná a umožní lepší logování pro případné řešení technických problémů.
• 👤 /untest
  • Co dělá: Přepne vás z role testovacího uživatele zpět do vašeho profilu vlastníka instance.
  • K čemu je to dobré: Pro návrat k plným administrátorským právům a vaší původní konverzační historii.
• 🆔 /myid
  • Co dělá: Vypíše unikátní Telegram ID aktuálního profilu, se kterým komunikujete s BuddyPro (ať už je to váš vlastnický profil, nebo testovací profil).
  • K čemu je to dobré: Toto ID potřebujete pro některé další administrátorské příkazy, například pro přidání člena do týmu (/addUserToTeam:{userId}) nebo pro manuální nastavení trial zpráv (/setTrialMessages:{userId}:{count}).
• /stats

  • Rozšířená statistika aktivních uživatelů

    Příkaz pro přehled statistik byl vylepšen a nyní vám zobrazí také denní, týdenní a měsíční aktivitu (active rate) vašich předplatitelů. Stačí použít příkaz /stats

---

---

Často kladené otázky (FAQ) k tomuto kroku:

• Můžu nějak zjistit, proč AI odpověděla tak zvláštně nebo nesprávně?

Ano, primárně použijte příkaz /investigateAnswer:{původní otázka}. Ten vám ukáže, jakou roli AI použila a z jakých částí vašeho know-how čerpala. Dále můžete použít /lastRole k identifikaci použité role.

• Jak nejlépe otestuji, zda změny v System Promptu nebo v know-how měly požadovaný efekt?

Položte otázku, u které očekáváte změnu v chování AI. Pokud odpověď není ideální, použijte /del (nebo /del2, /del10) pro smazání poslední interakce. Tím zajistíte, že nová odpověď na stejnou otázku nebude ovlivněna předchozím (možná chybným) kontextem. Poté otázku položte znovu.

• Stojí mě používání těchto diagnostických příkazů nějaké AI kredity?

Samotné zadání většiny diagnostických příkazů (např. /lastRole, /del) nestojí nic. Pokud ale příkaz vyvolá odpověď od AI (např. /investigateAnswer:{otázka} znovu vygeneruje odpověď, pak tato generovaná odpověď AI kredity spotřebovává standardně.

---

---