Chirak

Merchant ticket triage (BG/EN), guidelines v2, target exact match

completed GPU worker offline

Triage incoming customer-support tickets of an online shop.

Pipeline

  1. ✓ Eval set generated and frozen
  2. ✓ Baseline evaluation (base model)
  3. ✓ Training data, iteration 1
  4. ✓ LoRA training, iteration 1
  5. ✓ Evaluation, iteration 1
  6. ✓ Failure analysis and stop rules, iteration 1
  7. ✓ Serve best adapter

Baseline vs iterations

ModelAccuracyMacro-F1 JSON validityExact match
Baseline (base model) 93.0% 93.1% 100.0% 65.6%
Iteration 1 served 100.0% 100.0% 100.0% 94.9%

Target: exact-match at least 92%. Stopped: target met (0.949 >= 0.920).

Own tickets

Score the base model and the adapter on your own tickets. Upload tickets

Training loss

Leakage guard and frozen eval set

Eval items
215 (200 synthetic + 15 seed)
Frozen at
2026-10-14 10:41:45 UTC
Blind label check
328 of 555 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256
77a3168e5890918e24e09483a802e36d7576a112cf7a1ccc6c3b0b776d12d53a
Train setCandidatesDropped as near-copies of evalDrop rateDropped by label check
Iteration 1 2984 106 3.6% 1797

Per-class results, baseline vs iteration 1

ClassSupport Base PBase RBase F1 PRF1F1 vs base
orders 31 100% 94% 97% 100% 100% 100% +3.3 pts
shipping 31 96% 84% 90% 100% 100% 100% +10.3 pts
returns 31 100% 94% 97% 100% 100% 100% +3.3 pts
payments 31 90% 90% 90% 100% 100% 100% +9.7 pts
product_questions 30 81% 100% 90% 100% 100% 100% +10.5 pts
complaints 30 91% 100% 95% 100% 100% 100% +4.8 pts
other 31 97% 90% 93% 100% 100% 100% +6.7 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

orders shipping returns payments product_qu... complaints other __invalid_...
orders 31 0 0 0 0 0 0 0
shipping 0 31 0 0 0 0 0 0
returns 0 0 31 0 0 0 0 0
payments 0 0 0 31 0 0 0 0
product_questions 0 0 0 0 30 0 0 0
complaints 0 0 0 0 0 30 0 0
other 0 0 0 0 0 0 31 0
__invalid__ 0 0 0 0 0 0 0 0

Decisions log

After iteration 1 Stop rules: stop, target met (0.949 >= 0.920)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

  • I made a mistake on order #99812 and the system won't let me cancel it because it says 'processing'. I need this fixed immediately or I am calling my bank to dispute the charge and reporting you to the consumer protection agency. This is unacceptable.

    {"category":"orders","urgency":"high","needs_human":true} synthetic

  • Върнах роклята преди 3 седмици, по проследяването сте я получили на 12-ти, а парите още ги няма по сметката ми.

    {"category":"returns","urgency":"high","needs_human":true} seed

  • I just placed order 9901 but I need to add a gift card to it. Is there a way to do that since it hasn't left the warehouse yet?

    {"category":"orders","urgency":"normal","needs_human":false} synthetic

  • Днес ми се обадиха от вашия чат и операторът беше груб и дързък. Казваше ми да си гледам работата и да не го занимавам. Никой не ми се е обаждал така досега. Искам да ми се извинят официално и да ми се даде компенсация за загубеното време.

    {"category":"complaints","urgency":"normal","needs_human":true} synthetic

  • Добър ден, виждам в профила си опция за 'Доставка в офис на куриера'. Имам ли възможност да избера конкретна клока на Еконт в София, или е автоматично най-близката до адреса? Четох в условията, че има такса за промяна на адреса след изпращане, но не съм разбрал дали това важи и за избор на офис.

    {"category":"shipping","urgency":"low","needs_human":false} synthetic

  • My package arrived smashed and the screen is completely cracked. I need this fixed immediately because I have a business presentation on Friday. I expect a full refund or a replacement NOW or I am taking this to consumer protection.

    {"category":"returns","urgency":"high","needs_human":true} synthetic

  • Здравейте, върнах скъпоценен пръстен преди 2 седмици и по пощата го получихте на 15-ти. Все още нямам възстановени 450 лв.! Това е кражба, ако не го поправите днес ще подам жалба в БСПП и ще публикувам всичко в социалните мрежи. Искам парите си веднага.

    {"category":"returns","urgency":"high","needs_human":true} synthetic

  • Здравейте, направих поръчка #55120 преди 20 минути и забравих да добавя втори калъф. Може ли да го добавите към същата поръчка, за да не плащам две доставки?

    {"category":"orders","urgency":"normal","needs_human":false} seed

  • I received my order #9982 but the box was crushed and the ceramic vase inside is completely shattered. I have photos of the damage. I don't want a replacement, I just want a full refund to my original payment method as soon as possible. Please let me know the next steps to send this back.

    {"category":"returns","urgency":"normal","needs_human":true} synthetic

  • Тази кафемашина работи ли с капсули Dolce Gusto или само със смляно кафе?

    {"category":"product_questions","urgency":"low","needs_human":false} seed

Training (synthetic)

  • Здравейте, поръчката ми #45920 за безжични слушалки е в процес на доставка вече 5 дни. Последното ъпдейт от куриера е от миналата сряда, че е на сортировъчния център в София. Нямам конкретен срок за получаването, но бих искала да знам дали всичко е наред, тъй като обикновено доставките отиват за 2 дни.

    {"category":"shipping","urgency":"normal","needs_human":false} synthetic

  • Спешно! Поръчката ми #BG-3031 трябва да бъде променена ДНЕВНО, защото в нея има грешен артикул - вместо черен цвят е избрано бяло погрешно. Ако не успеете да го поправите до 12:00 ч. по обяд, ще отменя всичко. Трябва ми точно този продукт за среща днес вечерта. Моля за бързо потвърждение, че промяната е направена.

    {"category":"orders","urgency":"high","needs_human":false} synthetic

  • Здравейте, поръчката ми #77410 със стъкларията за витрина изглежда забавена. Статусът показва "в сортировъчен център" от два дни. Мога ли да разбера дали има закъснение в транспорта и кога очаквате да стигне до мен?

    {"category":"shipping","urgency":"normal","needs_human":false} synthetic

  • Здравейте, бих искал да потърся фактура за поръчка номер 8842 от месец март. Не се намира в моята история на потребителя. Можете ли да ми я изпратите по имейл или да ми кажете дали мога да я свая лично?

    {"category":"payments","urgency":"normal","needs_human":false} synthetic

  • I suspect someone has accessed my account without permission because I see two orders I did not place in my history. I have changed my password, but I need to know if my credit card information is compromised immediately.

    {"category":"other","urgency":"high","needs_human":true} synthetic

  • This is unacceptable. I sent back the defective blender 5 days ago via DHL, tracking number 123456789. You promised a refund within 2-3 business days of receipt. It has been a week! I am threatening to take this to Small Claims Court if I don't see my $89.99 back in my account by end of day tomorrow. Fix this immediately.

    {"category":"returns","urgency":"high","needs_human":true} synthetic

  • This is absolutely outrageous! My credit card was charged $150.00 for order #4599, but the bank statement shows the charge was processed twice on October 12th. I have contacted my bank, but they say the merchant must reverse the duplicate charge immediately. I have not received my order yet, so you are holding my money twice while delivering nothing. I demand an immediate refund of the duplicate charge within 24 hours, or I will be initiating a chargeback dispute and reporting your payment processing practices to my financial regulator. Do not ignore this email.

    {"category":"payments","urgency":"high","needs_human":true} synthetic

  • Hello, does your store offer installment payment options? I am looking at the large leather sofa and would prefer to pay over 12 months if possible. Thanks.

    {"category":"payments","urgency":"low","needs_human":false} synthetic

  • Искам да подам официална жалба за начина, по който се държаше курирът на вратата ми вчера. Не става въпрос за самото пратка, а за агресивното му отношение и личните обиди, които ми отправи. Очаквам официално съобщение за санкциите, които сте наложили на този служител, тъй като такава грубост е недопустима.

    {"category":"complaints","urgency":"normal","needs_human":true} synthetic

  • Здравейте, бих искал да върна раницата, която поръчах миналата седмица. Тя ми е малка, така че не ми подхожда. Моля за инструкции как да я изпратя обратно.

    {"category":"returns","urgency":"normal","needs_human":false} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz