Chirak

Store review triage (BG) v2 r2-human

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Pipeline

  1. ✓ Eval set generated and frozen
  2. ✓ Baseline evaluation (base model)
  3. ✓ Training data, iteration 1
  4. ✓ Human review of samples
  5. ✓ LoRA training, iteration 1
  6. ✓ Evaluation, iteration 1
  7. ✓ Failure analysis and stop rules, iteration 1
  8. ✓ Serve best adapter

Baseline vs iterations

ModelAccuracyMacro-F1 JSON validityExact match
Baseline (base model) 91.6% 91.6% 100.0% 91.6%
Iteration 1 served 97.2% 97.2% 100.0% 97.2%

Target: macro-f1 at least 95%. Stopped: target met (0.972 >= 0.950).

Own tickets

533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

ModelAccuracyMacro-F1 category
Base model 73.2% 60.8% 73.2%
Served adapter (iteration 1) 84.8% 72.9% 84.8%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items
215 (200 synthetic + 15 seed)
Frozen at
2026-10-15 10:58:09 UTC
Blind label check
16 of 274 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256
7a46322a64f99f912dc19d0fb57874b78dd33cf399bef3fc034237b1a861756f
Train setCandidatesDropped as near-copies of evalDrop rateDropped by label check
Iteration 1 1373 23 1.7% 75

Per-class results, baseline vs iteration 1

ClassSupport Base PBase RBase F1 PRF1F1 vs base
compliment 54 100% 96% 98% 98% 100% 99% +1.0 pts
complaint 54 89% 93% 91% 96% 96% 96% +5.4 pts
mixed 54 93% 80% 86% 96% 94% 95% +9.3 pts
suggestion 53 85% 98% 91% 98% 98% 98% +6.9 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

compliment complaint mixed suggestion __invalid_...
compliment 54 0 0 0 0
complaint 0 52 2 0 0
mixed 1 1 51 1 0
suggestion 0 1 0 52 0
__invalid__ 0 0 0 0 0

Decisions log

After iteration 1 Stop rules: stop, target met (0.972 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

  • Сърфирах по каталога и намерих точно това, което търсих за рождения ден на синя. Цената е добра, няма скрити такси при плащане. Експрес доставката е реална. Ще се върна за подарък и за майка си.

    {"category":"compliment"} synthetic

  • Хубав избор от аксесоари. Поръчах кабели и зарядки, дойдоха навреме и в добро състояние. Опаковката е солидна. Никоя забележка нямам, всичко е ок.

    {"category":"compliment"} synthetic

  • Купих си телефон, но батерията умира след 2 часа. Сигурен съм, че е дефектен. Обадих се за гаранция и ми казаха да чакам 2 седмици за експертиза. Загубих време и нерви. Нека просто да го сменят, вместо да ме гонят от врата на врата.

    {"category":"complaint"} synthetic

  • Доставката дойде бързо, но стоката е повредена. Екранът на телефона има драскотина, а кутията е била разпечатана. Какво става? Не мога да го върна, защото нямам касова бележка, която не са сложили в пакета. Това е невъзможно. Искам да ми дадат нов или да ми върнат парите.

    {"category":"complaint"} synthetic

  • Доволен съм от цените. Единственият проблем е, че няма опция за преглед на пратката преди плащане. Ако го добавите, ще поръчвам по-често. Иначе всичко е чиста работа.

    {"category":"suggestion"} synthetic

  • Доставката дойде за 2 дни, което е супер бързо за мен. Но когато отворих кутията, кабелът за зареждане беше сгънат и не работеше. Обадих се и го сменнаха без въпроси, но първоначално беше разстроващо. Иначе сайта е лесен за навигация.

    {"category":"mixed"} synthetic

  • Получих поръчката си, но кутията беше надраскана и отворена. Вътре лентата за принтера беше изкривена и не работи. Искам връщане на средствата веднага, нямам търпение да чакам инспекция. Срамно обслужване.

    {"category":"complaint"} synthetic

  • Доставката беше супер бърза, стигна до мен на следващия ден. Но когато отворих кутията, екранът на монитора имаше три пиксела, които не светят. Обадих се и бяха много любезни, но трябваше да чакам 3 дни за размяна. Иначе стока е супер.

    {"category":"mixed"} synthetic

  • Поръчах телефон и дойде на следващия ден, всичко беше наред. Но екранът на телефона имаше лека пречупка, която не се виждаше от снимките. Направих смяна без проблеми, но първоначалното качество беше лошо.

    {"category":"mixed"} synthetic

  • Цената на страницата беше 99 лв., а при поръчката се оказа 149 лв. без да е посочено явно. Когато ги попитах по чат, ми отговориха, че е "техническа грешка" и не могат да ми доставят по старата цена. Как да се доверя на такива магазини? Напълно неадекватно.

    {"category":"complaint"} synthetic

Training (synthetic)

  • Много ми се допадна избраният ми кожен портфейл – изглежда скъпоценно и е добре изработен. Опаковката беше внимателна. Съществува обаче един голям недостатък: в описанието на продукта не беше посочено, че цветът „тъмно кафяв“ е с явни марки от износване върху италианска кожа, което не харесвам. Освен това името на артикула в системата не съответстваше на реалния модел, което причини объркване при връщането на един екземпляр, който не ми отговаряше по дизайн. Екипът беше учтив, но грешките в информацията са неприемани.

    {"category":"mixed"} synthetic

  • Започнах да купувам тук, защото видях добри отстъпки за електроника. Но последната ми поръчка беше кошмар. Поръчах си слушалки Buds Pro 2, а ми дойдоха модел Buds Lite. Опаковката беше увредена и вътре имаше прах. Написали са, че са нови, а изглеждат като разгледани. Няма да поръчвам отново, докато не ми изпратят правилния артикул с извинение.

    {"category":"complaint"} synthetic

  • Доставката беше бърза, поръчката дойде на следващия ден. Единствено пакетът беше малко набит, но всичко вътре беше цяло и красиво опаковано. Препоръчвам го!

    {"category":"compliment"} synthetic

  • Сайтът е удобен и търсенето на части за коли е много бързо. Намерих белезниковата лента, която ми трябваше, за броени минути. Цените са конкурентни, а промокодът, който използвах, действаше без проблеми. За съжаление, състоянието на товара не беше описано точно. Платовете бяха ръждясали по ръбовете, въпреки че фотографията показваше нови. Това направи неговото съхранение по-трудно. Поддръжката призна грешката, но отстъпката беше минимална спрямо проблема, който създаде. Доволен съм от сайта, но не от точността на описанието на този конкретен артикул.

    {"category":"mixed"} synthetic

  • Общо взето съм доволен от онлайн магазина, цените са конкурентни и асортиментът е богат. Но ми липсва възможността да следя поръчката си по-подробно през сайта. В момента разчитам на имейл известията, но бих предпочел в реално време да виждам статуса. Мисля, че въвеждането на по-детайлна страница за проследяване на поръчките би повишило доверието към платформата.

    {"category":"suggestion"} synthetic

  • Користя този магазин от година. Досега не съм имал големи оплаквания откъм качество на стоки, но ми се струва, че сайтът е твърде бавен на мобилни устройства. Бих препоръчал да оптимизирате страниците, защото постоянно ми зарежда и гледам на телефона, докато чака. Освен това, липсва секция с отговори на често задавани въпроси (FAQ) по темата за гаранциите. Трябва да пишете на имейл за всякакви въпроси, което е бавно. Ако направите по-бърз сайт и добавите FAQ, бих бил много по-доволен клиент. Цените са конкурентни, така че основата е там.

    {"category":"suggestion"} synthetic

  • Иска ми се да имате по-подробни описания на размера за обувките. Поръчах мокасини в 43-ра, но ми станаха малко стеснени, а в сайта само пише "стандартен размер". Освен това доставката беше бърза и пакетирането отлично, но ако пишеше дължината на стъпалото в см, щях да се сетя за мен. Моля, разгледайте добавяне на конкретни измервания към всяка позиция.

    {"category":"suggestion"} synthetic

  • Не успях дори да финализирам поръчката си. Опитах се да купя коледни подаръци за децата, но сайтът се сваляше непрекъснато при опит за плащане с карта. Три пъти попълвах данните и трите пъти получих грешка „Свързаността е загубена“. Накрая се отказах и купих от друг магазин. Трябва да имат по-стабилна платформа, защото губя търпение и доверие. Ситуацията е критична преди празниците.

    {"category":"complaint"} synthetic

  • Бях скептична относно онлайн пазаруването на електроника, но изобщо не се разсърдих. Поръчах безжични слушалки и те дойдоха в перфектно състояние. Доставката бе малко по-скъпа от очакваното, но за мен това не е проблем, тъй като цената на самия продукт беше най-ниската на пазара. Препоръчвам ги за всички, които търсят бързо обслужване.

    {"category":"compliment"} synthetic

  • Сайтът на магазина е много лесен за навигация и цените са конкурентни. Поръчах козметични продукти на стойност 45 лева и всичко дойде на време. Същевременно, опаковката беше доста зле изтрита и кутията имаше следа от влага отстрани. Навсякъде вътре беше сухо и продуктите не са пострадали, но все пак да се притеснявате дали нещо е влажно, не е приятно преживяване. Винаги препоръчвам, но внимавайте с външния вид на пратките.

    {"category":"mixed"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz