Chirak

Store review triage (BG) v2 r2-jev

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Pipeline

  1. ✓ Eval set generated and frozen
  2. ✓ Baseline evaluation (base model)
  3. ✓ Training data, iteration 1
  4. ✓ Human review of samples
  5. ✓ LoRA training, iteration 1
  6. ✓ Evaluation, iteration 1
  7. ✓ Failure analysis and stop rules, iteration 1
  8. ✓ Serve best adapter

Baseline vs iterations

ModelAccuracyMacro-F1 JSON validityExact match
Baseline (base model) 92.6% 92.6% 100.0% 92.6%
Iteration 1 served 97.7% 97.7% 100.0% 97.7%

Target: macro-f1 at least 95%. Stopped: target met (0.977 >= 0.950).

Own tickets

533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

ModelAccuracyMacro-F1 category
Base model 73.4% 61.0% 73.4%
Served adapter (iteration 1) 85.0% 73.8% 85.0%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items
215 (200 synthetic + 15 seed)
Frozen at
2026-10-15 11:00:54 UTC
Blind label check
15 of 273 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256
83179743c3e768a696972b31863ea8bbfd5da1248f9652c5902b6d979a5a8737
Train setCandidatesDropped as near-copies of evalDrop rateDropped by label check
Iteration 1 1374 11 0.8% 63

Per-class results, baseline vs iteration 1

ClassSupport Base PBase RBase F1 PRF1F1 vs base
compliment 54 100% 94% 97% 100% 100% 100% +2.9 pts
complaint 54 89% 94% 92% 98% 98% 98% +6.3 pts
mixed 54 98% 83% 90% 98% 94% 96% +6.2 pts
suggestion 53 85% 98% 91% 95% 98% 96% +5.1 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

compliment complaint mixed suggestion __invalid_...
compliment 54 0 0 0 0
complaint 0 53 1 0 0
mixed 0 0 51 3 0
suggestion 0 1 0 52 0
__invalid__ 0 0 0 0 0

Decisions log

After iteration 1 Stop rules: stop, target met (0.977 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

  • Артикула не беше наличен но се свързаха с мен бързо и нямаше проблем мога само да отбележа по-често да актуализират количествата

    {"category":"suggestion"} seed

  • Много бърза доставка, стоката е перфектна. Единствено бих искал да има опция за избор на куриер при поръчката, защото Еконт ми е неудобен в този район.

    {"category":"suggestion"} synthetic

  • Цената на сайта беше 120 лв, а при плащане се оказа 145 лв заради 'скрити такси'. Не съм съгласен с това. Ако не ми възстановите разликата, ще оставя жалба в потребителската асоциация.

    {"category":"complaint"} synthetic

  • Всичко супер, бърза доставка и пакетирането е на място. Малко скъпа е доставката но за бързината си струва. Благодаря за професионализма!

    {"category":"compliment"} synthetic

  • Скрити такси! При поръчката се добави доставка 19 лв, въпреки че в офертата пишеше безплатна над 100 лв. Платих и сега искам разликата. Не е сериозно това. Очаквам отговор до края на деня.

    {"category":"complaint"} synthetic

  • Сайта е бавен на мобилния телефон, особено при търсене. Моля, оптимизирайте мобилната версия, защото много хора пазаруват от телефона. Стоките са добри, но навигацията е неудобна.

    {"category":"suggestion"} synthetic

  • Сайтът е лесен за ползване и филтрите работят добре. Поръчах зарядно и пристигна в срок. Единственият проблем е, че не ми изпратиха фактура до имейла, трябваше да питам по чат за нея. Обслужването беше коректно, но липсата на автоматична фактура е неудобство.

    {"category":"mixed"} synthetic

  • Цената на лаптопа беше най-ниската в мрежата, което ме привлече. Но при получението липсваше зарядното и кабелът за захранване. Трябваше да правя документи за размяна, което отне много време и нерви. Иначе машината работи безупречно, просто процедурата за липсващите части беше бавна.

    {"category":"mixed"} synthetic

  • Обслужването по телефона е отлично, момичетата отговориха на всички мои въпроси за спецификациите. Но самата доставка до офис отне 5 дни, което ми се стори много дълго за такъв стока. Ако бях знаела, че ще чакам толкова, може би щях да купя от друг източник. Иначе съм доволна от самия продукт.

    {"category":"mixed"} synthetic

  • Доволен съм от избора, но снимките на някои продукти са много лоши и не се вижда детайлно. Моля да ги подновите, за да не се сбърквам при поръчка.

    {"category":"suggestion"} synthetic

Training (synthetic)

  • Механиката на пералнята, която купих от тях, се счупи след две пранета. Казват, че гаранцията е само 1 година, но устройството е било с дефект от фабриката. Попитах за сервизен център и ми отвърнаха, че трябва сам да намирам майстор. Толкова напрежение и хаос. Продуктът е дефектен, обслужването е студено.

    {"category":"complaint"} synthetic

  • За пореден път се възползвах от промоцията за празниците в „ТехноМаркет“. Екранът за компютъра, който търсех, беше точно с характеристиките, които ми трябват, а цената беше по-низка от другите места. Споделям следите: + качествена опаковка, + бързо обработване на поръчката, + любезно обслужване по телефона. Минуси: нямам такова впечатление, всичко беше гладко. Препоръчвам го на всеки, който търси сериозен подход.

    {"category":"compliment"} synthetic

  • Винаги съм поръчвал книги от този сайт, защото изборът е огромен и често има промоции. Този път поръчах три учебника и бях приятно изненадан, че ги получи още същия ден, без да чакам стандартните 2-3 дни. Опаковката бе здрава, книгите бяха нови и без нито една сгъната страница. Едно е, че при погасяването на сметката в касата се оказа, че са ми начислили допълнителни 4 лева за пакетно обслужване, което не беше видно в чекната. Операторът в магазина каза, че това е стандартна такса за етикетиране, но не ми бе казано при поръчката. Малко безскрупулно от тяхна страна, особено като се има предвид, че всичко друго беше идеално. Все пак качеството на книгите и бързината ми направиха да не отказвам стоката.

    {"category":"mixed"} synthetic

  • Цената на сайта беше 49.90 лв., но на касата изскочиха допълнителни такси за опаковка, които не бяха споменати нито в кошницата, нито по време на плащането. Общо платих 60 лв. за играчка. Това е скрито ценообразуване и манипулация. Искам да ми върнат разликата днес, иначе ще се обърна към потребителската защита.

    {"category":"complaint"} synthetic

  • Впечатлен съм от професионализма. Покъсваше ми да изчакам един ден по-дълго от обичайното, защото имаха проблем с куриера, но ме предупредиха навреме. Самата стока - микровълнова фурна - е идеална. Забравихме за закъснението, когато видях как работи. Благодаря за вниманието!

    {"category":"compliment"} synthetic

  • Бих искал да споделя положителното си впечатление. Поръчах си нови панти и обувки за момичето. Доставката стигна до Пловдив за 3 дни, което е нормално за България. Продуктите съвпаднаха напълно с описанието и снимките. Цените са конкурентни. Нямах нужда да се обаждам нито веднъж. Чувствам се добре информирали и обслужени. Това е точното място за пазаруване на дрехи за мен.

    {"category":"compliment"} synthetic

  • Търсих специфичен модел клавиатура за работа от вкъщи и след много разглеждане реших да пробвам тази платформа. Потребителският интерфейс е ясен и логичен, а търсенето работи перфектно. Поръчката си направих в понеделник вечерта, а стоката пристигна в сряда сутринта. Екипът за поддръжка отговори мигновено, когато им се обазах, за да променя адреса за доставка. Продуктът е точно като в описанието, няма нищо скрито или изненадащо. Дребна забележка е, че страницата за плащане понякога криво зарежда, но това не пречателни и не повлия на успеха на сделката. Общо взето, много положително впечатление.

    {"category":"compliment"} synthetic

  • Редовен клиент съм от миналата година. Поръчах си комплект постелка от памук и кърпи за кухнята. Качество на съотношението цена-качество е отлично. Поддръжката отговори на въпроса ми в чата мигновено, което е голямо предимство. Нямам нищо против фактa, че някои продукти нямат опция за самоповдигане от офис, но за поръчка с доставка до вратата са супер.

    {"category":"compliment"} synthetic

  • Сайтът е удобен и каталогът е голям, намерих лесно това, което търся. Съобщенията на имейл бяха точни и навреме. Въпреки това, опитах се да си кажа телефона, за да променя адреса, но нямаше номер за контакт нито в сайта, нито в имейла. Приходът трябваше да чакам да се свържат те с мен, което взе цял ден. Много неудовлетворителен сервис за поддръжка.

    {"category":"mixed"} synthetic

  • Получих грешен артикул. Купих си черни обувки размер 42, а ми изпратиха сиви размер 41. Свързах се с тях по телефона и жената на линията беше необяснимо груба, като ми каза, че трябва аз да докажа грешката им с скрийншот от разговора, въпреки че имат система за проследяване. Предида ми беше обяснено, че те носят отговорността. Върнах стоката, но преживях стрес заради лошото отношение. Не мога да проръчвам този магазин на никого, който цени уважението в обслужването.

    {"category":"complaint"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz