Chirak

Store review triage (BG)

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Pipeline

  1. ✓ Eval set generated and frozen
  2. ✓ Baseline evaluation (base model)
  3. ✓ Training data, iteration 1
  4. ✓ Human review of samples
  5. ✓ LoRA training, iteration 1
  6. ✓ Evaluation, iteration 1
  7. ✓ Failure analysis and stop rules, iteration 1
  8. ✓ Serve best adapter

Baseline vs iterations

ModelAccuracyMacro-F1 JSON validityExact match
Baseline (base model) 90.2% 90.3% 100.0% 90.2%
Iteration 1 served 98.1% 98.1% 100.0% 98.1%

Target: macro-f1 at least 95%. Stopped: target met (0.981 >= 0.950).

Own tickets

182 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0), test split of the MTEB release. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

79% of the uploaded tickets were set aside for training by the split given in the upload: 702 went into a training file, 182 were kept for evaluation. 2 training tickets were left out because they repeated an evaluation ticket or shared a word 8-gram with one. The two parts never overlap.

A follow-up run trained on the training part: Store review triage (BG) + own tickets.

ModelAccuracyMacro-F1 category
Base model 75.8% 62.3% 75.8%
Served adapter (iteration 1) 83.5% 69.8% 83.5%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items
215 (200 synthetic + 15 seed)
Frozen at
2026-10-15 08:00:29 UTC
Blind label check
7 of 276 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256
7993e19745108ce278d9c7e248106e265fe3142e3b12acd70ac81ac634a8b342
Train setCandidatesDropped as near-copies of evalDrop rateDropped by label check
Iteration 1 1368 11 0.8% 19

Per-class results, baseline vs iteration 1

ClassSupport Base PBase RBase F1 PRF1F1 vs base
compliment 54 100% 76% 86% 100% 100% 100% +13.7 pts
complaint 54 98% 98% 98% 98% 98% 98% +0.0 pts
mixed 54 92% 89% 91% 98% 96% 97% +6.6 pts
suggestion 53 76% 98% 86% 96% 98% 97% +11.2 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

compliment complaint mixed suggestion __invalid_...
compliment 54 0 0 0 0
complaint 0 53 1 0 0
mixed 0 0 52 2 0
suggestion 0 1 0 52 0
__invalid__ 0 0 0 0 0

Decisions log

After iteration 1 Stop rules: stop, target met (0.981 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

  • Интерфейсът е модерен и лесен за навигация. Но при поръчка на стока от 300 лв. не ми дадоха фактура веднага, а чак след 5 дни. Иначе продуктите са оригинални и добре опаковани.

    {"category":"mixed"} synthetic

  • Мисля, че трябва да пуснете опция за плащане с карта и на място, а не само по банков път. Много хора предпочитат да видят стоката преди да платят. Ако добавите това, ще ви купувам по-често.

    {"category":"suggestion"} synthetic

  • Опаковката беше супер здрава и не се е разпаднала при преноса. Но закъснението на поръчката с 2 дни ме разстрои доста. Общо взето, стоката е качествена, но логистиката ви трябва да се подобри.

    {"category":"mixed"} synthetic

  • Обслужването на касата беше професионално и бързо, много хубаво. Проблемът е, че на сайта пишеше налично, а в магазина го нямаше. Трябваше да чакам за поръчка от друг клон.

    {"category":"mixed"} synthetic

  • Цени са нормални, но не мога да разбера каква е разликата между "бърза доставка" и "стандартна" на сайта. Смятам, че трябва да напишете по-ясно условията за доставка и таксите за всяка куриерска фирма, за да не се чудя какво точно избирам при плащането.

    {"category":"suggestion"} synthetic

  • Цената на сайта беше 45 лв, а на касата ми изкараха 52 лв с неясни такси. Не искам да плащам допълнително за нещо, което не е посочено в поръчката. Изчакайте да се свържа с вас.

    {"category":"complaint"} synthetic

  • Сайтът е удобен за търсене, но липсват размери при някои дрехи. Поръчах си тениска, тя ми стана малка, но връщането беше лесно. Обслужването е коректно, но ми трябва по-ясна информация за стоите.

    {"category":"mixed"} synthetic

  • Цените са супер, намерих го много по-евтино отколкото в големите вериги. Единственото лошо е, че не могат да платят с карта само в налични. Иначе всичко ок.

    {"category":"mixed"} synthetic

  • Винаги купувам от тях. Никой път не съм имал проблем с липса на стока, въпреки че често пише налично. Бързи и коректни. Единственото е че липсват детайлни снимки на някои дрехи, но общо взето става.

    {"category":"compliment"} synthetic

  • Поръчах вчера и днес вече го имах на ръка. Експресно! Цените са по-ниски отколкото в големите вериги. Единственият минус е че нямаха черния цвят, но ме съветваха за алтернатива и я харесах.

    {"category":"compliment"} synthetic

Training (synthetic)

  • Купих си кожен портфейл от етикета „Препоръчително“. Стига до мен, но шевът се е разпукал още при първото използване. Материалът се оказа много тънък и пластмасов на вид. Врънах го по пощата след седмица чакане, защото офисът им беше затворен „технически“ цяла седмица. Дори и сега, след като е върнат, не ми е възстановен парите напълно – казват, че се удържа такса за обработка, която не споменават никъде в политиката за връщане. Изцяло отрицателно преживяване.

    {"category":"complaint"} synthetic

  • За пореден път съм удовлетворен от цените. Намерих слушалките на Ender по по-ниска цена, отколкото в големите вериги. Уебсайтът е удобен за ползване, филтрите работят гладко. В края на краищата малко ми липсва опцията за таксо без брой, но общото впечатление е много позитивно.

    {"category":"compliment"} synthetic

  • Поръчах си нова тенка от „Елеганс“. Милостта, че я изпратиха същия ден, е страхотна и пакетирането беше много внимателно. Но съжаление размерът S се оказа твърде малък за мен, въпреки че в описанието пишеше по-голям обем. Имате добър сървиз, но трябва да прецизирате размерната таблица.

    {"category":"mixed"} synthetic

  • Поръчах си нова кофичка за кафе и самата тя е страхотна – металът е дебел и не мирише на пластмаса. Препоръчвам я на всеки. Единственият проблем е, че куриера дойде чак след 17:00, въпреки че на сайта пише до 14:00. Ако имах важна среща, щеше да е катастрофа. В общо взето, стоката си струва, но логистиката ви е наистина объркана този месец.

    {"category":"mixed"} synthetic

  • Предлагам да публикувате по-подробни снимки на дрехите, особено при тъмните цветове, защото онлайн изглеждат по-различно от жива стоката. Ще помогне да се намали броят на връщанията.

    {"category":"suggestion"} synthetic

  • В сайта стои „В наличност“ за 500 броя от определен модел монитор, но когато искам да го купя, системата гърми и казва, че е изчерпан. Опитвам се от три дни и винаги същото. Когато обадих, ми потвърдиха, че няма такива и ще чакат доставка „неясно кога“. Това е манипулация на трафика, за да изглеждат заети и популярни. Нямам търпение да чакам, особено когато други сайтове имат стока веднага. Използвайте по-честно управление на наличностите.

    {"category":"complaint"} synthetic

  • Спорих за дълго дали да взема лаптопа от този магазин или от конкурент. Накрая избрах тук, защото имаше по-добра оферта за безплатна доставка на следващия ден. Поръчката беше извършена бързо, получих SMS с потвърждение веднага. Когато отворих кутията, обаче, забелязах, че екранът има една малка бяла точка в горния ляв ъгъл. Обадих се на поддръжката и те ми дадоха опция за замяна или отстъпка. Избрах замяната и новата доставка дойде за 48 часа. Екипът беше коректен, но първоначалният дефект е сериозен проблем за такъв скъп продукт. +Бърза логистика и гъвкавост при замяна -Пораден товар с дефекти

    {"category":"mixed"} synthetic

  • Търговецът ми помогна да намеря специфичен модел филтър, който нямаше в големите вериги. Оказа се, че го имат в склад и го изпратиха на следващия ден. Комunikацията по имейл беше бърза и ясна. Стока оригинална, фактура издадена веднага. Много доволна съм от обслужването.

    {"category":"compliment"} synthetic

  • Уебсайтът е удобен за навигация, но смятам, че трябва да включите опция за филтриране по наличност в реално време, за да не се губи време.

    {"category":"suggestion"} synthetic

  • Имайте предвид, че много от клиентите използват мобилни телефони. Страницата ви се зарежда бавно на 4G мрежа, което води до изоставяне на количката. Сократете тежестта на изображенията за по-добра конверсия.

    {"category":"suggestion"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz