Chirak

Store review triage (BG) v2

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Pipeline

  1. ✓ Eval set generated and frozen
  2. ✓ Baseline evaluation (base model)
  3. ✓ Training data, iteration 1
  4. ✓ Human review of samples
  5. ✓ LoRA training, iteration 1
  6. ✓ Evaluation, iteration 1
  7. ✓ Failure analysis and stop rules, iteration 1
  8. ✓ Serve best adapter

Baseline vs iterations

ModelAccuracyMacro-F1 JSON validityExact match
Baseline (base model) 94.0% 94.0% 100.0% 94.0%
Iteration 1 served 95.8% 95.8% 100.0% 95.8%

Target: macro-f1 at least 95%. Stopped: target met (0.958 >= 0.950).

Own tickets

533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

40% of the uploaded tickets were set aside for training by the split given in the upload: 348 went into a training file, 533 were kept for evaluation. 1 training tickets were left out because they repeated an evaluation ticket or shared a word 8-gram with one. The two parts never overlap.

A follow-up run trained on the training part: Store review triage (BG) v2 + own tickets.

ModelAccuracyMacro-F1 category
Base model 73.2% 60.8% 73.2%
Served adapter (iteration 1) 83.3% 70.0% 83.3%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items
215 (200 synthetic + 15 seed)
Frozen at
2026-10-15 10:06:57 UTC
Blind label check
10 of 273 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256
4c96e45bb37fe2f4f948fd8cc1e8d6533ea147dbbf513b1e32ac575671696a21
Train setCandidatesDropped as near-copies of evalDrop rateDropped by label check
Iteration 1 1363 8 0.6% 68

Per-class results, baseline vs iteration 1

ClassSupport Base PBase RBase F1 PRF1F1 vs base
compliment 54 100% 94% 97% 100% 100% 100% +2.9 pts
complaint 54 95% 96% 95% 98% 94% 96% +0.8 pts
mixed 54 96% 87% 91% 94% 91% 92% +1.2 pts
suggestion 53 87% 98% 92% 91% 98% 95% +2.5 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

compliment complaint mixed suggestion __invalid_...
compliment 54 0 0 0 0
complaint 0 51 3 0 0
mixed 0 0 49 5 0
suggestion 0 1 0 52 0
__invalid__ 0 0 0 0 0

Decisions log

After iteration 1 Stop rules: stop, target met (0.958 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

  • Магазинът е удобен за поръчки, интерфейсът е лесен за употреба. Но при последния ми опит имаше проблем с плащането - системата не пропускаше поръчката, въпреки че картата ми работеше. Трябваше да се обадя на поддръжка, за да я активират ръчно.

    {"category":"mixed"} synthetic

  • Останах доволен от качеството на стоките. Купих си лаптоп и всичко е ново и оригинално. Доставката беше точно в уречения срок. Единственият минус е, че телефонът им за поддръжка е зает често, но пак така, всичко е професионално. Добър избор.

    {"category":"compliment"} synthetic

  • Харесва ми, че има много промоции. Единственото което искам да добавите е филтър за цена в каталога, защото сега трябва да прелиствам много страници. Освен това всичко е наред.

    {"category":"suggestion"} synthetic

  • Цената на сайта е 99 лв, а при плащането се оказва 120 лв заради 'административни такси'. Това е скрито такси и не е честно. Няма как да платя повече от обявеното.

    {"category":"complaint"} synthetic

  • Цената на сайта е 45 лв, а при поръчката се оказа 52 лв. Никъде не пише за допълнителни такси. Трябва да се оправят цените, за да не лъжат клиентите.

    {"category":"complaint"} synthetic

  • Обслужването в магазина беше професионално и приятелско. Момчетата ми помогнаха да избера модел. Но после се оказа, че таксата за куриер е с 10 лв. по-висока от тази, която показваше сайта при плащането. Доста обидно.

    {"category":"mixed"} synthetic

  • Страницата на сайта постоянно се зарежда бавно и често пада. Исках да поръчам калъф, но не успях заради грешките. Много нервиращо.

    {"category":"complaint"} synthetic

  • Много бърза доставка, за 2 дни стигна до Пловдив. Страхотно обслужване, отговориха ми веднага по чата. Само малко скъпа пратката, но си струва за спокойствието.

    {"category":"compliment"} synthetic

  • Магазина е наред, стоките са добри. Само че не виждам опция за проследяване на поръчката след като я платя. Бих искал да имате такъв линк, за да знам кога точно идва куриера.

    {"category":"suggestion"} synthetic

  • По телефона ми обясниха всичко с усмивка, макар че питах глупави въпроси за размерите. Страхотни са. Поръчката ми беше готова още същия ден. Браво на екипа.

    {"category":"compliment"} synthetic

Training (synthetic)

  • Направих поръчка за пералня, но след две седмици получих съобщение, че стоката е изчезнала. Обадих се два пъти, но нямат кой да се обади. Разочароващо за толкова голяма фирма.

    {"category":"complaint"} synthetic

  • Всички продукти за красота, които поръчах, бяха перфектни и с хубаво опаковани. Единственият момент, който може да се подобри, е това да имате повече видеа от реални потребители с различни типове кожа, а не само студийни снимки. Мисля, че това би помогнало на хората да избират по-уверено и би увеличило доверието към магазина.

    {"category":"suggestion"} synthetic

  • Опитвах се да направя връщане по 26-дневното право, но служителят по телефона беше груб и ми каза, че "не е нашата работа" да проверявам етикетите. Който не е намерил вратичката за връщане, трябва сам да я търси в цялостния договор. Това е нахалство. Аз платих предварително за пратка, която не харесах. Изисквам пълно възстановяване на сумата до края на седмицата, в противен случай ще подадох жалба до Агенция за потребители.

    {"category":"complaint"} synthetic

  • Имам редовна поръчка за кафе на зърна от тук. Винаги става въпрос за свежестта на зърната. Този месец получих партията малко по-рано от обичайното, което е чудесно. Пакетирането е хигиенично и херметично. Цените са стабилни, без неочаквани скокове. Доставката в Бургас е надеждна. Нямам какво да оплача. Продължавам да купувам от тях, защото знам какво да очаквам.

    {"category":"compliment"} synthetic

  • Доставиха ми пратката навреме и опаковката беше много добра, без нито една драскотина по електрониката. Но ценообразността е наистина странна – плащам доставка от 7 лева за стока над 200 лева, което не ми се струва логично в сравнение с другите магазини. Самият продукт е отличен, но тази скрита такса или просто високата цена за доставка ми оставя горчиво впечатление.

    {"category":"mixed"} synthetic

  • Впечатлен съм от асортимента с електрически уреди – имаше точно модела, който търсех, който вече беше изчерпан в големите вериги. Цената също беше по-ниска с 15 лева. За съжаление, при доставка пратката беше силно набраздена и кутията на уредата имаше дупка в ъгъла. Уреда се оказа цял на вид, но след две седмици започна да изхвърля странен шум при въртене на висока скорост. Дори и да се окаже, че е само прах, фактът, че пратката е била третирана грубо по пътя и че има съмнения за дефект, прави опита несигурен. Бих купил пак, но с голямо безпокойство.

    {"category":"mixed"} synthetic

  • Купих си комплект прибори за кухня. Материалът е некачествен – ножовете имат остриета, които се счупват след две седмици, и дръжките се люшкат. Това е разочарование. Въпреки това, персонала по телефон беше изключително търпелив и обясни детайлно политиката за връщане на стоки. Дори въпреки лошото качество, услугата по клиентите е на висота. Бих искал да има по-добре описани спецификации за металите, за да може клиентът да знае какво купува, преди да го разпакова.

    {"category":"mixed"} synthetic

  • За пореден път поръчах от този магазин и отново съм доволна. Продуктите са оригинални и с ясна гаранция. Сайтът се зарежда бързо, а платежните методи са достатъчно разнообразни. Може би каталогът не е толкова голям като при гигантите, но това което предлагат е качествено. Нямам никакви оплаквания от досегашните ми сделки.

    {"category":"compliment"} synthetic

  • Купих си нов комплект чинии от стъклокерамика. Казвам се Георги и поръчвах за първи път. Не очаквах такова ниво на опаковка – всичко беше здраво и без нито една счупена парче. Цената е нормална за качеството, въпреки че доставка до София ми се струва малко скъпа спрямо другите магазини, но стойността на стоката е налице. Препоръчвам!

    {"category":"compliment"} synthetic

  • Използвам сайта редовно за канцеларски материали. Цените са конкурентни и продуктите обикновено са налични. Имам едно наблюдение: след като направя поръчка, не получавам никаква нотификация, когато куриерът е тръгнал по пътя към града ми. Чак когато ме обадят, разбрах. Моля ви, да въведете push уведомления или SMS статуси в реално време, за да знаем кога точно да сме вкъщи. Иначе – супер избор.

    {"category":"suggestion"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz