უნივერსალური მიდგომა (mayzhe) ნებისმიერი სახის მანქანათმცოდნეობის მიმართ. რანჟირების ხარისხის მეტრიკა კლასიფიკაციის ხარისხის მეტრიკა, რომელიც გაანალიზებულია მანქანათმცოდნეობაში

კომპიუტერულ მეცნიერებაში მოდელების ღირებულების შეფასების მეთოდი და სხვადასხვა ალგორითმის ნიველირება ემყარება ისეთ მეტრებს, როგორიცაა შერჩევა და ანალიზი - მონაცემთა მეცნიერის მუშაობის განუყოფელი ნაწილი.

ამ სტატიაში განვიხილავთ გარკვეულ კლასიფიკაციებში სიზუსტის სხვადასხვა კრიტერიუმებს, განვიხილავთ რა არის მნიშვნელოვანი მეტრიკის არჩევისას და რა შეიძლება ასე არ იყოს.

მეტრიკა კლასიფიკაციისთვის

ძირითადი ფუნქციების დემონსტრირება სკლეერნიშემდეგ დააყენეთ მეტრიკა და ჩვენ გავაანალიზებთ ჩვენს მონაცემთა ბაზას სატელეკომუნიკაციო ოპერატორის კლიენტების რაოდენობის მიხედვით, რომლებიც შევხვდით სტატისტიკის პირველ კურსზე.

შეუცვლელად საჭირო ბიბლიოთეკები და მონაცემების მიხედვით

პანდების იმპორტი, როგორც pd იმპორტი matplotlib.pyplot როგორც ლოტი z matplotlib.pylab იმპორტი rc, მიწის იმპორტი ზღვაში, როგორც sns z skelnaya. z sklearn.metrics იმპორტი precision_recall_curve, classification_report z sklearn.model_selection იმპორტი train_test_split df = pd.read_csv("../../data/telecom_churn.csv")

Df.head(5)


მონაცემების გადამუშავება

# ორობითი სვეტების # და მოჩვენებითი კოდირებული პერსონალის რუკების შედგენა (სიმარტივისთვის, უმჯობესია ეს არ გააკეთოთ ხის მოდელებისთვის) d = ("დიახ": 1, "არა": 0) df["საერთაშორისო გეგმა"] = df [" საერთაშორისო გეგმა"].map(d) df["ხმოვანი ფოსტის გეგმა"] = df["ხმოვანი ფოსტის გეგმა"].map(d) df["Churn"] = df["Churn"].astype(" int64" ) le = LabelEncoder() df["State"] = le.fit_transform(df["State"]) ohe = OneHotEncoder(sparse=False) encoded_state = ohe.fit_transform(df["მდგომარეობა"].values.reshape (- 1, 1)) tmp = pd.

სიზუსტე, სიზუსტე და გახსენება

სანამ თავად მეტრიკაზე გადავიდოდეთ, აუცილებელია შემოვიტანოთ მნიშვნელოვანი კონცეფცია ამ მეტრიკის კლასიფიკაციის ტერმინებში აღწერისთვის. დაბნეულობის მატრიცა(შეწყალების მატრიცა).
დავუშვათ, რომ გვაქვს ორი კლასი და ალგორითმი, რომელიც გადასცემს კანის ობიექტის მგრძნობელობას ერთ-ერთ კლასში, მაშინ კლასიფიკაციის მატრიცა ასე გამოიყურება:

ჭეშმარიტი პოზიტივი (TP) ცრუ დადებითი (FP)
ცრუ უარყოფითი (FN) ჭეშმარიტი უარყოფითი (TN)

აქ არის მითითება ობიექტზე ალგორითმზე და ობიექტზე კლასის მითითება.
ამრიგად, არსებობს ორი სახის კლასიფიკაცია: ცრუ უარყოფითი (FN) და ცრუ დადებითი (FP).

Navchannya ალგორითმი და უპირატესობების შემდგომი მატრიცა

X = df.drop("Churn", axis=1) y = df["Churn"] # დაყავით ნიმუში მატარებლად და შეამოწმეთ, ყველა მეტრიკა ფასდება ტესტის მონაცემთა ბაზაზე X_train, X_test, y_train, y_test = train_test_split(X , y , stratify=y, test_size=0.33, random_state=42) # დავიწყოთ შემთხვევითი ლოგისტიკური რეგრესიით lr = LogisticRegression(random_state=42) lr.fit(X_train, y_train) # მატრიცის ნორმალიზების ფუნქცია=F, , title=" Confusion matrix", cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation="nearest", cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype("float") / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print("Confusion matrix, without normalization") print(cm) thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape), range(cm.shape)): plt.text(j, i, cm, horizontalalignment="center", color="white" if cm > thresh else "black") plt.tight_layout() plt.ylabel("True label") plt.xlabel("Predicted label") font = {"size" : 15} plt.rc("font", **font) cnf_matrix = confusion_matrix(y_test, lr.predict(X_test)) plt.figure(figsize=(10, 8)) plot_confusion_matrix(cnf_matrix, classes=["Non-churned", "Churned"], title="დაბნეულობის მატრიცა") plt.savefig("conf_matrix.png") plt.show()!}!}


სიზუსტე

ინტუიციურად გონივრული, აშკარა და, შესაძლოა, საკამათო მეტრიკა არის სიზუსტე - ზოგიერთი სწორი პასუხი ალგორითმზე:

ეს მეტრიკა გამოსადეგია არათანაბარი კლასების პრობლემებში და პრაქტიკაში ადვილი გამოსაჩენია.

შესაძლებელია, რომ გვსურს შევაფასოთ ფოსტის სპამის ფილტრის მუშაობა. ჩვენ გვაქვს 100 არა-სპამის სია, რომელთაგან 90 ჩვენმა კლასიფიკატორმა სწორად გამოთვალა (True Negative = 90, False Positive = 10) და 10 spam სია, რომელთაგან 5 ჩვენმა კლასიფიკატორმა ასევე სწორად გამოთვალა (True Positive = 5, False Negative = 5).
ტოდის სიზუსტე:

თუმცა, რადგან ჩვენ უბრალოდ გადავიტანთ ყველა ფურცელს, როგორც არასპამს, მაშინ შეგვიძლია მოძებნოთ სიზუსტე:

უფრო მეტიც, ჩვენს მოდელს აბსოლუტურად არ აქვს გადამცემი ძალა, რის გამოც თავდაპირველად გვინდოდა ფოთლების სპამის იდენტიფიცირება. ეს დაგვეხმარება გადავიდეთ ყველა კლასის ძირითადი მეტრიკიდან კლასების რანგების სხვა მაჩვენებლებზე.

სიზუსტე, გახსენება და F-world

რობოტის ეფექტურობის შესაფასებლად, ჩვენ პირდაპირ გავაცნობთ მეტრიკის სიზუსტეს (სიზუსტეს) და გავიხსენებთ (გახსენებას) კანის კლასის ალგორითმში.

სიზუსტე შეიძლება განიმარტოს, როგორც ობიექტების ნაწილი, რომელსაც კლასიფიკატორი უწოდებს დადებითს და, შესაბამისად, ეფექტურად პოზიტიურს, და გახსენება აჩვენებს, დადებითი კლასის ობიექტების რომელმა ნაწილმა იცის ყველა დადებითი კლასის ობიექტიდან ალგორითმი.

სიზუსტის დანერგვა არ გვაძლევს საშუალებას დავწეროთ ყველა ობიექტი ერთ კლასში, ასე რომ, ამ შემთხვევაში ჩვენ აღმოვფხვრათ False Positive-ის მზარდი მნიშვნელობა. Recall აჩვენებს ალგორითმის უნარს დროდადრო ამ კლასის იდენტიფიცირებისა და სიზუსტე აჩვენებს ამ კლასის სხვა კლასებისგან განასხვავების უნარს.

როგორც ადრე ვთქვით, არსებობს ორი ტიპის კლასიფიკაცია: ცრუ დადებითი და ცრუ უარყოფითი. სტატისტიკის მიხედვით, კეთილგანწყობის პირველ ტიპს 1-ლი სახის კეთილგანწყობა ეწოდება, ხოლო მეორეს - მე-2-ის. ჩვენი ამოცანაა მივაწოდოთ პირველი კლასის კეთილგანწყობა ერთგული აბონენტისთვის, ვინც მიდის, რადგან ჩვენი ნულოვანი ჰიპოთეზა არის ის, რომ არავინ მიდის აბონენტებზე და ჩვენ ამ ჰიპოთეზას ვყრით. როგორც ჩანს, სხვა სახის წყალობა იქნება აბონენტის „გავლა“, სადაც ის მიდის და ნულოვანი ჰიპოთეზის მიღების წყალობა.

სიზუსტე და გახსენება არ შედის სიზუსტის კატეგორიაში, კლასების კლასიფიკაციის გამო და, შესაბამისად, პასუხისმგებლობა გაუწონასწორებელი შერჩევის გონებაზე.
ხშირად რეალურ პრაქტიკაში აუცილებელია იცოდეთ ოპტიმალური (მენეჯერისთვის) ბალანსი ამ ორ მეტრიკას შორის. კლასიკური კონდახი განკუთვნილია კლიენტების მხარდასაჭერად.
აშკარაა, რომ ვერ ვილაპარაკებთ ყველასკლიენტები, რომლებიც მიდიან მაღაზიებში მხოლოდმაგ. კლიენტების მოზიდვის სტრატეგიისა და რესურსის იდენტიფიცირების შემდეგ, ჩვენ შეგვიძლია შევარჩიოთ საჭირო ზღვრები სიზუსტისა და გახსენების გამოყენებით. მაგალითად, შეგიძლიათ ფოკუსირება მოახდინოთ მაღალმოგებიან კლიენტებზე ან მათზე, ვისაც აქვს ლოიალობის მაღალი დონე, თუ ისინი იზიარებენ რესურსებს ქოლ ცენტრთან.

გაითვალისწინეთ ალგორითმის ჰიპერპარამეტრების ოპტიმიზაციისას (მაგალითად, საიტის ძიებისას GridSearchCV) მიმდინარეობს ერთი მეტრიკის ტესტირება, რომელიც შემცირებულია და ჩანს ტესტის ნიმუშზე.
სიზუსტისა და გახსენების გაერთიანების რამდენიმე გზა არსებობს ბრწყინვალების კრიტერიუმების გაერთიანებაში. F-ზომა (ჰალალის სახით) - საშუალო ჰარმონიული სიზუსტე და გახსენება:

ამ შემთხვევაში მხედველობაში მიიღება სიზუსტის მნიშვნელობა მეტრიკაში და ამ შემთხვევაში საშუალოა ჰარმონიული (2-ის გამრავლებით, ასე რომ სიზუსტის შემთხვევაში = 1 და გახსენება = 1 დედა)
F-ზომა აღწევს მაქსიმუმს, როდესაც გამოხმაურება და სიზუსტე უდრის ერთს და ახლოს არის ნულთან, როდესაც ერთ-ერთი არგუმენტი ნულს უახლოვდება.
sklearn-ს აქვს ხელით ფუნქცია _metrics.classification ანგარიშიაბრუნებს შეხსენებას, სიზუსტეს და F- შესვლას თითოეული კლასისთვის, ისევე როგორც თითოეული კლასის ასლების რაოდენობას.

ანგარიში = classification_report(y_test, lr.predict(X_test), target_names=["Non-churned", "Churned"]) print(report)

კლასი სიზუსტე გახსენება f1-ქულა მხარდაჭერა
არამობრუნებული 0.88 0.97 0.93 941
გაჭედილი 0.60 0.25 0.35 159
საშ./სულ 0.84 0.87 0.84 1100

აქვე უნდა აღინიშნოს, რომ როდესაც რეალურ პრაქტიკაში დომინირებს გაუწონასწორებელ კლასებთან, ხშირად საჭიროა მონაცემთა ნაკრების ინდივიდუალური მოდიფიკაციის ტექნიკის გამოყენება კლასების თანმიმდევრულობის უზრუნველსაყოფად. ბევრია და ჩვენ არ შევჩერდებით, შეგიძლიათ ისწავლოთ რამდენიმე მეთოდი და აირჩიოთ ის, რომელიც შეესაბამება თქვენს ამოცანას.

AUC-ROC და AUC-PR

მეტყველების გამომავალი ალგორითმში (ჩვეულებრივ, კლასს, ასევე ცნობილი როგორც SVM) მიკუთვნების ალბათობა ორობით ეტიკეტად გადაქცევისას, თქვენ უნდა აირჩიოთ ნებისმიერი ბარიერი, რომლის დროსაც 0 ​​გახდება 1. ბუნებრივ და ახლო ადამიანებს ეძლევათ ერთსა და იმავე დროს. g, რომელიც 0,5-ზე მეტია, მაგრამ აღარასოდეს ჩნდება ოპტიმალური, მაგალითად, კლასების ბალანსის პროგნოზირებისას.

მოდელის მთლიანობაში შეფასების ერთ-ერთი გზა, კონკრეტული ზღვრით შეზღუდვის გარეშე, არის AUC-ROC (ან ROC AUC) - ფართობი ( რეა პატივს C urve) შეწყალების მრუდის ქვეშ ( მიმღები პერანგული Cდამახასიათებელი მრუდი). ეს მრუდი არის ხაზი (0,0)-დან (1,1)-მდე ჭეშმარიტი პოზიტიური სიჩქარის (TPR) და ცრუ დადებითი სიჩქარის (FPR) კოორდინატებში:

TPR ჩვენთვის უკვე ცნობილია, აბსოლუტურად და FPR გვიჩვენებს უარყოფითი კლასის რომელი ნაწილის ობიექტია ალგორითმი არასწორად გადაცემული. იდეალურ შემთხვევაში, თუ კლასიფიკატორი მუშაობს (FPR = 0, TPR = 1), ავიღოთ მრუდის ქვეშ არსებული ფართობი ერთის ტოლი; წინააღმდეგ შემთხვევაში, თუ კლასიფიკატორი ავტომატურად აჩვენებს კლასების სიძლიერეს, AUC-ROC შემცირდება 0.5-მდე, სანამ კლასიფიკატორი ხედავს მხოლოდ TP და FP რაოდენობას.
დიაგრამაზე კანის წერტილი მიუთითებს კონკრეტული ზღურბლის არჩევაზე. მრუდის ქვეშ მდებარე ფართობი ამ შემთხვევაში აჩვენებს ალგორითმის სიმკვეთრეს (უფრო დიდი, უკეთესია), გარდა ამისა, მნიშვნელოვანია თავად მრუდის ციცაბოობა - ჩვენ გვინდა მაქსიმალურად გავზარდოთ TPR, მინიმუმამდე მივიყვანოთ FPR და, შესაბამისად, ჩვენს მრუდს იდეალურად შეუძლია წერტილების მოხრა. (0,1).

კოდი ROC მოსახვევების შესაქმნელად

sns.set(font_scale=1.5) sns.set_color_codes("muted") plt.figure(figsize=(10, 8)) fpr, tpr, ზღურბლები = roc_curve(y_test, lr.predict_proba(X_test)[:,1], pos_label=1) lw = 2 plt.plot(fpr, tpr, lw=lw, label="ROC მრუდი") plt.plot(, ) plt.xlim() plt.ylim() plt.xlabel("ცრუ დადებითი მაჩვენებელი ") plt.ylabel("ჭეშმარიტი დადებითი მაჩვენებელი") plt.title("ROC მრუდი") plt.savefig("ROC.png") plt.show()


AUC-ROC კრიტერიუმი მდგრადია გაუწონასწორებელი კლასების მიმართ (სპოილერი: სამწუხაროდ, ყველაფერი ასე მარტივი არ არის) და ის შეიძლება განიმარტოს, როგორც დარწმუნებით, რომ პოზიტიური ობიექტი კლასიფიკატორის მიერ უფრო მაღალი იქნება (რაც ნიშნავს ირონიის უფრო მეტ რაოდენობას). მაგრამ დადებითი), ქვედა vipadkovo obrany უარყოფითი ობიექტი .

მოდით შევხედოთ პრობლემას: 1 მილიონი დოკუმენტიდან უნდა შევარჩიოთ 100 შესაბამისი დოკუმენტი. ჩვენ შევიმუშავეთ ორი ალგორითმი:

  • ალგორითმი 1გამოდის 100 დოკუმენტი, რომელთაგან 90 შესაბამისია. იმგვარად
  • ალგორითმი 2გამოდის 2000 დოკუმენტი, რომელთაგან 90 შესაბამისია. იმგვარად

პირიქით, ყველაფრისთვის ჩვენ ავირჩევთ პირველ ალგორითმს, რომელიც ძალიან ცოტას აჩვენებს ცრუ პოზიტიურს მისი კონკურენტის ბუგრის მიმართ. ნებისმიერი განსხვავება ცრუ პოზიტიურ მაჩვენებელში ამ ორ ალგორითმს შორის ბოლოს და ბოლოსმცირე - მხოლოდ 0.0019. ეს გამოწვეულია იმით, რომ AUC-ROC ამცირებს ცრუ პოზიტიურ ნაწილს True Negative ნაწილამდე და იმ კონტექსტში, როდესაც სხვა (უფრო დიდი) კლასი ჩვენთვის არც ისე მნიშვნელოვანია, ჩვენ შეიძლება ვერ მივცეთ სრულიად ადეკვატური სურათი. ალგორითმების ევოლუციის შესახებ.

პოზიციის გამოსწორების მიზნით, მოდით, მთლიანად და ზუსტად დავაბრუნოთ იგი:

  • ალგორითმი 1
  • ალგორითმი 2

უკვე შესამჩნევია განსხვავება ორ ალგორითმს შორის – ზუსტად 0,855!

სიზუსტე და გახსენება ასევე შეიძლება გამოყენებულ იქნას მრუდის გამოსაწვევად და, AUC-ROC-ის მსგავსად, მის ქვეშ არსებული ფართობის საპოვნელად.


აქვე შეიძლება აღინიშნოს, რომ მცირე მონაცემთა ნაკრებებზე PR მრუდის ქვეშ არსებული ფართობი შესაძლოა ოპტიმისტური იყოს, ამიტომ იგი გამოითვლება ტრაპეციის მეთოდით, წინააღმდეგ შემთხვევაში ასეთი მონაცემების გამოთვლა საკმარისია. AUC-ROC-სა და AUC-PR-ს შორის ურთიერთქმედების შესახებ დეტალებისთვის შეგიძლიათ ეწვიოთ აქ.

ლოგისტიკური ზარალი

ხარჯების ლოგისტიკური ფუნქცია ნათლად არის განსაზღვრული, როგორც:

აქ არის ობიექტზე არსებული ალგორითმის შესაბამისობა, ობიექტის კლასის მითითების ეტიკეტი და შერჩევის ზომა.

ხაზოვანი მოდელების შესახებ პოსტის ფარგლებში უკვე დაიწერა ანგარიში ხარჯების ლოგისტიკური ფუნქციის მათემატიკური ინტერპრეტაციის შესახებ.
ეს მეტრიკა იშვიათად ჩნდება ბიზნეს ლიდერებში, მაგრამ საკმაოდ ხშირად კაგლის მენეჯერებში.
ინტუიციურად, თქვენ შეგიძლიათ აღიაროთ ლოგოსის მინიმიზაცია, რომელიც მიზნად ისახავს მაქსიმალურად გაზარდოს სიზუსტე არასწორი გადარიცხვების დაჯარიმების ხარჯზე. თუმცა, უნდა აღინიშნოს, რომ logloss საბოლოოდ სერიოზულად აჯარიმებს არასწორ ტიპზე კლასიფიკატორის ჩასმას.

მოდით შევხედოთ კონდახს:

Def logloss_crutch(y_true, y_pred, eps=1e-15): return - (y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)) print("Logloss დაუზუსტებელი კლასიფიკაციისთვის %f " % logloss_crutch(1, 0.5)) >> Logloss არაკვალიფიცირებული კლასიფიკაციისთვის 0.693147 print("Logloss მოქმედი კლასიფიკაციისთვის და ნამდვილი ტიპი %f" % logloss_crutch(1, 0.9)) >> Logloss მოქმედი კლასიფიკაციისთვის ეს არის სწორი ვერსია"6 ბეჭდვა. ლოგლოსი არასწორი კლასიფიკაციით და არასწორი ტიპით %f" % logloss_crutch(1, 0.1)) >> ლოგოლოსი არასწორი კლასიფიკაციით და არასწორი ტიპით 2.302585

მნიშვნელოვანია, თუ რამდენად მკვეთრად გაიზარდა ლოგოსი არასწორი ტიპისა და არასწორი კლასიფიკაციის მიხედვით!
ისე, ერთი ობიექტის წყალობამ შეიძლება დაათარიღოს გლობალური არჩევნების გაღრმავების წყარო. ასეთი ობიექტები ხშირად იმალება, ასე რომ თქვენ უნდა დაივიწყოთ გაფილტვრა და მიმოხილვა.
ყველაფერი თავის ადგილზე დგება, როდესაც თქვენ ხაზავთ ლოგოს გრაფიკს:


ჩანს, რომ რაც უფრო ახლოს არის ნულთან ალგორითმის პასუხი მიწის ჭეშმარიტებასთან = 1, მით უფრო დიდია შემცირების მნიშვნელობა და მით უფრო ციცაბო იზრდება მრუდი.

სავარაუდოდ:

  • მრავალკლასიანი კლასიფიკაციის შემთხვევაში აუცილებელია თითოეული კლასის მეტრიკის ყურადღებით დაცვა და გადაწყვეტილების ლოგიკის დაცვა. ზავდანნია, არა მეტრიკული ოპტიმიზაცია
  • არათანაბარი კლასების შემთხვევაში აუცილებელია კლასების ბალანსის არჩევა, რათა შეიქმნას მეტრიკა, რომელიც სწორად აჩვენებს კლასიფიკაციის დონეს.
  • mephistopheies და madrugado მათი დახმარებისთვის ამ სტატიის მომზადებაში.

კანის სიის შუაში არსებულ ელემენტებზე. ნაწილობრივი თანმიმდევრობა განისაზღვრება იმ გზით, რომლითაც მითითებულია კანის ელემენტის ნიშანი (მაგალითად, "შესაბამისი" ან "არარელევანტური"; შესაძლებელია ორივეს ვარიაცია ან მეტი). მეტა რეიტინგის მოდელები არის უმოკლესი (სიმღერის გაგებით) ახალი მონაცემების საწყის შერჩევისას რეიტინგის მეთოდის უფრო დაახლოების მიზნით.

რეიტინგის დასაწყისი ჯერ კიდევ ახალგაზრდა კვლევის სფეროა, რომელიც სწრაფად ვითარდება, რომელიც დაიწყო 2000-იან წლებში ინფორმაციის კვლევის სფეროსადმი ინტერესის გაჩენის გამო, სანამ მანქანათმცოდნეობის მეთოდების სტაგნაცია არ დასრულებულა რანგის ამოცანამდე.

ენციკლოპედიური YouTube

  • 1 / 5

    რეიტინგის მოდელისა და მისი მუშაობის დაწყებისთანავე, დოკუმენტი-განცხადების წყვილი ითარგმნება რიცხვითი ვექტორად რანგის ნიშნებით (ასევე უწოდებენ რანგის ფაქტორებს ან სიგნალებს), რომლებიც ახასიათებენ დოკუმენტის ძალას და ისინი გამოიყენება ერთმანეთზე. ასეთი ნიშნები შეიძლება დაიყოს სამ ჯგუფად:

    ქვემოთ მოცემულია რანგის ნიშნების რამდენიმე მაგალითი, რომლებიც გამოიყენება ფართოდ გამოყენებულ LETOR მონაცემთა ბაზაში:

    • შეყვანის TF, TF-IDF, BM25 და ძირითადი მოდელის მნიშვნელობები პასუხისმგებელია დოკუმენტის სხვადასხვა უბნების შესანახად (სათაური, URL, ძირითადი ტექსტი, გაგზავნილი ტექსტი);
    • Dovzhini ta IDF-sumi დოკუმენტური ზონები;
    • დოკუმენტის რანგი განისაზღვრება ისეთი რანგის ალგორითმების სხვადასხვა ვარიანტებით, როგორიცაა PageRank და HITS.

    ხარისხის რეიტინგის მეტრიკა

    არსებობს მთელი რიგი მეტრიკები, რომლებიც შეიძლება გამოყენებულ იქნას სენსორული შეფასებების საფუძველზე შერჩევის რანჟირების ალგორითმების ეფექტურობის შესაფასებლად და შესაფასებლად. ხშირად მოდელის პარამეტრები, რომლებიც რეიტინგულია, უნდა იყოს მორგებული ისე, რომ მაქსიმალურად გაზარდოს ამ მეტრიკის მნიშვნელობები.

    მიამაგრეთ მეტრიკა:

    ალგორითმების კლასიფიკაცია

    თავის სტატიაში „სწავლა რანგის ინფორმაციის მოპოვებისთვის“ და პრეზენტაციებზე თემატურ კონფერენციებზე, ტაი-იან ლიუმ Microsoft Research Asia-დან გააანალიზა გაფართოებული რეიტინგის მაშინ არსებული მეთოდები და დააფუძნა მათი კლასიფიკაცია სამ მიდგომად. . ჯარიმის ფუნქციების გათვალისწინებით:

    წერტილი-პუნქტიანი მიდგომა

    შენიშვნები

    1. ტაი-იან ლიუ (2009), სწავლა-და-რანგირება-ინფორმაციის-ძიებისთვის, საფუძვლები და ტენდენციები ინფორმაციის მოძიებაში: ტ. 3: No3, გვ. 225-331, ISBN 978-1-60198-244-5, DOI 10.1561/1500000016. ხელმისაწვდომია სლაიდები T. Liu-ს გამოსვლიდან WWW 2009 როკ კონფერენციაზე.

    ტელეკომის ოპერატორის კლიენტის მონაცემებით.


    შეუცვლელად საჭირო ბიბლიოთეკები და მონაცემების მიხედვით

    იმპორტი pandas როგორც pd იმპორტი matplotlib.pyplot როგორც plt matplotlib.pylab იმპორტი rc, ნაკვეთი იმპორტი ზღვაში, როგორც sns sklearn.preprocessing იმპორტი LabelEncoder, OneHotEncoder საწყისი sklearn.model_selection იმპორტი cross_val_score დან sklearn. კლასიფიკატორი, GradientBoostingClassifier z sklearn.metrics იმპორტი precision_recall_curve, classification_report z sklearn.model_selection იმპორტი train_test_split df = pd.read_csv("../../data/telecom_churn.csv")


    df.head(5)

    მონაცემების გადამუშავება

    # ორობითი სვეტების # და მოჩვენებითი კოდირებული პერსონალის რუკების შედგენა (სიმარტივისთვის, უმჯობესია ეს არ გააკეთოთ ხის მოდელებისთვის) d = ("დიახ": 1, "არა": 0) df["საერთაშორისო გეგმა"] = df [" საერთაშორისო გეგმა"].map(d) df["ხმოვანი ფოსტის გეგმა"] = df["ხმოვანი ფოსტის გეგმა"].map(d) df["Churn"] = df["Churn"].astype(" int64" ) le = LabelEncoder() df["State"] = le.fit_transform(df["State"]) ohe = OneHotEncoder(sparse=False) encoded_state = ohe.fit_transform(df["მდგომარეობა"].values.reshape (- 1, 1)) tmp = pd.

    სიზუსტე, სიზუსტე და გახსენება

    სანამ თავად მეტრიკაზე გადავიდოდეთ, აუცილებელია შემოვიტანოთ მნიშვნელოვანი კონცეფცია ამ მეტრიკის კლასიფიკაციის ტერმინებში აღწერისთვის. დაბნეულობის მატრიცა(შეწყალების მატრიცა).
    დავუშვათ, რომ გვაქვს ორი კლასი და ალგორითმი, რომელიც გადასცემს კანის ობიექტის მგრძნობელობას ერთ-ერთ კლასში, მაშინ კლასიფიკაციის მატრიცა ასე გამოიყურება:


    ჭეშმარიტი პოზიტივი (TP) ცრუ დადებითი (FP)
    ცრუ უარყოფითი (FN) ჭეშმარიტი უარყოფითი (TN)

    აქ არის მითითება ობიექტზე ალგორითმზე და ობიექტზე კლასის მითითება.
    ამრიგად, არსებობს ორი სახის კლასიფიკაცია: ცრუ უარყოფითი (FN) და ცრუ დადებითი (FP).


    Navchannya ალგორითმი და უპირატესობების შემდგომი მატრიცა

    X = df.drop("Churn", axis=1) y = df["Churn"] # დაყავით ნიმუში მატარებლად და შეამოწმეთ, ყველა მეტრიკა ფასდება ტესტის მონაცემთა ბაზაზე X_train, X_test, y_train, y_test = train_test_split(X , y , stratify=y, test_size=0.33, random_state=42) # დავიწყოთ შემთხვევითი ლოგისტიკური რეგრესიით lr = LogisticRegression(random_state=42) lr.fit(X_train, y_train) # მატრიცის ნორმალიზების ფუნქცია=F, , title=" Confusion matrix", cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation="nearest", cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype("float") / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print("Confusion matrix, without normalization") print(cm) thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape), range(cm.shape)): plt.text(j, i, cm, horizontalalignment="center", color="white" if cm > thresh else "black") plt.tight_layout() plt.ylabel("True label") plt.xlabel("Predicted label") font = {"size" : 15} plt.rc("font", **font) cnf_matrix = confusion_matrix(y_test, lr.predict(X_test)) plt.figure(figsize=(10, 8)) plot_confusion_matrix(cnf_matrix, classes=["Non-churned", "Churned"], title="დაბნეულობის მატრიცა") plt.savefig("conf_matrix.png") plt.show()!}!}


    სიზუსტე

    ინტუიციურად გონივრული, აშკარა და, შესაძლოა, საკამათო მეტრიკა არის სიზუსტე - ზოგიერთი სწორი პასუხი ალგორითმზე:



    ეს მეტრიკა სასარგებლოა არათანაბარი კლასების მქონე აპლიკაციებში და მისი პრაქტიკაში ჩვენება მარტივია.


    შესაძლებელია, რომ გვსურს შევაფასოთ ფოსტის სპამის ფილტრის მუშაობა. ჩვენ გვაქვს 100 არა-სპამის სია, რომელთაგან 90 ჩვენმა კლასიფიკატორმა სწორად გამოთვალა (True Negative = 90, False Positive = 10) და 10 spam სია, რომელთაგან 5 ჩვენმა კლასიფიკატორმა ასევე სწორად გამოითვალა (True Positive = 5, False Negative = 5).
    ტოდის სიზუსტე:



    თუმცა, რადგან ჩვენ უბრალოდ გადავიტანთ ყველა ფურცელს, როგორც არასპამს, მაშინ შეგვიძლია მოძებნოთ სიზუსტე:



    უფრო მეტიც, ჩვენს მოდელს აბსოლუტურად არ აქვს გადაცემის ძალა, რადგან თავდაპირველად გვინდოდა ფოთლების სპამის იდენტიფიცირება. ეს დაგვეხმარება გადავიდეთ ყველა კლასის ძირითადი მეტრიკიდან კლასების რანგების სხვა მაჩვენებლებზე.

    სიზუსტე, გახსენება და F-world

    რობოტის ეფექტურობის შესაფასებლად, ჩვენ პირდაპირ გავაცნობთ მეტრიკის სიზუსტეს (სიზუსტეს) და გავიხსენებთ (გახსენებას) კანის კლასის ალგორითმში.




    სიზუსტე შეიძლება განიმარტოს, როგორც ობიექტების ნაწილი, რომელსაც კლასიფიკატორი უწოდებს დადებითს და, შესაბამისად, ეფექტურად პოზიტიურს, და გახსენება აჩვენებს, დადებითი კლასის ობიექტების რომელმა ნაწილმა იცის ყველა დადებითი კლასის ობიექტიდან ალგორითმი.



    სიზუსტის დანერგვა არ გვაძლევს საშუალებას დავწეროთ ყველა ობიექტი ერთ კლასში, ასე რომ, ამ შემთხვევაში ჩვენ აღმოვფხვრათ False Positive-ის მზარდი მნიშვნელობა. Recall აჩვენებს ალგორითმის უნარს დროდადრო ამ კლასის იდენტიფიცირებისა და სიზუსტე აჩვენებს ამ კლასის სხვა კლასებისგან განასხვავების უნარს.


    როგორც ადრე ვთქვით, არსებობს ორი ტიპის კლასიფიკაცია: ცრუ დადებითი და ცრუ უარყოფითი. სტატისტიკის მიხედვით, კეთილგანწყობის პირველ ტიპს 1-ლი სახის კეთილგანწყობა ეწოდება, ხოლო მეორეს - მე-2-ის. ჩვენი ამოცანაა მივაწოდოთ პირველი კლასის კეთილგანწყობა ერთგული აბონენტისთვის, ვინც მიდის, რადგან ჩვენი ნულოვანი ჰიპოთეზა არის ის, რომ არავინ მიდის აბონენტებზე და ჩვენ ამ ჰიპოთეზას ვყრით. როგორც ჩანს, სხვა სახის წყალობა იქნება აბონენტის „გავლა“, სადაც ის მიდის და ნულოვანი ჰიპოთეზის მიღების წყალობა.


    სიზუსტე და გახსენება არ შედის სიზუსტის კატეგორიაში, კლასების კლასიფიკაციის გამო და, შესაბამისად, პასუხისმგებლობა გაუწონასწორებელი შერჩევის გონებაზე.
    ხშირად რეალურ პრაქტიკაში აუცილებელია იცოდეთ ოპტიმალური (მენეჯერისთვის) ბალანსი ამ ორ მეტრიკას შორის. კლასიკური კონდახი განკუთვნილია კლიენტების მხარდასაჭერად.
    აშკარაა, რომ ვერ ვილაპარაკებთ ყველასკლიენტები, რომლებიც მიდიან მაღაზიებში მხოლოდმაგ. უფრო მეტიც, კლიენტების მოზიდვის სტრატეგიისა და რესურსის გამოვლენის შემდეგ, ჩვენ შეგვიძლია შევარჩიოთ საჭირო ზღვრები სიზუსტისა და გახსენების გამოყენებით. მაგალითად, შეგიძლიათ ფოკუსირება მოახდინოთ მაღალმოგებიან კლიენტებზე ან მათზე, ვისაც აქვს ლოიალობის მაღალი დონე, თუ ისინი იზიარებენ რესურსებს ქოლ ცენტრთან.


    გაითვალისწინეთ ალგორითმის ჰიპერპარამეტრების ოპტიმიზაციისას (მაგალითად, საიტის ძიებისას GridSearchCV) მიმდინარეობს ერთი მეტრიკის ტესტირება, რომელიც შემცირებულია და ჩანს ტესტის ნიმუშზე.
    სიზუსტისა და გახსენების გაერთიანების რამდენიმე გზა არსებობს ბრწყინვალების კრიტერიუმების გაერთიანებაში. F-ზომა (ჰალალის სახით) - საშუალო ჰარმონიული სიზუსტე და გახსენება:



    ამ შემთხვევაში მხედველობაში მიიღება სიზუსტის მნიშვნელობა მეტრიკაში და ამ შემთხვევაში საშუალოა ჰარმონიული (2-ის გამრავლებით, ასე რომ სიზუსტის შემთხვევაში = 1 და გახსენება = 1 დედა)
    F-ზომა აღწევს მაქსიმუმს, როდესაც გამოხმაურება და სიზუსტე უდრის ერთს და ახლოს არის ნულთან, როდესაც ერთ-ერთი არგუმენტი ნულს უახლოვდება.
    sklearn-ს აქვს ხელით ფუნქცია _metrics.classification ანგარიში, რომელიც აქცევს გახსენებას, სიზუსტეს და F- მიდგომას კანის კლასებისთვის, ასევე კანის კლასის ასლების რაოდენობას.


    report = classification_report(y_test, lr.predict(X_test), target_names=["Non-churned", "Churned"]) print(report)
    კლასი სიზუსტე გახსენება f1-ქულა მხარდაჭერა
    არამობრუნებული 0.88 0.97 0.93 941
    გაჭედილი 0.60 0.25 0.35 159
    საშ./სულ 0.84 0.87 0.84 1100

    აქვე უნდა აღინიშნოს, რომ როდესაც რეალურ პრაქტიკაში დომინირებს გაუწონასწორებელ კლასებთან, ხშირად საჭიროა მონაცემთა ნაკრების ინდივიდუალური მოდიფიკაციის ტექნიკის გამოყენება კლასების თანმიმდევრულობის უზრუნველსაყოფად. ბევრი მათგანია და ჩვენ არ შევჩერდებით მათზე, შეგიძლიათ აღფრთოვანდეთ რამდენიმე მეთოდით და აირჩიოთ ის, რაც შეესაბამება თქვენს ამოცანას.

    AUC-ROC და AUC-PR

    მეტყველების გამომავალი ალგორითმში (ჩვეულებრივ, კლასს, ასევე ცნობილი როგორც SVM) მიკუთვნების ალბათობა ორობით ეტიკეტად გადაქცევისას, თქვენ უნდა აირჩიოთ ნებისმიერი ბარიერი, რომლის დროსაც 0 ​​გახდება 1. ბუნებრივ და ახლო ადამიანებს ეძლევათ ერთსა და იმავე დროს. g, რომელიც 0,5-ზე მეტია, მაგრამ აღარასოდეს ჩნდება ოპტიმალური, მაგალითად, კლასების ბალანსის პროგნოზირებისას.


    მოდელის მთლიანობაში შეფასების ერთ-ერთი გზა, კონკრეტული ზღვრით შეზღუდვის გარეშე, არის AUC-ROC (ან ROC AUC) - ფართობი ( რეა პატივს C urve) შეწყალების მრუდის ქვეშ ( მიმღები პერანგული Cდამახასიათებელი მრუდი). ეს მრუდი არის ხაზი (0,0)-დან (1,1)-მდე ჭეშმარიტი პოზიტიური სიჩქარის (TPR) და ცრუ დადებითი სიჩქარის (FPR) კოორდინატებში:




    TPR ჩვენთვის უკვე ცნობილია, აბსოლუტურად და FPR გვიჩვენებს უარყოფითი კლასის რომელი ნაწილის ობიექტია ალგორითმი არასწორად გადაცემული. იდეალურ შემთხვევაში, თუ კლასიფიკატორი მუშაობს (FPR = 0, TPR = 1), ავიღოთ მრუდის ქვეშ არსებული ფართობი ერთის ტოლი; წინააღმდეგ შემთხვევაში, თუ კლასიფიკატორი ავტომატურად აჩვენებს კლასების სიძლიერეს, AUC-ROC შემცირდება 0.5-მდე, სანამ კლასიფიკატორი ხედავს მხოლოდ TP და FP რაოდენობას.
    დიაგრამაზე კანის წერტილი მიუთითებს კონკრეტული ზღურბლის არჩევაზე. მრუდის ქვეშ მდებარე ფართობი ამ შემთხვევაში აჩვენებს ალგორითმის სიმკვეთრეს (უფრო დიდი, უკეთესია), გარდა ამისა, მნიშვნელოვანია თავად მრუდის ციცაბოობა - ჩვენ გვინდა მაქსიმალურად გავზარდოთ TPR, მინიმუმამდე მივიყვანოთ FPR და, შესაბამისად, ჩვენს მრუდს იდეალურად შეუძლია წერტილების მოხრა. (0,1).


    კოდი ROC მოსახვევების შესაქმნელად

    sns.set(font_scale=1.5) sns.set_color_codes("muted") plt.figure(figsize=(10, 8)) fpr, tpr, ზღურბლები = roc_curve(y_test, lr.predict_proba(X_test)[:,1], pos_label=1) lw = 2 plt.plot(fpr, tpr, lw=lw, label="ROC მრუდი") plt.plot(, ) plt.xlim() plt.ylim() plt.xlabel("ცრუ დადებითი მაჩვენებელი ") plt.ylabel("ჭეშმარიტი დადებითი მაჩვენებელი") plt.title("ROC მრუდი") plt.savefig("ROC.png") plt.show()



    AUC-ROC კრიტერიუმი მდგრადია გაუწონასწორებელი კლასების მიმართ (სპოილერი: სამწუხაროდ, ყველაფერი ასე მარტივი არ არის) და ის შეიძლება განიმარტოს, როგორც დარწმუნებით, რომ პოზიტიური ობიექტი კლასიფიკატორის მიერ უფრო მაღალი იქნება (რაც ნიშნავს ირონიის უფრო მეტ რაოდენობას). მაგრამ დადებითი), ქვედა vipadkovo obrany უარყოფითი ობიექტი .


    მოდით შევხედოთ პრობლემას: 1 მილიონი დოკუმენტიდან უნდა შევარჩიოთ 100 შესაბამისი დოკუმენტი. ჩვენ შევიმუშავეთ ორი ალგორითმი:

    • ალგორითმი 1გამოდის 100 დოკუმენტი, რომელთაგან 90 შესაბამისია. იმგვარად

    • ალგორითმი 2გამოდის 2000 დოკუმენტი, რომელთაგან 90 შესაბამისია. იმგვარად


    პირიქით, ყველაფრისთვის ჩვენ ავირჩევთ პირველ ალგორითმს, რომელიც ძალიან ცოტას აჩვენებს ცრუ პოზიტიურს მისი კონკურენტის ბუგრის მიმართ. ნებისმიერი განსხვავება ცრუ პოზიტიურ მაჩვენებელში ამ ორ ალგორითმს შორის ბოლოს და ბოლოსმცირე - მხოლოდ 0.0019. ეს გამოწვეულია იმით, რომ AUC-ROC ამცირებს ცრუ პოზიტიურ ნაწილს True Negative ნაწილამდე და იმ კონტექსტში, როდესაც სხვა (უფრო დიდი) კლასი ჩვენთვის არც ისე მნიშვნელოვანია, ჩვენ შეიძლება ვერ მივცეთ სრულიად ადეკვატური სურათი. ალგორითმების ევოლუციის შესახებ.


    პოზიციის გამოსწორების მიზნით, მოდით, მთლიანად და ზუსტად დავაბრუნოთ იგი:

    • ალგორითმი 1

    • ალგორითმი 2


    უკვე შესამჩნევია განსხვავება ორ ალგორითმს შორის – ზუსტად 0,855!


    სიზუსტე და გახსენება ასევე შეიძლება გამოყენებულ იქნას მრუდის გამოსაწვევად და, AUC-ROC-ის მსგავსად, მის ქვეშ არსებული ფართობის საპოვნელად.



    აქვე შეიძლება აღინიშნოს, რომ მცირე მონაცემთა ნაკრებებზე PR მრუდის ქვეშ არსებული ფართობი შესაძლოა ოპტიმისტური იყოს, ამიტომ იგი გამოითვლება ტრაპეციის მეთოდით, წინააღმდეგ შემთხვევაში ასეთი მონაცემების გამოთვლა საკმარისია. AUC-ROC-სა და AUC-PR-ს შორის ურთიერთქმედების შესახებ დეტალებისთვის შეგიძლიათ ეწვიოთ აქ.

    ლოგისტიკური ზარალი

    ხარჯების ლოგისტიკური ფუნქცია ნათლად არის განსაზღვრული, როგორც:



    აქ - ეს არის მითითება ობიექტზე არსებულ ალგორითმზე, - კლასის მითითება ობიექტზე და შერჩევის ზომა.


    ხაზოვანი მოდელების შესახებ პოსტის ფარგლებში უკვე დაიწერა ანგარიში ხარჯების ლოგისტიკური ფუნქციის მათემატიკური ინტერპრეტაციის შესახებ.
    ეს მეტრიკა იშვიათად ჩნდება ბიზნეს ლიდერებში, მაგრამ საკმაოდ ხშირად კაგლის მენეჯერებში.
    ინტუიციურად, თქვენ შეგიძლიათ აღიაროთ ლოგოსის მინიმიზაცია, რომელიც მიზნად ისახავს მაქსიმალურად გაზარდოს სიზუსტე არასწორი გადარიცხვების დაჯარიმების ხარჯზე. თუმცა, უნდა აღინიშნოს, რომ logloss საბოლოოდ სერიოზულად აჯარიმებს არასწორ ტიპზე კლასიფიკატორის ჩასმას.


    მოდით შევხედოთ კონდახს:


    def logloss_crutch(y_true, y_pred, eps=1e-15): return - (y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)) print("Logloss თუ არაკლასიფიცირებული %f " % logloss_crutch(1, 0.5)) >> Logloss არაკვალიფიცირებული კლასიფიკაციისთვის 0.693147 print("Logloss მოქმედი კლასიფიკაციისთვის და ნამდვილი ტიპი %f" % logloss_crutch(1, 0.9)) >> Logloss მოქმედი კლასიფიკაციისთვის ეს არის სწორი ვერსია"6 print ლოგოლოსი იგივე კლასიფიკაციით და არასწორი ტიპით %f" % logloss_crutch(1, 0.1)) >> ლოგოლოსი იგივე კლასიფიკაციით და არასწორი ტიპის 2.302585

    მნიშვნელოვანია, თუ რამდენად მკვეთრად გაიზარდა ლოგოსი არასწორი ტიპისა და არასწორი კლასიფიკაციის მიხედვით!
    ისე, ერთი ობიექტის წყალობამ შეიძლება დაათარიღოს გლობალური არჩევნების გაღრმავების წყარო. ასეთი ობიექტები ხშირად იმალება, ასე რომ თქვენ უნდა დაივიწყოთ გაფილტვრა და მიმოხილვა.
    ყველაფერი თავის ადგილზე დგება, როდესაც თქვენ ხაზავთ ლოგოს გრაფიკს:



    ჩანს, რომ რაც უფრო ახლოს არის ნულთან ალგორითმის პასუხი მიწის ჭეშმარიტებასთან = 1, მით უფრო დიდია კორექტირების მნიშვნელობა და მით უფრო ციცაბო იზრდება მრუდი.

    სავარაუდოდ:

    • მრავალკლასიანი კლასიფიკაციის შემთხვევაში აუცილებელია თითოეული კლასის მეტრიკის ყურადღებით დაცვა და გადაწყვეტილების ლოგიკის დაცვა. ზავდანნია, არა მეტრიკული ოპტიმიზაცია
    • არათანაბარი კლასების შემთხვევაში აუცილებელია კლასების ბალანსის არჩევა, რათა შეიქმნას მეტრიკა, რომელიც სწორად აჩვენებს კლასიფიკაციის დონეს.
    • და madrugado სტატიის მომზადებაში დახმარებისთვის.
    1

    საბოლოო ჯამში, დიდი ყურადღება ეთმობა გამოსახულების რეკონსტრუქციას და, შესაბამისად, სიკაშკაშის შეფასება მნიშვნელოვანი ამოცანაა გამოსახულების რეკონსტრუქციის სხვადასხვა მეთოდების შემუშავებისთვის. ხშირ შემთხვევაში, რეკონსტრუქციის მეთოდები იწვევს ტექსტურის და სტრუქტურის განაწილებას დიდი ტერიტორიების განახლებისა და პიქსელის მნიშვნელობების შეცვლისას. დღის მოდერნიზაციის შედეგების ობიექტური, ყოვლისმომცველი შეფასება, რასთან დაკავშირებითაც სხვადასხვა მიდგომა ექვემდებარება ექსპერტულ შეფასებას. ეს სტატია წარმოგიდგენთ ახალ მიდგომას გამოსახულების ღირებულების შესაფასებლად, რომელიც ეფუძნება მანქანურ სწავლებას ადამიანის თვალის სხვადასხვა მოდელისგან, რაც ვარაუდობს, რომ გამოსახულების ლოკალური არეები შეიძლება წარმოდგენილი იყოს აღწერებით რამდენიმე პარამეტრული განყოფილების ხედვით. გარდა ამისა, დამხმარე ვექტორული მანქანის რეგრესიის მეთოდი საშუალებას გაძლევთ გადაიტანოთ განახლებული სურათების რაოდენობა, რომლებიც შეკუმშულია, ეს დამოკიდებულია ექსპერტის შეფასებაზე. რობოტმა აჩვენა, რომ ძვლის ხარისხის შეფასება, რომელიც გამოწვეულია ინდუცირებული მიდგომიდან, კორელაციაშია ძვლის ხარისხის სუბიექტურ შეფასებასთან.

    მანქანათმცოდნეობა

    ვიზუალური სიკაშკაშე

    რეკონსტრუქცია

    ობრობა გამოსახულება

    1. Gastaldo P. Machine ავითარებს გადაწყვეტილებებს ვიზუალური ხარისხის ობიექტური შეფასებისთვის / მე-6 საერთაშორისო სემინარი სამომხმარებლო ელექტრონიკის ვიდეო დამუშავებისა და ხარისხის მეტრიკის შესახებ, VPQM. - ტ. 12. – 2012 წ.

    2. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, Fluid dynamics, image and video inpainting/ Hawaii: Proc. IEEE კომპიუტერული ხედვისა და ნიმუშის ამოცნობა (CVPR). - 2001. - PP. 213–226 წწ.

    3. Criminisi A., Perez P., Toyama K. რეგიონის შევსება და ობიექტების ამოღება მაგალითზე დაფუძნებული გამოსახულების შეღებვით / IEEE Trans. გამოსახულების პროცესი. - 13 (9). – 2004. – PP. 28–34.

    4. Vijay M., Cheung, S.S. თვალის თვალთვალის საფუძველზე აღქმის სურათის შეღებვის ხარისხის ანალიზი/ გამოსახულების დამუშავება (ICIP), მე-17 IEEE საერთაშორისო კონფერენცია IEEE-ზე. – 2010. – PP. 1109 – 1112 წწ.

    5. Ardis P.A., Singhal A. Visual salience metrics for image inpainting / SPIE Electronic Imaging. ოპტიკისა და ფოტონიკის საერთაშორისო საზოგადოება. – 2009 წ.

    6. Cheung S.S., Zhao J., Venkatesh V. ეფექტური ობიექტზე დაფუძნებული ვიდეო შეღებვა / გამოსახულების დამუშავება, 2006 IEEE International Conference on. – 2006. – PP. 705-708 წწ.

    7. პერეტიაგინი გ.ი. თაბაშირის გაუსიანი ველებით/ავტომეტრიით გამოსახვის საგანი. - No 6. - 1984. - გვ. 42 - 48.

    8. Franctc V.A., Voroni V.V., Marchuk V.I., Sherstobitov A.I., Agaian S., Egiazarian K. მანქანა იყენებს მიდგომას ხარისხის ობიექტური შეფასებისთვის/ პროკ. SPIE 9120, მობილური მულტიმედია/გამოსახულების დამუშავება, უსაფრთხოება და აპლიკაციები. – ტ. 91200S. - 2014 წელი.

    9. Paul A., Singhal A. და. Brown C. შეღებვის ხარისხის შეფასება / Journal of Electronic Imaging. – ტ. 19. - 2010. - PP. 011002-011002.

    ობიექტური სიკაშკაშის მეტრიკა არის გამოსახულების დამუშავების სისტემების მნიშვნელოვანი ნაწილი. გამოსახულების სიკაშკაშის შეფასების ერთ-ერთი მნიშვნელოვანი ობიექტური მეტრიკა არის გამოსახულების დამუშავების ალგორითმებისა და სისტემების ეფექტურობის შეფასება. მიუხედავად ამ თემაზე პუბლიკაციების სიმრავლისა, რეკონსტრუირებული სურათების ხარისხის შეფასების ამოცანა ღარიბებში ჩანს. ამავდროულად, გამოსახულების დახარჯული უბნების განახლებამ მნიშვნელოვანი პატივისცემა წაართვა დარჩენილ საათს.

    გამოსახულების ხარისხის შეფასების ორი შესაძლო მიდგომაა: კოლკისნა შეფასება დამატებითი მათემატიკური მეთოდების გამოყენებით (საშუალო კვადრატის კორექტირება, Lp-ნორმა, გადასვლა ადამიანის ვიზუალური სისტემის გამოსახულების თავისებურებების უზრუნველსაყოფად) და არის სუბიექტური შეფასება, რომელიც ეფუძნება ექსპერტთა შეფასებებს.

    სხვადასხვა სხვა მიდგომებზე დაფუძნებული ძვლის სიმკვრივის შეფასებები შეიძლება მნიშვნელოვნად განსხვავდებოდეს ადამიანების ექსპერტების გამოყენებით მიღებული მაჩვენებლებისაგან. სიკაშკაშის შეფასების მარტივი მიდგომების უმეტესობა დაფუძნებულია სტანდარტულ სურათზე. სამწუხაროდ, სამწუხაროა, რომ ხშირ შემთხვევაში სტანდარტული სურათი არ არის ხელმისაწვდომი. ასეთი ამოცანებისა და ამოცანების წინ, გადაყრილი პიქსელების რეკონსტრუქცია. ამრიგად, რეკონსტრუქციული სურათების სიკაშკაშის შესაფასებლად კოლკისური მეტრიკის შემუშავება აქტუალურია.

    მნიშვნელოვანი წარმატება მიღწეულია გამოსახულების სიკაშკაშის რაოდენობრივი შეფასების შემუშავებაში. ამ კრიტერიუმებიდან გამომდინარე უნდა დასრულდეს საფუძვლიანად. გამოსახულების სიკაშკაშის სასიამოვნო შეფასების პოვნის მცდელობების უმეტესობა ეფუძნება შემდეგ განსხვავებებს. შემოთავაზებულია მარტივი შეფასება, რომელიც ეფუძნება გარკვეულ ფიზიოლოგიურ ცვლილებებს, და უფრო ხშირად მისი გაანალიზება და გამოთვლა მარტივია და შემდეგ შეფასებულია ხელისუფლების მიერ. ცხოვრების ხარისხის საფუძვლიანი შეფასებების შექმნა დაკავშირებულია ადამიანის ზოოლოგიური სისტემის ძალების ღრმა გავლენებთან.

    ეტიკეტირებულია ამ რობოტის მიერ• ღირებულების შეფასების მეტრიკის შემუშავება ნაჩვენებია დამუშავების საათის ქვეშ, რეკონსტრუქციის მეთოდების გამოყენებით მანქანათმშენებლობის ტექნოლოგიის გამოყენებით.

    მათემატიკური მოდელი

    სტატისტიკას აქვს რობოტში მიღებული მნიშვნელობების მსგავსი. ყველა სურათი შედგება ორი ზონისგან, რომლებიც ერთმანეთს არ ემთხვევა: რეკონსტრუქციული და ხილული არე. ბავშვზე 1 მინიშნება კონდახით roztashuvannya tsikh galuzey.

    ნახ 1. გამოსახულების მოდელი

    სურათზე ნაჩვენებია Ω ფართობი მის შუაში. რეკონსტრუქციის მიზანია Ω ფართობის შუაში გამოსახულების პიქსელების მნიშვნელობის შეცვლა ისე, რომ არე ერთი შეხედვით არ ჩანს. რეკონსტრუქციის მიზანი შეიძლება ფოკუსირებული იყოს გამოსახულების დაზიანებული ნაწილების განახლებაზე (მაგალითად, ლაქები და ბზარები ძველ ფოტოებზე) ან სურათზე არასასურველი ობიექტების ამოღებაზე. ბავშვი 1 ფართობი Ω ნაჩვენებია ჯერ კორისტუვაჩად, შემდეგ. გამოყოფილი ტერიტორია არ ექვემდებარება ნაწილობრივ რეკონსტრუქციას.

    ალგორითმი გამოსახულების სიკაშკაშის შესაფასებლად

    გამოსახულების სიკაშკაშის წარმატებით გაზომვის გასაღები მანქანაზე დაფუძნებულ საფუძველზე მოითხოვს სამ ნაბიჯს:

    1. გაფართოებული ნიშანი, რომელიც ემსახურება შეყვანის სიგნალების აღწერას.

    2. აირჩიეთ ჩვენების ფუნქცია ნიშნის სივრციდან სიკაშკაშის შეფასებების სივრცეში.

    3. სისტემის გაშვება და მისი წინააღმდეგობის შემოწმება (გადატვირთვის შემოწმება).

    ამ მიდგომის სტრუქტურული დიაგრამა წარმოდგენილია ფიგურაში 2 და მოიცავს შემდეგ ეტაპებს:

    1. აირჩიეთ ინტერესის სფერო (ვიკი ბარათის გამოყენებით);

    2. დაბალი დონის გამოსახულების ნიშნების გაანგარიშება;

    3. პობუდოვას განახლებული ტერიტორიის აღმწერი დაბალი დონის მახასიათებლების გაგებით;

    4. რეგრესიის ამოცანის კავშირი მიღებული აღწერის ვექტორის საფუძველზე სიმძლავრის რიცხვითი შეფასების მიღების მეთოდთან.

    Პატარა 2. ალგორითმის ნაკადის სქემა

    ნამუშევარი აჩვენებს, რომ ვიზუალური პატივისცემა მნიშვნელოვან როლს თამაშობს მგრძნობიარე ადამიანებში. ყოველ მომენტში ადამიანის თვალი ნათლად ხედავს სცენის მხოლოდ მცირე ნაწილს, ამავდროულად სცენის ბევრად უფრო მნიშვნელოვანი არე აღიქმება, როგორც "დაშლილი". ეს „გაზიარებული ინფორმაცია“ საკმარისია სცენის სხვადასხვა სფეროს მნიშვნელობის შესაფასებლად და ვიზუალური ველის მნიშვნელოვანი სფეროებისადმი პატივისცემის შესაფასებლად. მეთოდების უმეტესობა საშუალებას გაძლევთ შექმნათ მგრძნობელობის რუკა - ორგანზომილებიანი გამოსახულება, რომელშიც კანის პიქსელის მნიშვნელობა დაკავშირებულია ამ კონკრეტული უბნის მნიშვნელობასთან.

    ბარათების ამოსაღებად, გთხოვთ, გამოიყენოთ Saliency Toolbox, აღწერილობები რობოტში. ინსტრუმენტების ეს ნაკრები არის ადამიანის ზორალური სისტემის ვიკორის მოდელი. მნიშვნელოვანია აღინიშნოს, რომ აზრი არ აქვს განახლებული არეალის გასწორებას გამოსავალსა და განახლებულ სურათში, რადგან ფონის ნაწილი შეიძლება მნიშვნელოვნად შეიცვალოს. ინტერესის სფეროების შესარჩევად რეკომენდებულია შემდეგი:

    .

    აქ არის რეკონსტრუირებული სურათის პატივისცემის რუკა და პიქსელის შესაბამისი რუკის მნიშვნელობა. გამოსახულების მიერ გამოწვეულ სურათში ხედის სიძლიერე გამოითვლება გამოსახულების განახლებულ არეალში შუა და მახლობლად. მნიშვნელობა განისაზღვრება, როგორც ზღვრული მნიშვნელობა გადაწყვეტილების მიღებისას გამოსახულების რომელი ნაწილები შეფასდება შეფასების დროს და რომელი არა. ჩვენ პატივს ვცემთ იმ სფეროებს, რომლებსაც ვეხებით.

    როგორც ადგილობრივი უბნების დაბალი დონის ნიშნები, ვლინდება სპექტრული გამოვლინებები. შემდეგი, ჩვენ ვატარებთ ფურიეს, უოლშის და ჰაარის საფუძვლების ანალიზს ეფექტურობის ვექტორის ვარიაციებზე დაყრდნობით. შეცდომებისა და პრობლემების აღმოჩენის სისტემის ეფექტურობის კრიტერიუმის მიხედვით საწყობების სწორი გაანგარიშებისთვის საჭირო იქნება სტატისტიკური საშუალების გამოყენება.

    p align="justify"> სიგნალის დამუშავების ალგორითმებისა და სისტემების სინთეზირებისას ყველაზე ხშირად გამოიყენება მინიმალური საშუალო რისკის კრიტერიუმი, რაც საშუალებას აძლევს ადამიანს გადაიღოს ტრანსკოდებისა და სიგნალების სტატისტიკა. სიხშირის გარდაქმნების განხორციელებისას და საანგარიშო ხარჯების შეფასებისას მნიშვნელოვანია სპექტრული განაწილების საფუძვლის არჩევანი. სიგნალების განაწილების საფუძვლის შერჩევის ოპტიმიზაციისთვის აუცილებელია მკაცრად დაიცვან მინიმალური საშუალო რისკის კრიტერიუმი. ამ მიზნით აუცილებელია სიგნალებისა და პროცესების კლასების დაზუსტება და მათი შესაბამისი მახასიათებლების ცოდნა.

    ორგანზომილებიანი პროცესების მოცემული კლასისთვის გადადის შესაბამისი ქვეკლასი, სადაც ინდექსი არის გარკვეული ფარული ძალების მქონე ქვეკლასის რაოდენობა და ქვეკლასის პროცესის განხორციელების რაოდენობა. ძირითადი სისტემების მთლიანობა ერთმანეთის ტოლია ფურიეს სერია, რომელიც ჩამოყალიბებულია ფორმალური ფორმით, საბაზისო სისტემის მიხედვით, ფორმალური ფორმით ასე გამოიყურება: .

    წევრების საბოლოო რაოდენობით, დაბალი Fur'e შეიძლება ხასიათდებოდეს ზარალით: , დე - დადგეს სიმღერის მეტრიკაზე, - დაბალი Four'e-ს წევრების ნაწილობრივი ჯამი.

    კოეფიციენტების აღჭურვილობა დაბალია, ფურე და მისი გამოთვლები დაკავშირებულია სიმღერის გამოთვლის ხარჯებთან. ჩვენ შემოვიღეთ ხარჯვის ფუნქცია, რომელიც ითვალისწინებს როგორც შეკვეცილი ფურიის სერიის დაკარგვასთან დაკავშირებულ ხარჯებს, ასევე აპარატურის და გამოთვლითი რესურსების ხარჯებს:

    .

    ფსიქიკური რისკის ღირებულება მდგომარეობს სიგნალების ქვეკლასში და საფუძველში და გამოითვლება გაყიდვის ხარჯების ფუნქციის საშუალო მეთოდით:

    დე - გაანალიზებული სიგნალების საიმედოობის სიძლიერე და კონვერტაცია; და მშვილდები ნიშნავს სტატისტიკური საშუალო შეფასების ოპერაციას.

    საშუალო რიზიკი მითითებულია სიგნალების ქვეკლასებისთვის გონებრივი რიზიკის საშუალო მნიშვნელობით:

    ,

    დე - სიგნალების ქვეკლასის საიმედოობა.

    მინიმალური საშუალო რისკის კრიტერიუმით, ბაზებიდან შეირჩევა მინიმალური საშუალო რისკის მქონე.

    გამოსახულების დამუშავების ხარისხის სისტემის კრიტერიუმის ეფექტურობის შესაფასებლად, სატესტო გამოსახულებები განიხილება როგორც ტექსტურები, რომლებიც ამოღებულია გაუსის ველების მოდელირებიდან განსაზღვრული კორელაციის ფუნქციებიდან. ერთიანი ნორმალური ვარდნის ველების, ისევე როგორც სტაციონარული ნორმალური ჩამოვარდნის პროცესების წარმოქმნა, ყველაზე მარტივად ხორციელდება ჩამოსხმის ფილტრის მეთოდის გამოყენებით.

    ფაქტობრივად, სტატიაში განიხილება ეტაპობრივი რეალიზაციის გამოვლინება სხვადასხვა კორელაციური ფუნქციებით ტრიგონომეტრიული ფუნქციების (Four'e), Walsh-ისა და Haar-ის საფუძვლებში. ჩვენ განვახორციელებთ შერჩეული ბაზების ანალიზს გამოსახულების მოდელების შესაქმნელად ზომით 256 256 პიქსელით. ჩვენ ასევე ვითხოვთ ქვეკლასების სამ ტიპს: 1) თანაბრად: ; 2) spadne: ;
    3) იზრდება: . აირჩიეთ Varosti ფუნქცია ხედში: .

    საშუალო რისკი განისაზღვრება სიგნალების ქვეკლასების საშუალო ფსიქიკური რისკის მეთოდით სიგნალების ქვეკლასების მიღებული აპრიორი მოქმედების შედეგებით, რომელთა მნიშვნელობა მოცემულია ცხრილში 1.

    ცხრილი 1

    საშუალო რიზიკუს ღირებულება

    ქვედანაყოფების სახეები

    ცხრილის დაშლის შედეგები აჩვენებს, რომ ორგანზომილებიანი სიგნალების მიღებული მოდელებიდან და მათი თვისებების დაყოფიდან, ჰარის საფუძველს აქვს ყველაზე მცირე საშუალო რისკი, ხოლო მეოთხე საფუძველს აქვს ყველაზე დიდი.

    ანალიზის საფუძველზე, ჩვენ ვირჩევთ Haar-ის საფუძველს ადგილობრივი გამოსახულების არეების წარმოსადგენად. გთხოვთ, გაითვალისწინოთ, რომ განახლებული არეალის ზომა განსხვავდება სხვადასხვა სურათებისთვის. ამ უხარისხო ნიშნებთან დაკავშირებით ყალიბდება ფიქსირებული ზომის მაღალი ხარისხის გამოვლინება. „სიტყვების ტომარა“ მიდგომა ითვლება ვიკორისტის მიდგომის ყველაზე ეფექტურ გამოვლინებად. განახლებული ტერიტორიისთვის აღწერის (ხელმოწერის) გენერირების პროცედურა შედგება ორი ეტაპისგან. პირველ ეტაპზე იქნება ლექსიკონი. ამ მიზნით, ყველა სურათიდან შედგენილი დაბალი დონის ფუნქციები ხაზგასმულია სურათების საწყის ნაკრებში. ლექსიკონის შესაქმნელად მიღებული ფუნქციები იყოფა 100 კლასად k-means კლასტერული ალგორითმის გამოყენებით. ლექსიკონის კანის ელემენტი არის ერთ-ერთი კლასის ცენტრი, რომელიც ნაპოვნია კლასტერული პროცედურის საშუალებით. ლექსიკონის თითოეული სიტყვა Haar-ის მიერ გარდაიქმნება 8x8 გამოსახულების ბლოკად. ლექსიკონის ამოღება ხორციელდება სხვა ეტაპზე, როდესაც გენერირდება სიხშირის ჰისტოგრამები ლექსიკონიდან, როგორც ნიშნის ვექტორი - განახლებული არეალის აღმწერი (ნახ. 3). აღწერების ნაკრები არჩეულია რეგრესიის მანქანის დასაწყებად (Support Vector Regression). ლექსიკონიდან სიხშირეების ჰისტოგრამების ამოსაღებად, ვიზუალურად გამოკვეთილი ყველა უბანი შედგენილია (ხილვადობა განისაზღვრება შესაბამისი გამოსახულების ბარათებიდან). შემდეგ, სანამ არ ჩამოყალიბდება კანის ბლოკები, სრულდება ჰაარის ტრანსფორმაცია და კლასიფიკაცია საბოლოოდ სრულდება ევკლიდეს ქვეგანყოფილებაზე დაფუძნებული ლექსიკონით.

    კანს შეუძლია გამოიყენოს მიღებული ჰისტოგრამები, რათა დაადგინოს დაბალი ხარისხის მახასიათებლების რაოდენობა კონკრეტულ კლასში ამ სფეროში. ნორმალიზების შემდეგ, ჰისტოგრამები აწარმოებენ გამოსახულების „ხელმოწერას“ - განახლებული ტერიტორიის უმაღლესი გამოვლინება.

    ნახ.3. პობუდოვას ჰისტოგრამები

    გამოსახულების სიკაშკაშის შეფასების ალგორითმის ეფექტურობის შეფასება

    ფრაგმენტული მეტრიკის ეფექტურობის შესაფასებლად გამოყენებული იქნა ტესტის სურათების ნაკრები. ნაკრები შედგება 300 სურათისგან. განახლების მეთოდად აირჩიეს შემდეგი მიდგომები: მეთოდი, რომელიც დაფუძნებულია თვითმსგავსი არეების ძიებაზე, მეთოდი სპექტრულ გარდაქმნებზე, მეთოდი კერძო მსგავსების გამოთვლაზე. კანის გამოსახულებისთვის ექსპერტიზის შეფასება გაკეთდა მიღებული 30 ქულის მიხედვით. შედეგები დაიყო ორ ნაწილად ისე, რომ ისინი ერთმანეთს არ ემთხვეოდეს. პირველი ცდილობდა დაწყებას, ხოლო მეორე ცდილობდა შედეგის გადამოწმებას.

    ექსპერტებმა შეაფასეს სიმწარე სკალის მიხედვით, სადაც 5 მიუთითებს "შესანიშნავად", ხოლო 1 მიუთითებს "ნამდვილად ცუდი". მიღებული მეტრიკის ეფექტურობის შესაფასებლად გამოითვლება კორელაციის კოეფიციენტი მიღწევების ვექტორებს შორის დამატებითი ობიექტური მეტრიკის გამოყენებით და სიზუსტის შეფასების საექსპერტო მეთოდით. მე-2 ცხრილის შედეგების ანალიზი აჩვენებს, რომ პროპონაციის მიდგომა აღემატება სიბლანტის მეტრიკას შერჩეულ ტესტის მონაცემებზე.

    ცხრილი 2

    კორელაციის კოეფიციენტი ობიექტური გაანგარიშების სხვადასხვა მეთოდისთვის
    გამოსახულების სიმძლავრის მეტრიკა

    წინადადების განაცხადი

    ვისნოვოკი

    სტატიაში წარმოდგენილია ობიექტური მეტრიკა გამოსახულების ხარისხის შესაფასებლად, მანქანური სწავლის საფუძველზე. გამოსახულების სისტემების დიზაინისა და შეფასებისთვის საჭიროა რამდენიმე მიდგომა. ეს დაგეხმარებათ თავიდან აიცილოთ შრომატევადი და არაზუსტი ყოველდღიური შეფასების მეთოდები სუბიექტური გამოკვლევის დახმარებით. მეორე მხრივ, მრავალი უღელტეხილის ამოხსნით, შესაძლებელია გამოსახულების დამუშავების სისტემების ოპტიმიზაციის მეთოდების შემუშავება. ნაჩვენებია, რომ სიმწარის შეფასება, რომელიც გამოწვეულია გამოწვეული მიდგომიდან, კორელაციაშია სიმწარის სუბიექტურ შეფასებასთან.

    სამუშაო მხარდაჭერილია რუსეთის მსოფლიო საქმეთა სამინისტროს მიერ ფედერალური სამიზნე პროგრამის „2014-2020 წლებში რუსეთის მეცნიერებისა და ტექნოლოგიების კომპლექსის განვითარების პრიორიტეტული სფეროების დამატება და განვითარება“ (გრანტი No. 14.586.21.0013) ფარგლებში. ).

    მიმომხილველები:

    ფედოსოვი ვ.პ., ტექნიკურ მეცნიერებათა დოქტორი, პროფესორი, დონის როსტოვის პივდენის ფედერალური უნივერსიტეტის უმაღლესი საინჟინრო-ტექნოლოგიური აკადემიის განყოფილების ხელმძღვანელი;

    მარჩუკი V.I., ტექნიკურ მეცნიერებათა დოქტორი, პროფესორი, რადიოელექტრონული და ელექტრო სისტემებისა და კომპლექსების კათედრის გამგე, ISOIP (DDTU-ს ფილიალი), შახტი.

    ბიბლიოგრაფიული საფოსტო გაგზავნა

    ვორონინი V.V. გამოსახულების ვიზუალურობის შეფასება მანქანების ინვენტარის საფუძველზე // მეცნიერებისა და განათლების აქტუალური პრობლემები. - 2014. - No6.;
    URL: http://science-education.ru/ru/article/view?id=16294 (გამოქვეყნების თარიღი: 02/01/2020). გვინდა წარმოგიდგინოთ ჟურნალები, რომლებიც ხელმისაწვდომია საბუნებისმეტყველო მეცნიერებათა აკადემიაში

    GoTo-ს საზაფხულო სკოლის შესასვლელი ტესტისთვის დავალების მომზადების პროცესში აღმოვაჩინეთ, რომ რუსულ ენას ჰქონდა პრაქტიკულად ყოველდღიური მკაფიო აღწერა ძირითადი რეიტინგის მეტრიკის შესახებ (დავალება შესრულდა სარეიტინგო დავალების მიმდებარედ - რეკომენდაციის ალგორითმის მოთხოვნით. y). ჩვენ E-Contenta-ში აქტიურად განვიხილავთ სხვადასხვა რეიტინგის მეტრიკას, ამიტომ გადავწყვიტეთ გამოვასწოროთ ეს უფრო გაუგებრობა ამ სტატიის დაწერით.

    რეიტინგი ყველგან ხდება: ვებ გვერდების დახარისხება მოცემული საძიებო ტერმინის მიხედვით, ახალი ამბების გვერდის პერსონალიზაცია, ვიდეოების, პროდუქტების, მუსიკის რეკომენდაცია... ერთი სიტყვით, თემა აქტუალურია. მოდით, განსაკუთრებული ყურადღება მივაქციოთ მანქანურ სწავლებას, რომელიც გულისხმობს რანჟირების სწავლას. იმისათვის, რომ აირჩიოთ ყველაზე შესაფერისი ალგორითმებისა და მიდგომების ფართო სპექტრიდან, თქვენ უნდა შეაფასოთ მათი მგრძნობელობა ყურადღებით. დამატებითი ინფორმაცია ყველაზე მოწინავე რეიტინგის მეტრიკის შესახებ ხელმისაწვდომია ქვემოთ.

    მოკლედ დეპარტამენტისა და რეიტინგის შესახებ

    Ranzhuvannya - რეკრუტირების დახარისხების განყოფილება ელემენტებიამ სამყაროდან შესაბამისობა. ყველაზე ხშირად შესაბამისობა აბსოლუტურად ყველას ესმის ობიექტი. მაგალითად, ინფორმაციის ძიების ამოცანაში, ობიექტი არის მოთხოვნა, ელემენტები არის ყველა დოკუმენტი (მათ გაგზავნილი) და რელევანტურობა არის დოკუმენტის შესაბამისობა მოთხოვნასთან, სარეკომენდაციო ამოცანაში, ობიექტი არის მომხმარებელი, ელემენტები არის ის, რომ სხვა რეკომენდირებული კონტენტი (პროდუქტები, ვიდეო, მუსიკა) და შესაბამისობა არის ის ხარისხი, რომლითაც მომხმარებელი სწრაფად (იყიდის/მოიწონებს/ნახულობს) ამ კონტენტს.

    ფორმალურად, ჩვენ გადავხედავთ N ობიექტს და M ელემენტებს. ობიექტისთვის ელემენტების რანჟირების რობოტული ალგორითმის შედეგია გამოსახულება, რომელიც კანის ელემენტს აძლევს მნიშვნელობას, რომელიც ახასიათებს ელემენტის შესაბამისობის დონეს ობიექტთან (რაც უფრო მაღალია მნიშვნელობა, მით უფრო აქტუალურია ობიექტი). ამ შემთხვევაში, მნიშვნელობების სიმრავლე განსაზღვრავს პერმუტაციას ელემენტების ელემენტების სიმრავლეზე (მნიშვნელოვანია, რომ არაპერსონალური ელემენტები დალაგებულია) მათი დახარისხების შედეგად მნიშვნელობების ცვლილებებით.

    რეიტინგის სიზუსტის შესაფასებლად საჭიროა მკაფიო „სტანდარტი“, რათა შეადაროთ შედეგები ალგორითმს. მოდით შევხედოთ სტანდარტული შესაბამისობის ფუნქციას, რომელიც ახასიათებს ელემენტების "შესაბამისად" შესაბამისობას მოცემული ობიექტისთვის (- ელემენტი იდეალურად შეეფერება, - სრულიად შეუსაბამო), ისევე როგორც თავად მის შესაბამის პერმუტაციას (ბოლოს და ბოლოს).

    მოცილების ორი ძირითადი მეთოდი არსებობს:
    1. ისტორიულ მონაცემებზე დაყრდნობით. მაგალითად, თითოეული კონტენტის რეკომენდაციისთვის შეგიძლიათ მიიღოთ მომხმარებლის ნახვები (მოწონებები, შესყიდვები) და მიანიჭოთ 1 () შესაბამისი ელემენტების ნახვებს, ხოლო 0 რეიტინგებს.
    2. ექსპერტიზის შეფასების საფუძველზე. მაგალითად, საძიებო ამოცანაში, საძიებო მოთხოვნისთვის, შეგიძლიათ მიიღოთ შემფასებელთა ჯგუფი, რათა ხელით შეაფასონ დოკუმენტების შესაბამისობა მოთხოვნასთან.

    Warto აღნიშნავს, რომ თუ არსებობს უკიდურესი მნიშვნელობები: 0 და 1, მაშინ პერმუტაცია არ უნდა განიხილებოდეს და განიხილებოდეს რაიმე შესაბამისი ელემენტების გარეშე, როგორიცაა .

    მეტამეტრიკის რეიტინგი- ეს ნიშნავს, რამდენად ამოიღო შესაბამისობის შეფასების ალგორითმმა შესაბამისი პერმუტაცია. მართალიაშესაბამისობის ღირებულებები. მოდით შევხედოთ ძირითად მეტრიკას.

    საშუალო საშუალო სიზუსტე

    საშუალო საშუალო სიზუსტე K-ზე ( [ელფოსტა დაცულია]) არის ერთ-ერთი ყველაზე ხშირად გამოყენებული რეიტინგის მეტრიკა. იმის გასაგებად, თუ როგორ მუშაობს ეს, დავიწყოთ "საფუძვლებით".

    შენიშვნა: "*სიზუსტის" მეტრიკა გამოიყენება ორობით ამოცანებში, სადაც ისინი იღებენ მხოლოდ ორ მნიშვნელობას: 0 და 1.

    სიზუსტე კ

    სიზუსტე K-ზე ( [ელფოსტა დაცულია]) - სიზუსტე K ელემენტებზე - ერთი ობიექტის რანგის ეფექტურობის ძირითადი მეტრიკა. ვთქვათ, ჩვენი რეიტინგის ალგორითმი აფასებს ელემენტის შესაბამისობას კანთან. შუა პირველი ელემენტების არჩევით ყველაზე დიდი ელემენტებით, შეგიძლიათ აირჩიოთ რამდენიმე შესაბამისი. თქვენ ასევე შეგიძლიათ გამოიყენოთ სიზუსტე K-ზე:

    პატივისცემა: ვგულისხმობთ ელემენტს, რომელიც მთავრდება პოზიციაში გადაწყობის შედეგად. ასე რომ, - ელემენტი ყველაზე დიდი - ელემენტი მეორესთან სიდიდის მიხედვით და ა.შ.

    საშუალო სიზუსტე კ

    სიზუსტე K-ზე - მეტრიკის გაგება და განხორციელება მარტივია, მაგრამ არის მნიშვნელოვანი ნაკლი - ის არ ასწორებს ელემენტების წესრიგს "ზედაში". ასე რომ, თუ ათი ელემენტიდან მხოლოდ ერთი გამოვიცნოთ, მაშინ არ აქვს მნიშვნელობა რა გზით მიდის: პირველი, თუ დარჩენილი, რომელი არ უნდა იყოს. თუმცა, აშკარაა, რომ პირველი ვარიანტი ბევრად უკეთესია.

    ეს ოდნავ ამცირებს რეიტინგის მეტრიკას საშუალო სიზუსტე K-ზე ( [ელფოსტა დაცულია]) უძველესი თანხების მსგავსად [ელფოსტა დაცულია] k ინდექსებისთვის 1-დან K-მდე მხოლოდ შესაბამისი ელემენტებისთვის, გაყოფილი K:

    ასე რომ, რადგან სამი ელემენტი იყო აქტუალური, გამოჩნდნენ მხოლოდ ისინი, ვინც ბოლო ადგილზე იყო, მაშინ თუ გამოიცნეს მხოლოდ ის, ვინც პირველ ადგილზე იყო, მაშინ და თუ ყველაფერი გამოიცნო, მაშინ .

    ახლა მე [ელფოსტა დაცულია]ჩვენ შეგვიძლია გავუმკლავდეთ მას.

    საშუალო საშუალო სიზუსტე კ

    საშუალო საშუალო სიზუსტე K-ზე ( [ელფოსტა დაცულია]) - ერთ-ერთი ყველაზე ხშირად გამოყენებული რეიტინგის მეტრიკა. უ [ელფოსტა დაცულია]і [ელფოსტა დაცულია]რეიტინგის სიზუსტე ფასდება შერჩეული ობიექტის მიხედვით (კორისტუვაჩი, ხუმრობის კითხვა). პრაქტიკაში, ობიექტები ანონიმურია: საქმე გვაქვს ასიათასობით მომხმარებელთან, მილიონობით ხმოვან შეკითხვასთან და ა.შ. იდეა [ელფოსტა დაცულია]იტყუება, რათა ისიამოვნოს [ელფოსტა დაცულია]კანის ობიექტისთვის და საშუალო:

    პატივისცემა: იდეა სრულიად ლოგიკურია, რადგან ჩვენ ვვარაუდობთ, რომ ყველა ადამიანი, ვისაც ეს სჭირდება, მაინც საჭიროა და მნიშვნელოვანია. თუ ეს ასე არ არის, მაშინ მარტივი საშუალოს ნაცვლად, შეგიძლიათ ვიკორიზაცია გამრავლებით [ელფოსტა დაცულია]კანის ობიექტი თქვენი „მნიშვნელობის“ ვაგას საფუძველზე.

    ნორმალიზებული დისკონტირებული კუმულატიური მოგება

    ნორმალიზებული დისკონტირებული კუმულაციური მოგება (nDCG)- რეიტინგის მეტრიკა კიდევ ერთხელ გაფართოვდა. როგორ გამოვვარდი [ელფოსტა დაცულია], მოდით გადავიდეთ საფუძვლებზე.

    კუმულაციური მოგება კ

    მოდით კვლავ შევხედოთ ერთ ობიექტს და ელემენტებს უდიდესი რიცხვით. კუმულაციური მომატება K-ზე ( [ელფოსტა დაცულია]) - ძირითადი რეიტინგის მეტრიკა, რომელიც მარტივი იდეაა: რა არის შესაბამისი ელემენტები ამ ზედა ნაწილში, შემდეგ უფრო მოკლედ:

    ამ მეტრიკას აქვს აშკარა ნაკლოვანებები: ის არ არის ნორმალიზებული და არ ასახავს შესაბამისი ელემენტების პოზიციას.

    ძვირფასო, რომ ადმინისტრაციაში [ელფოსტა დაცულია], [ელფოსტა დაცულია]თქვენ ასევე შეგიძლიათ გამოიყენოთ მითითების შესაბამისობის არაორობითი მნიშვნელობები.

    ფასდაკლებული კუმულატიური მოგება კ

    დისკონტირებული კუმულაციური მოგება K-ზე ( [ელფოსტა დაცულია]) - კუმულაციური მომატების მოდიფიკაცია K-ზე, რაც არის ელემენტების სწორი თანმიმდევრობა სიაში ელემენტის შესაბამისობის გამრავლებით მნიშვნელობაზე, რომელიც მსგავსია პოზიციის ნომრის საპირისპირო ლოგარითმისა:

    შენიშვნა: რადგან ის იღებს მხოლოდ 0 და 1 მნიშვნელობებს, მაშინ ფორმულა უფრო მარტივი გამოიყურება:

    სიბლანტის ლოგარითმი, როგორც დისკონტირების ფუნქცია, შეიძლება აიხსნას შემდეგი ინტუიციური ცნებებით: რეიტინგის უპირატესობის თვალსაზრისით, სიის ზედა პოზიციები გაცილებით ძლიერია, ვიდრე სიის ბოლოში. ასე რომ, ყველა ხმის ძრავში არის მთელი შეფერხება 1 და 11 პოზიციებს შორის (ასი შემთხვევაში მხოლოდ რამდენიმე შემთხვევაში შეიძლება ხმის ტიპის პირველ მხარეს უფრო შორს წახვიდეთ), ხოლო 101 და 111 პოზიციებს შორის არის სპეციალური. მიზეზი არაფერია - ცოტა ადამიანი აღწევს მათ. ეს სუბიექტური მნიშვნელობები სასწაულებრივად არის გამოხატული დამატებითი ლოგარითმის გამოყენებით:

    დისკონტირებული კუმულაციური მოგება უქმნის პრობლემას შესაბამისი ელემენტების პოზიციასთან დაკავშირებით და კიდევ უფრო ამძიმებს პრობლემას ნორმალიზაციის სიმრავლით: რადგან ის მერყეობს შორის, მაშინ მნიშვნელობა იზრდება არც თუ ისე მკაფიო საფუძველზე. მოგვარებულია სიძლიერის პრობლემა, მოგვარებულია მეტრიკა

    ნორმალიზებული დისკონტირებული კუმულაციური მოგება კ

    როგორ გამოიცანი სახელი, ნორმალიზებული დისკონტირებული კუმულაციური მოგება K-ზე ( [ელფოსტა დაცულია]) - სხვა არაფერი, როგორც ნორმალიზებული ვერსია [ელფოსტა დაცულია]:

    დე - ცე მაქსიმალური (I - იდეალური) მნიშვნელობა. ჩვენი ფრაგმენტები დასახლებულია, რაც მაშინ იძენს მნიშვნელობას.

    ამრიგად, სიაში ელემენტების პოზიცია მცირდება, რაც ზრდის მნიშვნელობებს დიაპაზონში 0-დან 1-მდე.

    პატივისცემა: ანალოგიისთვის [ელფოსტა დაცულია]შესაძლებელია ყველა ობიექტზე საშუალოდ შეფასება.

    საშუალო საპასუხო წოდება

    საშუალო საპასუხო რანგი (MRR)- კიდევ ერთი რეიტინგის მეტრიკა, რომელიც ხშირად განიხილება. იგი მოცემულია ამ ფორმულით:

    დე - საპასუხო წოდება ობიექტისთვის - ღირებულება, რომელიც ძალიან მარტივია თავისი არსით, რაც უფრო ძველია პირველი სწორად გამოცნობილი ელემენტის თირკმლის ჭრილობა.

    საშუალო საპასუხო რანგის ცვლილებები დიაპაზონში და ელემენტების პოზიციაში. სამწუხაროა მუშაობა მხოლოდ ერთი ელემენტისთვის - მკაფიოდ გადმოცემული, ნებისმიერ დროს პატივისცემის ჩაქრობის გარეშე.

    მეტრიკა, რომელიც დაფუძნებულია რანგის კორელაციაზე

    თქვენ ასევე შეგიძლიათ ნახოთ რეიტინგის მეტრიკა, რომელიც დაფუძნებულია ერთ-ერთ კოეფიციენტზე. რანგის კორელაცია. სტატისტიკაში, რანგის კორელაციის კოეფიციენტი არის კორელაციის კოეფიციენტი, რომელიც განსაზღვრავს არა თავად მნიშვნელობებს, არამედ მათ წოდებას (მიმდევრობას). მოდით შევხედოთ ორ ყველაზე ფართო რანგის კორელაციის კოეფიციენტს: სპირმენის და კენდელის კოეფიციენტებს.

    კენდელის რანგის კორელაციის კოეფიციენტი

    პირველი მათგანია კენდელის კორელაციის კოეფიციენტი, რომელიც ეყრდნობა ჩვენი მომხმარებლების მხარდაჭერას.
    (და არასასურველი) პერმუტაციების წყვილი - ელემენტების წყვილი, რომლებსაც პერმუტაციებმა ახალი (განსხვავებული) წესრიგი მისცეს:

    სპირმენის წოდების კორელაციის კოეფიციენტი

    მეორე არის სპირმენის კორელაციის რანგის კოეფიციენტი, რომელიც რეალურად იგივეა, რაც პირსონის კორელაცია, რანგის მნიშვნელობებზე დაყრდნობით. არსებობს მარტივი ფორმულა, რომელიც პირდაპირ გამოხატავს მის რიგებს:

    დე – პირსონის კორელაციის კოეფიციენტი.

    რანგის კორელაციაზე დაფუძნებულ მეტრებს შეიძლება უკვე ჰქონდეს ნაკლოვანებები: ისინი არ იძლევა გარანტიას ელემენტების პოზიციაზე (უფრო უარესი [ელფოსტა დაცულია], იმიტომ კორელაცია განიხილება ყველა ელემენტისთვის და არა უმაღლესი რანგის მქონე ელემენტებისთვის). ამიტომ, პრაქტიკაში, ძალიან იშვიათად ხდება გამარჯვებული.

    მეტრიკა, რომელიც დაფუძნებულია კასკადის ქცევის მოდელზე

    აქამდე არ გვატყუებდა ისინი, ვინც იცის, როგორ აფუჭებს მასზე მინიჭებულ ელემენტებს კორისტუვაჩი (მოგვიანებით გადავხედავთ ობიექტის შემდეგ განშტოებას - კორისტუვაჩს). ფაქტობრივად, ჩვენ ირიბად დავშალეთ ნაკერი, ისე, რომ კანის ელემენტი გამოიყურება დამოუკიდებელისხვა ელემენტების პერსპექტივიდან - ერთგვარი "რეალობა". ფაქტობრივად, ელემენტები ყველაზე ხშირად ჩანს კორისტუვაჩისთვის, ხოლო ისინი, ვისი კორისტუვაჩი უყურებს შემდეგ ელემენტს, იტყუებიან წინა ელემენტებით მისი კმაყოფილების გამო. მოდით შევხედოთ მაგალითს: საძიებო სისტემა იყენებს რანგის ალგორითმს, რომელიც დაფუძნებულია რამდენიმე დოკუმენტზე. თუ 1 და 2 პოზიციების დოკუმენტები უკიდურესად აქტუალურია, მაშინ ალბათობა იმისა, რომ კლიენტი ათვალიერებს დოკუმენტს მე-3 პოზიციაზე, მცირეა, რადგან პირველი ორით სრულიად კმაყოფილი დარჩებით.

    მომხმარებელთა ქცევის მსგავსი მოდელები, მათთვის მინიჭებული ელემენტების კლასიფიკაცია თანმიმდევრულად შეინიშნება და ელემენტის ხელახალი ხედვის ალბათობა დამოკიდებულია წინას შესაბამისობაზე. კასკადური.

    მოსალოდნელია საპასუხო წოდება

    მოსალოდნელი საპასუხო წოდება (ERR)- ეფექტურობის მეტრიკის რანჟირების მაგალითი კასკადის მოდელზე დაყრდნობით. იგი მოცემულია ამ ფორმულით:

    წოდება ეხება დაცემის თანმიმდევრობას. ამ მეტრიკის ყველაზე მნიშვნელოვანი მეტრიკა მისი სანდოობაა. როდესაც ისინი განვითარდებიან, გამოიყენება კასკადის მოდელი:

    დე - დარწმუნებულია, რომ კორისტუვაჩი წოდების ობიექტით დაკმაყოფილდება. ღირებულებები გამოითვლება ღირებულების საფუძველზე. ასე რომ, რადგან პრობლემა გვაქვს, შეგვიძლია შევხედოთ მარტივ ვარიანტს:

    რომელიც შეიძლება წაიკითხოთ როგორც: მითითება იმ ელემენტის შესაბამისობაზე, რომელიც ჩამოთვლილია პოზიციაზე მაგალითად, მოდით შევხედოთ ბრაუნის თაიგულს