Bilgisayar bilimlerinde, modellerin maliyetini değerlendirme ve çeşitli algoritmaları dengeleme yöntemi, bir veri bilimcisinin çalışmasının ayrılmaz bir parçası olan seçim ve analiz gibi ölçümlere dayanır.

Bu makalede, belirli sınıflandırmalardaki çeşitli doğruluk kriterlerine bakacağız, bir metrik seçerken neyin önemli olduğunu ve neyin önemli olmayabileceğini tartışacağız.

Sınıflandırmaya yönelik ölçümler

Temel işlevleri göstermek sklearn Daha sonra ölçümleri ayarlayacağız ve ilk istatistik kursunda tanıştığımız telekom operatörü müşteri sayısına göre veri setimizi analiz edeceğiz.

Vazgeçilmez olarak gerekli kütüphaneler ve verilere bağlı olarak

Pandaları pd olarak içe aktarın matplotlib.pyplot'u lot z olarak içe aktarın matplotlib.pylab rc'yi içe aktarın, seaborn'u sns z skelnaya olarak içe aktarın. z sklearn.metrics import sensitive_recall_curve, class_report z sklearn.model_selection import train_test_split df = pd.read_csv("../../data/telecom_churn.csv")

Df.kafa(5)

Verileri yeniden işleme

# İkili sütunların eşlenmesi # ve kukla kodlu personel (basitlik açısından ahşap modeller için bunu yapmamak daha iyidir) d = ("Evet": 1, "Hayır": 0) df["Uluslararası plan"] = df [" Uluslararası plan"].map(d) df["Sesli posta planı"] = df["Sesli posta planı"].map(d) df["Churn"] = df["Churn"].astype(" int64" ) le = LabelEncoder() df["Durum"] = le.fit_transform(df["Durum"]) ohe = OneHotEncoder(sparse=False) encoded_state = ohe.fit_transform(df["Durum"].values.reshape (- 1, 1)) tmp = pd.

Doğruluk, kesinlik ve geri çağırma

Metriklerin kendilerine geçmeden önce, sınıflandırma terimlerinde bu metrikleri açıklamaya yönelik önemli bir kavramı tanıtmak gerekir. karışıklık matrisi(affetme matrisi).
İki sınıfımız ve bir cilt nesnesinin hassasiyetini sınıflardan birine aktaran bir algoritmamız olduğunu varsayalım, o zaman sınıflandırma matrisi şu şekilde görünecektir:

Burada nesne üzerindeki algoritmaya bir referans ve nesne üzerindeki sınıfa bir referans etiketi verilmiştir.
Dolayısıyla iki tür sınıflandırma vardır: Yanlış Negatif (FN) ve Yanlış Pozitif (FP).

Navchannya algoritması ve sonraki fayda matrisi

X = df.drop("Churn", axis=1) y = df["Churn"] # Örneği eğitim ve test olarak bölün, tüm metrikler test veri kümesinde değerlendirilir X_train, X_test, y_train, y_test = train_test_split(X , y , stratify=y, test_size=0.33, random_state=42) # Rastgele lojistik regresyonla başlayalım lr = LogisticRegression(random_state=42) lr.fit(X_train, y_train) # Matrisin hız fonksiyonu , normalize=False , title=" Karışıklık matrisi", cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation="nearest", cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype("float") / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print("Confusion matrix, without normalization") print(cm) thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape), range(cm.shape)): plt.text(j, i, cm, horizontalalignment="center", color="white" if cm > thresh else "black") plt.tight_layout() plt.ylabel("True label") plt.xlabel("Predicted label") font = {"size" : 15} plt.rc("font", **font) cnf_matrix = confusion_matrix(y_test, lr.predict(X_test)) plt.figure(figsize=(10, 8)) plot_confusion_matrix(cnf_matrix, classes=["Non-churned", "Churned"], title="Karışıklık matrisi") plt.savefig("conf_matrix.png") plt.show()!}!}

Kesinlik

Sezgisel olarak mantıklı, açık ve belki de tartışmalı olmayan bir ölçüm doğruluktur; yani algoritmaya verilen doğru yanıtlardan bazıları:

Bu ölçüm eşit olmayan sınıfların olduğu problemlerde kullanışlıdır ve pratikte gösterilmesi kolaydır.

Posta spam filtresinin çalışmasını değerlendirmek istememiz mümkündür. Sınıflandırıcımızın 90'ını doğru hesapladığı (Doğru Negatif = 90, Yanlış Pozitif = 10) 100 spam olmayan listemiz ve sınıflandırıcımızın da 5'ini doğru hesapladığı (Doğru Pozitif = 5, Yanlış Negatif =) 10 spam listemiz var. 5).
Todi doğruluğu:

Ancak, tüm yaprakları spam olmayan olarak aktardığımız için doğruluk arayabiliriz:

Üstelik modelimizin kesinlikle hiçbir aktarım gücü yok, bu yüzden başlangıçta yaprakları spam olarak tanımlamak istedik. Bu, tüm sınıflara yönelik temel bir ölçümden sınıfların sıralamasına ilişkin diğer göstergelere geçmemize yardımcı olacaktır.

Hassasiyet, geri çağırma ve F dünyası

Robotun verimliliğini değerlendirmek için, hassaslık (doğruluk) ve geri çağırma (geri çağırma) ölçümlerini doğrudan cilt sınıfı algoritmasına dahil edeceğiz.

Hassasiyet, sınıflandırıcı tarafından pozitif olarak adlandırılan ve dolayısıyla etkili bir şekilde pozitif olarak adlandırılan nesnelerin kısmı olarak yorumlanabilir ve geri çağırma, tüm pozitif sınıf nesnelerinden pozitif sınıf nesnelerinin hangi kısmının algoritmayı bildiğini gösterir.

Hassasiyetin getirilmesi tüm nesneleri tek bir sınıfa yazmamıza izin vermez, dolayısıyla bu durumda Yanlış Pozitif'in büyüyen değerini ortadan kaldırırız. Recall, algoritmanın zaman zaman bu sınıfı tanımlama yeteneğini, kesinlik ise bu sınıfı diğer sınıflardan ayırt etme yeteneğini gösterir.

Daha önce de söylediğimiz gibi iki tür sınıflandırma vardır: Yanlış Pozitif ve Yanlış Negatif. İstatistiklere göre birinci tür iyiliklere 1. tür iyilik, diğerine ise 2. tür iyilik denir. Bizim görevimiz, giden aboneye birinci sınıf bir iyilik sağlamaktır, çünkü boş hipotezimiz, kimsenin aboneler için gitmediği yönündedir ve bu hipotezi bir kenara atıyoruz. Görünüşe göre farklı bir merhamet, abonenin gittiği yerden “geçmesi” ve sıfır hipotezini kabul etmenin merhameti olacaktır.

Kesinlik ve hatırlama, sınıfların sınıflandırılması ve dolayısıyla dengesiz seçimlerin zihinlerinin sorumluluğu nedeniyle doğruluk kategorisinde yer almaz.
Çoğu zaman gerçek uygulamada bu iki ölçüt arasındaki (yönetici için) optimal dengeyi bilmek gerekir. Klasik popo müşterileri desteklemek için tasarlanmıştır.
Konuşamayacağımız çok açık herkes satış noktalarına giden müşteriler sadece Eski. Müşterileri çekmek için bir strateji ve kaynak belirledikten sonra, hassasiyet ve geri çağırmayı kullanarak gerekli eşikleri seçebiliriz. Örneğin, kaynakları çağrı merkeziyle paylaştıkları sürece yüksek kârlı müşterilere veya sadakat düzeyi yüksek olan müşterilere odaklanabilirsiniz.

Algoritmanın hiperparametrelerini optimize ederken (örneğin, sitede arama yaparken) göz önünde bulundurun Izgara Arama CV'si) kısaltılmış ve test örneğinde görülebilen bir metrik test ediliyor.
Parlaklık kriterlerinin bir araya getirilmesinde kesinliği ve hatırlamayı birleştirmenin birkaç farklı yolu vardır. F-ölçüsü (helal formda) - orta harmonik hassasiyet ve hatırlama:

Bu durumda, metrikteki kesinlik değeri dikkate alınır ve bu durumda ortalama harmoniktir (çarpanı 2 ile, dolayısıyla kesinlik = 1 ve geri çağırma = 1 anne durumunda)
F-ölçüsü, hatırlama ve kesinlik bire eşit olduğunda maksimuma ulaşır ve argümanlardan biri sıfıra yakın olduğunda sıfıra yakındır.
sklearn'in _metrics.classification manuel işlevi vardır rapor her sınıf için geri çağırma, hassasiyet ve F girişinin yanı sıra her sınıfın kopya sayısını da döndürür.

Rapor = class_report(y_test, lr.predict(X_test), target_names=["Churned olmayan", "Churned"]) print(rapor)

Burada, gerçek uygulamada geçerli olan dengesiz sınıflarla karşılaşıldığında, sınıfların tutarlılığını sağlamak için genellikle veri kümesinde bireysel değişiklik yapma tekniğine başvurmanın gerekli olduğu belirtilmelidir. Çok fazla var ve üzerinde durmayacağız, bazı yöntemler öğrenebilir ve işinize uygun olanı seçebilirsiniz.

AUC-ROC ve AUC-PR

Konuşma çıktısını algoritmaya (genellikle SVM olarak da bilinen sınıfa ait olma olasılığı) ikili etikete dönüştürürken, 0'ın 1 olduğu herhangi bir eşiği seçmelisiniz. Doğal ve yakın kişilere aynı süre verilir 0,5'ten büyük olan g, ancak örneğin sınıfların dengesini tahmin ederken bir daha asla optimal görünmüyor.

Modeli belirli bir eşikle sınırlandırılmadan bir bütün olarak değerlendirmenin bir yolu AUC-ROC (veya ROC AUC) - alan ( A gerçek sen nder C urve) af eğrisinin altında ( R alıcı Ö perating C karakteristik eğri). Bu eğri, Gerçek Pozitif Oran (TPR) ve Yanlış Pozitif Oran (FPR) koordinatlarında (0,0) ile (1,1) arasında bir çizgidir:

TPR bizim tarafımızdan kesinlikle bilinmektedir ve FPR, algoritmanın negatif sınıf nesnelerinin hangi kısmının hatalı aktarıldığını gösterir. İdeal olarak, eğer sınıflandırıcı çalışıyorsa (FPR = 0, TPR = 1), eğrinin altındaki alanı bire eşit alırız; Aksi takdirde, sınıflandırıcı otomatik olarak sınıfların gücünü gösterirse, sınıflandırıcı yalnızca TP ve FP sayısını gördüğü sürece AUC-ROC 0,5'e düşecektir.
Grafikteki dış görünüm noktası belirli bir eşiğin seçimini gösterir. Bu durumda eğrinin altındaki alan algoritmanın keskinliğini gösterir (daha büyük, daha iyidir), ayrıca eğrinin dikliği de önemlidir - TPR'yi en üst düzeye çıkarmak, FPR'yi en aza indirmek istiyoruz ve bu nedenle eğrimiz ideal olarak noktaları bükebilir (0,1).

ROC eğrileri oluşturma kodu

sns.set(font_scale=1.5) sns.set_color_codes("muted") plt.figure(figsize=(10, 8)) fpr, tpr, eşikler = roc_curve(y_test, lr.predict_proba(X_test)[:,1], pos_label=1) lw = 2 plt.plot(fpr, tpr, lw=lw, label="ROC eğrisi") plt.plot(, ) plt.xlim() plt.ylim() plt.xlabel("Yanlış Pozitif Oranı) ") plt.ylabel("Gerçek Pozitif Oran") plt.title("ROC eğrisi") plt.savefig("ROC.png") plt.show()

AUC-ROC kriteri dengesiz sınıflara karşı dayanıklıdır (spoiler: ne yazık ki her şey o kadar basit değildir) ve pozitif bir nesnenin sınıflandırıcı tarafından daha üst sıralarda yer alacağının kesinliği olarak yorumlanabilir (bu, sınıflandırıcının ironisinin daha yüksek olduğu anlamına gelir). ancak pozitif), alt vipadkovo obrany negatif nesne .

Şimdi soruna bakalım: 1 milyon belge arasından 100 ilgili belgeyi seçmemiz gerekiyor. İki algoritma geliştirdik:

• Algoritma 1 90'ı ilgili olmak üzere 100 belge ortaya çıkıyor. Böyle bir şekilde

• Algoritma 2 90'ı ilgili olmak üzere 2000 belge ortaya çıkıyor. Böyle bir şekilde

Bunun yerine, her şey için, rakibinin yaprak bitine karşı çok az Yanlış Pozitif gösteren ilk algoritmayı seçerdik. Bu iki algoritma arasında Yanlış Pozitif Oranı açısından herhangi bir fark var mı? Sonunda küçük – yalnızca 0,0019. Bunun nedeni, AUC-ROC'nin Yanlış Pozitif kısmını Gerçek Negatif kısmına indirgemesidir ve diğer (daha büyük) sınıfın bizim için çok önemli olmadığı bağlamda, tamamen yeterli bir resim veremeyebiliriz. algoritmaların evrimi.

Konumu düzeltmek için tam ve doğru bir şekilde çevirelim:

• Algoritma 1

• Algoritma 2

İki algoritma arasında zaten gözle görülür bir fark var – tam olarak 0,855!

Hassasiyet ve geri çağırma aynı zamanda bir eğriyi yönlendirmek ve AUC-ROC'ye benzer şekilde onun altındaki alanı bulmak için de kullanılabilir.

Burada küçük veri setlerinde PR eğrisinin altındaki alanın iyimser olması gerekebileceği, dolayısıyla yamuk yöntemi kullanılarak hesaplandığı, aksi takdirde bu tür verilerin hesaplanmasının yeterli olduğu belirtilebilir. AUC-ROC ve AUC-PR arasındaki etkileşimle ilgili ayrıntılar için buraya gidebilirsiniz.

Lojistik Kayıp

Giderlerin lojistik işlevi açıkça şu şekilde tanımlanır:

Burada nesne üzerindeki algoritmaya uygunluk, nesne üzerindeki sınıfa referans etiketi ve seçimin boyutu yer almaktadır.

Maliyetlerin lojistik fonksiyonunun matematiksel yorumuna ilişkin bir rapor, doğrusal modeller hakkındaki yazının bir parçası olarak zaten yazılmıştı.
Bu ölçüm iş dünyası liderleri arasında nadiren görülür, ancak daha çok kaggle'daki yöneticiler arasında görülür.
Sezgisel olarak, log kaybı minimizasyonunun yanlış transferleri cezalandırma pahasına doğruluğu en üst düzeye çıkarmayı amaçladığını anlayabilirsiniz. Bununla birlikte, logloss'un, yanlış tipte bir sınıflandırıcı eklenmesi nedeniyle sonuçta ağır bir cezaya yol açacağını unutmamak gerekir.

Popoya bir göz atalım:

Def logloss_crutch(y_true, y_pred, eps=1e-15): return - (y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)) print("Belirtilmemiş sınıflandırma için loggloss %f " % logloss_crutch(1, 0.5)) >> Nitelenmemiş sınıflandırma için Logloss 0.693147 print("Geçerli sınıflandırma ve gerçek tür %f için Logloss" % logloss_crutch(1, 0.9)) >> Geçerli sınıflandırma için Logloss Bu doğru sürümdür"6 yazdır. Yanlış sınıflandırma ve yanlış tür ile logloss %f" % logloss_crutch(1, 0.1)) >> Yanlış sınıflandırma ve yanlış tür ile logloss 2.302585

Yanlış tip ve yanlış sınıflandırma ile logloss'un ne kadar dramatik bir şekilde büyüdüğü dikkat çekicidir!
Peki, bir nesnenin merhameti küresel seçimin derinleşmesinin kaynağını tarihlendirebilir. Bu tür nesneler genellikle gizlidir, bu nedenle filtrelemeyi ve etrafa bakmayı unutmanız gerekir.
Bir logloss grafiği çizdiğinizde her şey yerli yerine oturur:

Algoritmanın yanıtı sıfıra ne kadar yakınsa, temel doğruluk = 1 ise, azalmanın değeri o kadar büyük ve eğrinin büyümesi de o kadar dik olur.

Güya:

• Çok sınıflı sınıflandırma durumunda her sınıfın metriklerini dikkatle takip etmek ve karar mantığına bağlı kalmak gerekir. zavdannya metrik optimizasyonu değil
• Eşit olmayan sınıflar durumunda, sınıflandırma düzeyini doğru şekilde gösteren bir ölçüm geliştirmek için sınıflar arasında bir denge seçmek gerekir.
Bu makalenin hazırlanmasındaki yardımları için Mephistopheies ve Madrugado'ya teşekkür ederiz.

Görünüm listesinin ortasındaki öğelerde. Kısmi sıra, dış öğeye ilişkin derecelendirmenin gösterilme şekline göre belirlenir (örneğin, "ilgili" veya "ilgili değil"; her ikisinden bir varyasyon veya daha fazlası mümkündür). Meta sıralama modelleri, yeni verilerin ilk seçiminde sıralama yöntemini giderek daha da yakınlaştıran (şarkı anlamında) en kısa modellerdir.

Sıralamanın başlangıcı, 2000'li yıllarda bilgi araştırması alanına ilginin artması nedeniyle başlayan ve sıralama görevinden önce makine öğrenimi yöntemlerinin durgunluğuna kadar hızla gelişen, hala genç bir araştırma alanıdır.

Ansiklopedik YouTube

• 1 / 5

  Sıralama modelinin ve çalışmasının başlangıcında, belge-ifade çifti, belgenin gücünü karakterize eden sıralama işaretlerine (sıralama faktörleri veya sinyaller olarak da adlandırılır) sahip sayısal bir vektöre çevrilir ve birbirlerine uygulanır. Bu tür işaretler üç gruba ayrılabilir:

  Aşağıda yaygın olarak kullanılan LETOR veri setinde kullanılan sıralama işaretlerinin birkaç örneği verilmiştir:

  • TF, TF-IDF, BM25 girişlerinin değerleri ve ana model, belgenin farklı alanlarının (başlık, URL, gövde metni, gönderilen metin) beslenmesinden sorumludur;
  • Dovzhini ve IDF-sumi belge bölgeleri;
  • Belge sıralamaları, PageRank ve HITS gibi sıralama algoritmalarının çeşitli varyantları tarafından belirlenir.

  Kalite sıralamasının metrikleri

  Duyusal değerlendirmelere dayalı seçim için sıralama algoritmalarının etkinliğini değerlendirmek ve değerlendirmek için kullanılabilecek bir dizi ölçüm vardır. Çoğu zaman sıralanan modelin parametreleri, bu metriklerden birinin değerlerini maksimuma çıkaracak şekilde ayarlanmalıdır.

  Metrikleri ekleyin:

  Algoritmaların sınıflandırılması

  Microsoft Research Asia'dan Tai-Yan Liu, "Learning to Rank for Information Retrieval" (Bilgi Erişimi için Sıralamayı Öğrenme) makalesinde ve tematik konferanslardaki sunumlarında, gelişmiş sıralama için o zamanlar mevcut olan yöntemleri analiz etti ve bunların sınıflandırmasını üç yaklaşıma dayandırdı: galip gelen girdi temsilinin kimliği . Cezanın işlevleri göz önüne alındığında:

  Noktadan noktaya yaklaşım

  Notlar

  1. Tie-Yan Liu (2009), Bilgiye Erişim İçin Sıralamayı Öğrenmek, Bilgi Erişiminde Temeller ve Eğilimler: Cilt. 3: Sayı 3, s. 225-331, ISBN 978-1-60198-244-5, DOI 10.1561/1500000016. T. Liu'nun WWW 2009 rock konferansındaki konuşmasından mevcut slaytlar.

  Telekom operatörünün müşteri verilerine göre.

  
  

  Vazgeçilmez olarak gerekli kütüphaneler ve verilere bağlı olarak

  pandaları pd olarak içe aktar matplotlib.pyplot'u matplotlib.pylab'dan plt olarak içe aktar rc'yi içe aktar, rc'yi içe aktar, seaborn'u sklearn.preprocessing'den sns olarak içe aktar z sklearn.metrics import sensitive_recall_curve, class_report z sklearn.model_selection import train_test_split df = pd.read_csv("../../data/telecom_churn.csv")

  
  df.head(5)

  Verileri yeniden işleme

  # İkili sütunların eşlenmesi # ve kukla kodlu personel (basitlik açısından ahşap modeller için bunu yapmamak daha iyidir) d = ("Evet": 1, "Hayır": 0) df["Uluslararası plan"] = df [" Uluslararası plan"].map(d) df["Sesli posta planı"] = df["Sesli posta planı"].map(d) df["Churn"] = df["Churn"].astype(" int64" ) le = LabelEncoder() df["Durum"] = le.fit_transform(df["Durum"]) ohe = OneHotEncoder(sparse=False) encoded_state = ohe.fit_transform(df["Durum"].values.reshape (- 1, 1)) tmp = pd.

  Doğruluk, kesinlik ve geri çağırma

  Metriklerin kendilerine geçmeden önce, sınıflandırma terimlerinde bu metrikleri açıklamaya yönelik önemli bir kavramı tanıtmak gerekir. karışıklık matrisi(affetme matrisi).
  İki sınıfımız ve bir cilt nesnesinin hassasiyetini sınıflardan birine aktaran bir algoritmamız olduğunu varsayalım, o zaman sınıflandırma matrisi şu şekilde görünecektir:

  
  

  	Gerçek Pozitif (TP)	Yanlış Pozitif (FP)
  	Yanlış Negatif (FN)	Gerçek Negatif (TN)

  
  

  Burada nesne üzerindeki algoritmaya bir referans ve nesne üzerindeki sınıfa bir referans etiketi verilmiştir.
  Dolayısıyla iki tür sınıflandırma vardır: Yanlış Negatif (FN) ve Yanlış Pozitif (FP).

  
  

  Navchannya algoritması ve sonraki fayda matrisi

  X = df.drop("Churn", axis=1) y = df["Churn"] # Örneği eğitim ve test olarak bölün, tüm metrikler test veri kümesinde değerlendirilir X_train, X_test, y_train, y_test = train_test_split(X , y , stratify=y, test_size=0.33, random_state=42) # Rastgele lojistik regresyonla başlayalım lr = LogisticRegression(random_state=42) lr.fit(X_train, y_train) # Matrisin hız fonksiyonu , normalize=False , title=" Karışıklık matrisi", cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation="nearest", cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype("float") / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print("Confusion matrix, without normalization") print(cm) thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape), range(cm.shape)): plt.text(j, i, cm, horizontalalignment="center", color="white" if cm > thresh else "black") plt.tight_layout() plt.ylabel("True label") plt.xlabel("Predicted label") font = {"size" : 15} plt.rc("font", **font) cnf_matrix = confusion_matrix(y_test, lr.predict(X_test)) plt.figure(figsize=(10, 8)) plot_confusion_matrix(cnf_matrix, classes=["Non-churned", "Churned"], title="Karışıklık matrisi") plt.savefig("conf_matrix.png") plt.show()!}!}

  
  

  Kesinlik

  Sezgisel olarak mantıklı, açık ve belki de tartışmalı olmayan bir ölçüm doğruluktur; yani algoritmaya verilen doğru yanıtlardan bazıları:

  
  
  

  Bu metrik eşit olmayan sınıflara sahip uygulamalarda kullanışlıdır ve pratikte gösterilmesi kolaydır.

  
  

  Posta spam filtresinin çalışmasını değerlendirmek istememiz mümkündür. Sınıflandırıcımızın 90'ını doğru hesapladığı (Doğru Negatif = 90, Yanlış Pozitif = 10) 100 spam olmayan listemiz ve sınıflandırıcımızın da 5'ini doğru hesapladığı (Doğru Pozitif = 5, Yanlış Negatif) 10 spam listemiz var. = 5) .
  Todi doğruluğu:

  
  
  

  Ancak, tüm yaprakları spam olmayan olarak aktardığımız için doğruluk arayabiliriz:

  
  
  

  Üstelik başlangıçta yaprakları spam olarak tanımlamak istediğimiz için modelimizin kesinlikle hiçbir aktarım gücü yok. Bu, tüm sınıflara yönelik temel bir ölçümden sınıfların sıralamasına ilişkin diğer göstergelere geçmemize yardımcı olacaktır.

  Hassasiyet, geri çağırma ve F dünyası

  Robotun verimliliğini değerlendirmek için, hassaslık (doğruluk) ve geri çağırma (geri çağırma) ölçümlerini doğrudan cilt sınıfı algoritmasına dahil edeceğiz.

  
  
  
  

  Hassasiyet, sınıflandırıcı tarafından pozitif olarak adlandırılan ve dolayısıyla etkili bir şekilde pozitif olarak adlandırılan nesnelerin kısmı olarak yorumlanabilir ve geri çağırma, tüm pozitif sınıf nesnelerinden pozitif sınıf nesnelerinin hangi kısmının algoritmayı bildiğini gösterir.

  
  
  

  Hassasiyetin getirilmesi tüm nesneleri tek bir sınıfa yazmamıza izin vermez, dolayısıyla bu durumda Yanlış Pozitif'in büyüyen değerini ortadan kaldırırız. Recall, algoritmanın zaman zaman bu sınıfı tanımlama yeteneğini, kesinlik ise bu sınıfı diğer sınıflardan ayırt etme yeteneğini gösterir.

  
  

  Daha önce de söylediğimiz gibi iki tür sınıflandırma vardır: Yanlış Pozitif ve Yanlış Negatif. İstatistiklere göre birinci tür iyiliklere 1. tür iyilik, diğerine ise 2. tür iyilik denir. Bizim görevimiz, giden aboneye birinci sınıf bir iyilik sağlamaktır, çünkü boş hipotezimiz, kimsenin aboneler için gitmediği yönündedir ve bu hipotezi bir kenara atıyoruz. Görünüşe göre farklı bir merhamet, abonenin gittiği yerden “geçmesi” ve sıfır hipotezini kabul etmenin merhameti olacaktır.

  
  

  Kesinlik ve hatırlama, sınıfların sınıflandırılması ve dolayısıyla dengesiz seçimlerin zihinlerinin sorumluluğu nedeniyle doğruluk kategorisinde yer almaz.
  Çoğu zaman gerçek uygulamada bu iki ölçüt arasındaki (yönetici için) optimal dengeyi bilmek gerekir. Klasik popo müşterileri desteklemek için tasarlanmıştır.
  Konuşamayacağımız çok açık herkes satış noktalarına giden müşteriler sadece Eski. Ayrıca, müşterileri çekmek için bir strateji ve kaynak belirledikten sonra, hassasiyet ve hatırlamayı kullanarak gerekli eşikleri seçebiliriz. Örneğin, kaynakları çağrı merkeziyle paylaştıkları sürece yüksek kârlı müşterilere veya sadakat düzeyi yüksek olan müşterilere odaklanabilirsiniz.

  
  

  Algoritmanın hiperparametrelerini optimize ederken (örneğin, sitede arama yaparken) göz önünde bulundurun Izgara Arama CV'si) kısaltılmış ve test örneğinde görülebilen bir metrik test ediliyor.
  Parlaklık kriterlerinin bir araya getirilmesinde kesinliği ve hatırlamayı birleştirmenin birkaç farklı yolu vardır. F-ölçüsü (helal formda) - orta harmonik hassasiyet ve hatırlama:

  
  
  

  Bu durumda, metrikteki kesinlik değeri dikkate alınır ve bu durumda ortalama harmoniktir (çarpanı 2 ile, dolayısıyla kesinlik = 1 ve geri çağırma = 1 anne durumunda)
  F-ölçüsü, hatırlama ve kesinlik bire eşit olduğunda maksimuma ulaşır ve argümanlardan biri sıfıra yakın olduğunda sıfıra yakındır.
  sklearn'in _metrics.classification manuel işlevi vardır rapor, dış görünüm sınıfları için hatırlama, hassasiyet ve F yaklaşımının yanı sıra dış görünüm sınıfının kopya sayısını da döndürür.

  
  rapor = class_report(y_test, lr.predict(X_test), target_names=["Churned olmayan", "Churned"]) print(rapor)
  

  sınıf	kesinlik	hatırlamak	f1 puanı	Destek
  Döndürülmemiş	0.88	0.97	0.93	941
  çalkalanmış	0.60	0.25	0.35	159
  ortalama/toplam	0.84	0.87	0.84	1100

  
  

  Burada, gerçek uygulamada geçerli olan dengesiz sınıflarla karşılaşıldığında, sınıfların tutarlılığını sağlamak için genellikle veri kümesinde bireysel değişiklik yapma tekniğine başvurmanın gerekli olduğu belirtilmelidir. Birçoğu var ve biz bunların üzerinde durmayacağız, bazı yöntemlere hayran olabilir ve görevinize uygun olanı seçebilirsiniz.

  AUC-ROC ve AUC-PR

  Konuşma çıktısını algoritmaya (genellikle SVM olarak da bilinen sınıfa ait olma olasılığı) ikili etikete dönüştürürken, 0'ın 1 olduğu herhangi bir eşiği seçmelisiniz. Doğal ve yakın kişilere aynı süre verilir 0,5'ten büyük olan g, ancak örneğin sınıfların dengesini tahmin ederken bir daha asla optimal görünmüyor.

  
  

  Modeli belirli bir eşikle sınırlandırılmadan bir bütün olarak değerlendirmenin bir yolu AUC-ROC (veya ROC AUC) - alan ( A gerçek sen nder C urve) af eğrisinin altında ( R alıcı Ö perating C karakteristik eğri). Bu eğri, Gerçek Pozitif Oran (TPR) ve Yanlış Pozitif Oran (FPR) koordinatlarında (0,0) ile (1,1) arasında bir çizgidir:

  
  
  
  

  TPR bizim tarafımızdan kesinlikle bilinmektedir ve FPR, algoritmanın negatif sınıf nesnelerinin hangi kısmının hatalı aktarıldığını gösterir. İdeal olarak, eğer sınıflandırıcı çalışıyorsa (FPR = 0, TPR = 1), eğrinin altındaki alanı bire eşit alırız; Aksi takdirde, sınıflandırıcı otomatik olarak sınıfların gücünü gösterirse, sınıflandırıcı yalnızca TP ve FP sayısını gördüğü sürece AUC-ROC 0,5'e düşecektir.
  Grafikteki dış görünüm noktası belirli bir eşiğin seçimini gösterir. Bu durumda eğrinin altındaki alan algoritmanın keskinliğini gösterir (daha büyük, daha iyidir), ayrıca eğrinin dikliği de önemlidir - TPR'yi en üst düzeye çıkarmak, FPR'yi en aza indirmek istiyoruz ve bu nedenle eğrimiz ideal olarak noktaları bükebilir (0,1).

  
  

  ROC eğrileri oluşturma kodu

  sns.set(font_scale=1.5) sns.set_color_codes("muted") plt.figure(figsize=(10, 8)) fpr, tpr, eşikler = roc_curve(y_test, lr.predict_proba(X_test)[:,1], pos_label=1) lw = 2 plt.plot(fpr, tpr, lw=lw, label="ROC eğrisi") plt.plot(, ) plt.xlim() plt.ylim() plt.xlabel("Yanlış Pozitif Oranı) ") plt.ylabel("Gerçek Pozitif Oran") plt.title("ROC eğrisi") plt.savefig("ROC.png") plt.show()

  
  
  

  AUC-ROC kriteri dengesiz sınıflara karşı dayanıklıdır (spoiler: ne yazık ki her şey o kadar basit değildir) ve pozitif bir nesnenin sınıflandırıcı tarafından daha üst sıralarda yer alacağının kesinliği olarak yorumlanabilir (bu, sınıflandırıcının ironisinin daha yüksek olduğu anlamına gelir). ancak pozitif), alt vipadkovo obrany negatif nesne .

  
  

  Şimdi soruna bakalım: 1 milyon belge arasından 100 ilgili belgeyi seçmemiz gerekiyor. İki algoritma geliştirdik:

  • Algoritma 1 90'ı ilgili olmak üzere 100 belge ortaya çıkıyor. Böyle bir şekilde
  
  
  • Algoritma 2 90'ı ilgili olmak üzere 2000 belge ortaya çıkıyor. Böyle bir şekilde
  
  
  

  Bunun yerine, her şey için, rakibinin yaprak bitine karşı çok az Yanlış Pozitif gösteren ilk algoritmayı seçerdik. Bu iki algoritma arasında Yanlış Pozitif Oranı açısından herhangi bir fark var mı? Sonunda küçük – yalnızca 0,0019. Bunun nedeni, AUC-ROC'nin Yanlış Pozitif kısmını Gerçek Negatif kısmına indirgemesidir ve diğer (daha büyük) sınıfın bizim için çok önemli olmadığı bağlamda, tamamen yeterli bir resim veremeyebiliriz. algoritmaların evrimi.

  
  

  Konumu düzeltmek için tam ve doğru bir şekilde çevirelim:

  • Algoritma 1
  
  
  • Algoritma 2
  
  
  

  İki algoritma arasında zaten gözle görülür bir fark var – tam olarak 0,855!

  
  

  Hassasiyet ve geri çağırma aynı zamanda bir eğriyi yönlendirmek ve AUC-ROC'ye benzer şekilde onun altındaki alanı bulmak için de kullanılabilir.

  
  
  

  Burada küçük veri setlerinde PR eğrisinin altındaki alanın iyimser olması gerekebileceği, dolayısıyla yamuk yöntemi kullanılarak hesaplandığı, aksi takdirde bu tür verilerin hesaplanmasının yeterli olduğu belirtilebilir. AUC-ROC ve AUC-PR arasındaki etkileşimle ilgili ayrıntılar için buraya gidebilirsiniz.

  Lojistik Kayıp

  Giderlerin lojistik işlevi açıkça şu şekilde tanımlanır:

  
  
  

  burada - bu, nesne üzerindeki algoritmaya bir referanstır, - nesne üzerindeki sınıfa referans etiketi ve seçimin boyutudur.

  
  

  Maliyetlerin lojistik fonksiyonunun matematiksel yorumuna ilişkin bir rapor, doğrusal modeller hakkındaki yazının bir parçası olarak zaten yazılmıştı.
  Bu ölçüm iş dünyası liderleri arasında nadiren görülür, ancak daha çok kaggle'daki yöneticiler arasında görülür.
  Sezgisel olarak, log kaybı minimizasyonunun yanlış transferleri cezalandırma pahasına doğruluğu en üst düzeye çıkarmayı amaçladığını anlayabilirsiniz. Bununla birlikte, logloss'un, yanlış tipte bir sınıflandırıcı eklenmesi nedeniyle sonuçta ağır bir cezaya yol açacağını unutmamak gerekir.

  
  

  Popoya bir göz atalım:

  
  def logloss_crutch(y_true, y_pred, eps=1e-15): return - (y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)) print("Sınıflandırılmamışsa logloss %f " % logloss_crutch(1, 0.5)) >> Nitelenmemiş sınıflandırma için Logloss 0.693147 print("Geçerli sınıflandırma ve gerçek tip %f için Logloss" % logloss_crutch(1, 0.9)) >> Geçerli sınıflandırma için Logloss Bu doğru versiyondur"6 print . Aynı sınıflandırmaya ve yanlış türe sahip logloss %f" % logloss_crutch(1, 0.1)) >> Aynı sınıflandırmaya ve yanlış türe sahip logloss 2.302585
  

  Yanlış tip ve yanlış sınıflandırma ile logloss'un ne kadar dramatik bir şekilde büyüdüğü dikkat çekicidir!
  Peki, bir nesnenin merhameti küresel seçimin derinleşmesinin kaynağını tarihlendirebilir. Bu tür nesneler genellikle gizlidir, bu nedenle filtrelemeyi ve etrafa bakmayı unutmanız gerekir.
  Bir logloss grafiği çizdiğinizde her şey yerli yerine oturur:

  
  
  

  Temel doğruluk = 1 ile algoritmaya verilen yanıt sıfıra ne kadar yakınsa, düzeltmenin değeri o kadar büyük ve eğrinin büyümesi de o kadar dik olur.

  Güya:

  • Çok sınıflı sınıflandırma durumunda her sınıfın metriklerini dikkatle takip etmek ve karar mantığına bağlı kalmak gerekir. zavdannya metrik optimizasyonu değil
  • Eşit olmayan sınıflar durumunda, sınıflandırma düzeyini doğru şekilde gösteren bir ölçüm geliştirmek için sınıflar arasında bir denge seçmek gerekir.
  ve madrugado'ya makalenin hazırlanmasında yardımlarından dolayı teşekkür ederim.
  1

  Sonuçta görüntünün yeniden yapılandırılmasına çok fazla önem verilmektedir ve bu nedenle parlaklık tahmini, çeşitli görüntü yeniden yapılandırma yöntemlerinin geliştirilmesi için önemli bir görevdir. Çoğu durumda, yeniden yapılandırma yöntemleri, geniş alanları güncellerken ve piksel değerlerini değiştirirken doku ve yapı dağılımına yol açar. Çeşitli yaklaşımların uzman değerlendirmesine tabi olduğu, günün modernizasyonunun sonuçlarının objektif ve kapsamlı bir değerlendirmesi. Bu makale, insan gözünün farklı bir modelinden makine öğrenimine dayalı olarak bir görüntünün maliyetini tahmin etmek için yeni bir yaklaşım sunmaktadır; bu, görüntünün yerel alanlarının, görünümdeki birkaç parametrik bölümdeki tanımlayıcılar tarafından temsil edilebileceğini öne sürmektedir. Ayrıca destek vektör makinesi regresyon yöntemi, uzman değerlendirmesine bağlı olarak sıkıştırılmış güncellenmiş görüntü sayısını aktarmanıza olanak tanır. Robot, indüklenen yaklaşımdan elde edilen kemik kalitesi değerlendirmesinin, kemik kalitesinin subjektif değerlendirmesiyle ilişkili olduğunu gösterdi.

  makine öğrenme

  görsel parlaklık

  yeniden yapılanma

  obrobka görseli

  1. Gastaldo P. Machine, objektif görsel kalite değerlendirmesi için çözümler geliştiriyor / tüketici elektroniği için video işleme ve kalite ölçümleri üzerine 6. uluslararası çalıştay, VPQM. - Cilt. 12. – 2012.

  2. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, Akışkanlar dinamiği, görüntü ve video iç boyama/ Hawaii: Proc. IEEE Bilgisayarla Görme ve Örüntü Tanıma (CVPR). - 2001. - PP. 213–226.

  3. Criminisi A., Perez P., Toyama K. Örnek tabanlı görüntü boyama ile bölge doldurma ve nesne çıkarma / IEEE Trans. Görüntü Süreci. - 13 (9). – 2004. – PP. 28–34.

  4. Vijay M., Cheung, S.S. Göz izleme tabanlı algısal görüntü iç boyama kalite analizi/Görüntü İşleme (ICIP), 17. IEEE Uluslararası IEEE Konferansı. – 2010. – PP. 1109 – 1112.

  5. Ardis P.A., Singhal A. Görüntü içi boyama / SPIE Elektronik Görüntüleme için görsel belirginlik ölçümleri. Uluslararası Optik ve Fotonik Derneği. – 2009.

  6. Cheung S.S., Zhao J., Venkatesh V. Verimli nesne tabanlı video iç boyama / Görüntü İşleme, 2006 IEEE Uluslararası Konferansı. – 2006. – PP. 705-708.

  7. Peretyagin G.I. Alçıtaşı Gauss alanları/Autometriya ile tasvir edilecek konu. - No. 6. - 1984. - S. 42 - 48.

  8. Frantc V.A., Voroni V.V., Marchuk V.I., Sherstobitov A.I., Agaian S., Egiazarian K. Machine, objektif kalite değerlendirmesi için yaklaşımı kullanıyor/ Proc. SPIE 9120, Mobil Multimedya/Görüntü İşleme, Güvenlik ve Uygulamalar. – Cilt. 91200S. - 2014.

  9. Paul A., Singhal A. ve. Brown C. İç boyama kalite değerlendirmesi / Elektronik Görüntüleme Dergisi. – Cilt. 19. - 2010. - PP. 011002-011002.

  Objektif parlaklık ölçümleri görüntü işleme sistemlerinin önemli bir parçasıdır. Görüntü parlaklığını değerlendirmeye yönelik önemli objektif ölçümlerden biri, görüntü işleme algoritmalarının ve sistemlerinin etkinliğinin değerlendirilmesidir. Bu konuyla ilgili çok sayıda yayın olmasına rağmen, yeniden oluşturulan görüntülerin kalitesini değerlendirme görevi zayıf görülmektedir. Aynı zamanda görüntünün harcanan alanlarının yenilenmesi, kalan saate duyulan saygıyı da önemli ölçüde ortadan kaldırdı.

  Görüntü kalitesini tahmin etmek için iki olası yaklaşım vardır: ek matematiksel yöntemler kullanan kolkisna değerlendirmesi (ortalama kare düzeltme, Lp-norm, insan görsel sisteminin görüntüsünün özelliklerini sağlamak için gidin) ve uzman değerlendirmelerine dayanan öznel değerlendirmelerdir.

  Diğer çeşitli yaklaşımlara dayanan kemik yoğunluğu tahminleri, insan uzmanları kullanılarak elde edilenlerden önemli ölçüde farklı olabilir. Parlaklığı tahmin etmeye yönelik basit yaklaşımların çoğu standart görüntüye dayanmaktadır. Ne yazık ki çoğu durumda standart görüntünün mevcut olmaması üzücü. Bu tür görev ve görevlerden önce boşa harcanan piksellerin yeniden yapılandırılması. Bu nedenle, yeniden oluşturulan görüntülerin parlaklığını değerlendirmek için bir kolkisny ölçüsünün geliştirilmesi konuyla ilgilidir.

  Görüntü parlaklığının niceliksel değerlendirmelerinin geliştirilmesinde önemli bir başarı elde edilmiştir. Bu kriterlerden yola çıkarak ilerlemenin eksiksiz bir şekilde tamamlanması gerekmektedir. Görüntü parlaklığının hoş bir değerlendirmesini bulmaya yönelik girişimlerin çoğu, aşağıdaki farklılıklara dayanmaktadır. Bazı fizyolojik değişikliklere dayanan basit bir değerlendirme önerilmektedir ve çoğu zaman analiz edilmesi ve hesaplanması kolaydır ve ardından yetkililer tarafından değerlendirilir. Yaşam kalitesine ilişkin kapsamlı değerlendirmelerin oluşturulması, insan zoolojik sisteminin güçlerinin en derin etkileriyle ilişkilidir.

  Bu robot tarafından etiketlendiє Maliyeti değerlendirmeye yönelik metriğin gelişimi, makine teknolojisi kullanılarak yeniden yapılandırma yöntemleri kullanılarak işlem saati altında gösterilmektedir.

  Matematiksel model

  İstatistiklerin robotta benimsenenlere benzer anlamları vardır. Tüm görüntüler örtüşmeyen iki alandan oluşur: yeniden oluşturulan alan ve görünür alan. Bebekte 1 endikasyon popo roztashuvannya tsikh galuzey.

  

  Şekil 1. Görüntü modeli

  Resim ortasındaki Ω alanını göstermektedir. Yeniden yapılandırmanın amacı, Ω alanının ortasındaki görüntü piksellerinin değerini, alanın bir bakışta görülmeyeceği şekilde değiştirmektir. Yeniden yapılandırmanın amacı, görüntünün hasarlı kısımlarının güncellenmesine (örneğin eski fotoğraflardaki lekeler ve çatlaklar) veya görüntüdeki istenmeyen nesnelerin kaldırılmasına odaklanabilir. Bebek 1 alanı Ω önce koristuvach olarak, sonra da gösterilmektedir. Belirlenen alan kısmi yeniden yapılanmaya tabi değildir.

  Görüntünün parlaklığını tahmin etmek için algoritma

  Görüntü parlaklığını makine tabanlı olarak başarıyla ölçmenin anahtarı üç adım gerektirir:

  1. Giriş sinyallerinin açıklaması olarak hizmet veren geniş bir işaret.

  2. Parlaklık değerleri alanındaki işaret alanından görüntüleme işlevini seçin.

  3. Sistemin başlatılması ve direncinin kontrol edilmesi (yeniden başlatmanın kontrol edilmesi).

  Bu yaklaşımın yapısal şeması şekil 2'de sunulmaktadır ve aşağıdaki aşamaları içermektedir:

  1. Bir ilgi alanı seçin (wiki kartını kullanarak);

  2. Düşük seviyeli görüntü işaretlerinin hesaplanması;

  3. Düşük seviyeli özelliklerin anlaşılmasıyla güncellenen alanın Pobudova tanımlayıcısı;

  4. Regresyon probleminin, elde edilen tanımlayıcı vektöre dayalı olarak kapasitenin sayısal bir tahminini elde etme yöntemiyle bağlantısı.

  

  Küçük 2. Algoritmanın akış şeması

  Çalışma, görsel saygının hassas kişilerde önemli bir rol oynadığını gösteriyor. İnsan gözü her an sahnenin sadece küçük bir kısmını net bir şekilde görebilir, aynı zamanda sahnenin çok daha önemli bir alanı “çözünmüş” olarak algılanır. Bu "paylaşılan bilgi", sahnenin farklı alanlarının önemini ve görsel alanın önemli alanlarına gösterilen saygıyı değerlendirmek için yeterlidir. Çoğu yöntem, bir hassasiyet haritası (bir cilt pikselinin değerinin o belirli alanın önemiyle ilişkili olduğu iki boyutlu bir görüntü) oluşturmanıza olanak tanır.

  Kartları kaldırmak için lütfen robottaki açıklamalar olan Saliency Araç Kutusu'nu kullanın. Bu araç seti, insanın zoral sisteminin vikoryst modelidir. Arka planın bir kısmı önemli ölçüde değişebileceğinden, çıktıdaki ve güncellenen görüntüdeki güncellenen alanı hizalamanın hiçbir anlamı olmadığını unutmamak önemlidir. İlgi alanlarını seçmek için aşağıdakiler önerilir:

  .

  İşte yeniden oluşturulan görüntünün saygı haritası ve piksele karşılık gelen saygı haritasının değeri. Görüntünün oluşturduğu görüntüde, görüntünün güncellenen alanının ortasında ve yakınında görüş gücü hesaplanır. Değer, değerlendirme sırasında görüntünün hangi bölümlerinin değerlendirileceğine, hangilerinin değerlendirilmeyeceğine karar verirken eşik değeri olarak belirlenir. Dokunduğumuz alanlara saygı gösteririz.

  Yerel alanların düşük seviyeli işaretleri olarak spektral belirtiler ortaya çıkar. Daha sonra, verimlilik vektörü değişimlerine dayalı olarak Fourier, Walsh ve Haar temel setlerinin analizini gerçekleştiriyoruz. Hata ve sorunların tespiti için depoların sistem verimliliği kriterine göre doğru hesaplanması istatistiksel ortalamanın kullanılmasını gerektirecektir.

  p align="justify"> Sinyal işleme algoritmaları ve sistemlerini sentezlerken, en sık minimum ortalama risk kriteri kullanılır; bu, kod dönüştürmelerin ve sinyallerin istatistiklerinin yakalanmasına olanak tanır. Frekans dönüşümlerini uygularken ve hesaplama maliyetlerini tahmin ederken spektral dağılım esasının seçimi önemlidir. Sinyal dağıtımına ilişkin temelin seçimini optimize etmek için minimum ortalama risk kriterine sıkı sıkıya bağlı kalmak gerekir. Bu amaçla sinyal ve süreçlerin sınıflarını belirlemek ve bunların ilgili özelliklerinin farkında olmak gerekir.

  Belirli bir iki boyutlu süreç sınıfı için, ilgili alt sınıf aktarılır; burada indeks, belirli gizli güçlere sahip alt sınıfın sayısı ve alt sınıf sürecinin uygulama sayısıdır. Temel sistemlerin toplamı birbirine eşittir Temel sisteme göre biçimsel biçimde ortaya konan Fourier serileri biçimsel biçimde şöyle görünür: .

  Nihai üye sayısıyla, düşük Fur'e bir kayıpla karakterize edilebilir: şarkı ölçüsüne göre, - düşük Four'e üyelerinin kısmi toplamı.

  Katsayıların ekipmanı düşüktür.Fur'e ve hesaplamaları şarkı hesaplama maliyetlerine bağlıdır. Hem kısaltılmış Fourie serisinin kaybıyla ilgili maliyetleri, hem de donanım ve bilgi işlem kaynaklarının maliyetlerini hesaba katan bir harcama fonksiyonunu kullanıma sunduk:

  .

  Zihinsel riskin değeri, sinyallerin alt sınıfında ve temelinde bulunur ve satış maliyetleri fonksiyonunun ortalamasını alma yöntemiyle hesaplanır:

  de - analiz edilen sinyallerin ve dönüşümün güvenilirliğinin gücü; ve yaylar istatistiksel ortalama alma işlemini ifade eder.

  Ortalama rizik, sinyallerin alt sınıfları için zihinsel rizik'in ortalaması alınarak gösterilir:

  ,

  de - sinyal alt sınıfının güvenilirliği.

  Minimum ortalama risk kriterine göre bazlardan minimum ortalama riske sahip olan seçilir.

  Görüntü işleme kalitesine ilişkin sistem kriterinin etkinliğini değerlendirmek için test görüntüleri, Gauss alanlarının belirli korelasyon işlevlerinden modellenmesinden çıkarılan dokular olarak kabul edilir. Düzgün normal serpinti alanlarının ve sabit normal serpinti süreçlerinin oluşturulması, en basit şekilde kalıplama filtre yöntemi kullanılarak gerçekleştirilir.

  Nitekim makale, trigonometrik fonksiyonlar (Four'e), Walsh ve Haar bazında çeşitli korelasyon fonksiyonlarıyla aşamalı gerçekleşmelerin tezahürüne bakmaktadır. 256 x 256 piksel boyutunda görüntü modelleri oluşturmak için seçilen bazların analizini gerçekleştireceğiz. Ayrıca alt sınıfların üç tür bölünmesini de istiyoruz: 1) eşit olarak: ; 2) maça: ;
  3) büyüyor: . Görünümde Varosti işlevini seçin: .

  Ortalama risk, değeri Tablo 1'de sunulan sinyal alt sınıflarının kabul edilen önsel geçerliliğinin sonuçları ile sinyal alt sınıflarının ortalama zihinsel risk yöntemi ile belirlenir.

  tablo 1

  Ortalama rizikunun değeri

  	Alt bölüm türleri

  Tablodaki dökümlerin sonuçları, iki boyutlu sinyallerin kabul edilen modelleri ve özelliklerinin bölümleri arasında Haar bazının en küçük ortalama riske sahip olduğunu ve Dördüncü bazın en büyük ortalama riske sahip olduğunu göstermektedir.

  Analize dayanarak yerel görüntü alanlarını temsil edecek bir Haar tabanı seçiyoruz. Güncellenen alanın boyutunun farklı görseller için farklılık gösterdiğini lütfen unutmayın. Bu düşük kaliteli işaretlerle bağlantılı olarak, sabit boyutta yüksek kaliteli bir tezahür oluşur. “Sözcük torbası” yaklaşımı, Viktorist'in yaklaşımının en etkili tezahürü olarak değerlendiriliyor. Güncellenmiş bir alan için tanımlayıcı (imza) oluşturma prosedürü iki adımdan oluşur. İlk aşamada bir sözlük olacak. Bu amaçla, tüm görüntülerden alınan düşük seviyeli özellikler, ilk görüntü grubunda vurgulanır. Sözlük oluşturmak için elde edilen özellikler k-means kümeleme algoritması kullanılarak 100 sınıfa bölünür. Sözlüğün dış görünüm öğesi, kümeleme prosedürüyle bulunan sınıflardan birinin ağırlık merkezidir. Sözlükteki her kelime Haar tarafından 8x8'lik bir görüntü bloğuna dönüştürülür. Sözlüğün çıkarılması, güncellenen alanın tanımlayıcısı olan bir işaret vektörü olarak sözlükten kelimeler için frekans histogramları oluşturulurken başka bir aşamada gerçekleştirilir (Şekil 3). Regresyon makinesini başlatmak için bir dizi tanımlayıcı seçilir (Vektör Regresyonunu Destekler). Sözlükten frekans histogramlarını çıkarmak için, belirli bir görüntünün görsel olarak öne çıkan tüm alanları çizilir (görünürlük, karşılık gelen görüntü kartlarından belirlenir). Daha sonra kutanöz bloklar oluşana kadar Haar dönüşümü tamamlanır ve son olarak Öklid altbölümünü temel alan bir sözlükle sınıflandırma tamamlanır.

  Dış görünüm, bu alandaki belirli bir sınıftaki düşük dereceli özelliklerin sayısını bulmak için ortaya çıkan histogramları kullanabilir. Normalleştirmeden sonra histogramlar, güncellenen alanın en yüksek tezahürü olan görüntünün bir "imzasını" üretir.

  

  Şek. 3. Pobudova histogramları

  Görüntü parlaklığını tahmin etmeye yönelik algoritmanın etkinliğinin değerlendirilmesi

  Parçalanmış metriğin etkinliğini değerlendirmek için bir dizi test görüntüsü kullanıldı. Set 300 görselden oluşuyor. Güncelleme yöntemi olarak şu yaklaşımlar seçilmiştir: kendine benzer alanların araştırılmasına dayalı bir yöntem, spektral dönüşümlere dayalı bir yöntem, özel benzerliklerin hesaplanmasına dayalı bir yöntem. Cilt görüntüsü için elde edilen 30 puan üzerinden uzman değerlendirmesi yapıldı. Sonuçlar çakışmayacak şekilde iki gruba bölündü. İlki başlamaya çalıştı, diğeri ise sonucu doğrulamaya çalıştı.

  Uzmanlar, acıyı 5'in "Mükemmel" ve 1'in "Gerçekten kötü" olarak belirttiği bir ölçekte derecelendirdi. Elde edilen metriğin etkinliğini değerlendirmek için, ek bir objektif metrik kullanılarak başarı vektörleri ile doğruluğu tahmin etmeye yönelik uzman yöntemi arasındaki korelasyon katsayısı hesaplanır. Tablo 2'deki sonuçların analizi, proponasyon yaklaşımının seçilen test verileri kümesindeki viskozite ölçümlerinden daha iyi performans gösterdiğini göstermektedir.

  Tablo 2

  Çeşitli objektif hesaplama yöntemleri için korelasyon katsayısı
  Görüntü kapasitesi ölçümleri

  			Teklif başvurusu

  Visnovok

  Makale, makine öğrenimine dayalı görüntü kalitesini değerlendirmek için objektif bir ölçüm sunuyor. Görüntüleme sistemlerinin tasarımı ve değerlendirilmesi için çeşitli yaklaşımlar gereklidir. Bu, öznel incelemenin yardımıyla emek yoğun ve hatalı günlük değerlendirme yöntemlerinden kaçınmanıza yardımcı olacaktır. Öte yandan çoklu geçişleri çözerek görüntü işleme sistemlerini optimize etmeye yönelik yöntemler geliştirmek mümkündür. Uyarılmış yaklaşımdan türetilen acılık değerlendirmesinin, acıların öznel değerlendirmesiyle ilişkili olduğu gösterilmiştir.

  Çalışma, “2014-2020 Rusya bilim ve teknoloji kompleksinin geliştirilmesi için öncelikli alanların eklenmesi ve geliştirilmesi” Federal Hedef Programı çerçevesinde Rusya Dünya İşleri Bakanlığı tarafından desteklenmektedir (hibe No. 14.586.21.0013) ).

  İnceleyenler:

  Fedosov V.P., Teknik Bilimler Doktoru, Profesör, Pivden Federal Üniversitesi Üst Mühendislik ve Teknoloji Akademisi Bölüm Başkanı, Rostov-on-Don;

  Marchuk V.I., Teknik Bilimler Doktoru, Profesör, Radyoelektronik ve Elektrik Sistemleri ve Kompleksleri Bölüm Başkanı, ISOIP (DDTU şubesi), Shakhti.

  Bibliyografik postalama

  Voronin V.V. MAKİNE ENVANTERİNE GÖRE GÖRÜNTÜ GÖRSELLİĞİNİN DEĞERLENDİRİLMESİ // Bilim ve eğitimin güncel sorunları. - 2014. - Sayı 6.;
  URL: http://science-education.ru/ru/article/view?id=16294 (yayın tarihi: 02/01/2020). Doğa Bilimleri Akademisi'nde mevcut olan dergileri sizlere sunmak istiyoruz.

  GoTo yaz okuluna giriş sınavına yönelik görevi hazırlama sürecinde, Rus dilinin ana sıralama metriklerinin pratik olarak günlük olarak net bir tanımına sahip olduğunu keşfettik (görev, sıralama görevinin yanında gerçekleştirildi; bir öneri algoritması başlatıldı) y). E-Contenta olarak farklı sıralama metriklerini aktif olarak inceliyoruz, bu nedenle bu makaleyi yazarak bu yanlış anlaşılmayı düzeltmeye karar verdik.

  Sıralama her yerde oluyor: web sayfalarını belirli bir arama terimine göre sıralamak, haber sayfasını kişiselleştirmek, video, ürün, müzik önermek... Kısacası konu çok sıcak. Sıralamayı öğrenmeyi içeren makine öğrenimine özel önem verelim. Çok çeşitli algoritma ve yaklaşımlar arasından en uygun olanı seçebilmek için bunların hassasiyetini dikkatlice değerlendirmelisiniz. En gelişmiş sıralama ölçümleri hakkında daha fazla bilgiyi aşağıda bulabilirsiniz.

  Bölüm ve sıralama hakkında kısaca

  Ranzhuvannya - işe alım sıralama departmanı elementler bu dünyadan alaka. Çoğu zaman alaka kesinlikle herkes tarafından anlaşılır nesne. Örneğin, bilgi arama görevinde nesne sorgudur, öğeler (kendilerine gönderilen) tüm belgelerdir ve alaka, belgenin sorguyla ilgisidir, öneri görevinde nesne müşteridir, Öğeler, önerilen diğer içeriklerdir (ürünler, video, müzik) ve alaka düzeyi, bir müşterinin bu içeriği hızlı bir şekilde (satın alma/beğenme/görüntüleme) derecesidir.

  Resmi olarak N nesneye ve M öğeye bakacağız. Bir nesnenin öğelerini sıralamaya yönelik robotik algoritmanın sonucu, dış görünüm öğesine, öğenin nesneyle alaka düzeyini karakterize eden bir değer veren görüntüdür (değer ne kadar yüksek olursa, nesne o kadar alakalı olur). Bu durumda, değerler kümesi, öğelerden oluşan öğeler kümesi üzerinde, değerlerdeki değişikliklere göre sıralanmalarından kaynaklanan bir permütasyonu belirtir (kişisel olmayan öğelerin sıralanması önemlidir).

  Sıralamanın doğruluğunu değerlendirmek için, sonuçları algoritmayla karşılaştırabilmenizi sağlayacak net bir "standart"a ihtiyacınız vardır. Belirli bir nesne için öğelerin "ilgili" alaka düzeyini (- öğe ideal olarak uygundur, - tamamen ilgisizdir) ve buna karşılık gelen permütasyonun kendisini (sonuçta) karakterize eden standart alaka fonksiyonuna bir göz atalım.

  İki ana kaldırma yöntemi vardır:
  1. Geçmiş verilere dayanmaktadır. Örneğin her içerik önerisi için kullanıcının görüntülemelerini (beğenilerini, satın almalarını) alıp ilgili öğelerin görüntülemelerine 1 (), derecelendirmelerine 0 atayabilirsiniz.
  2. Uzman değerlendirmesine dayanmaktadır. Örneğin, bir arama görevinde, bir arama sorgusu için, bir değerlendirici ekibinin belgelerin sorguyla ilgisini manuel olarak değerlendirmesini sağlayabilirsiniz.

  Warto, uç değerler varsa: 0 ve 1, bu durumda permütasyonun, gibi herhangi bir ilgili öğe olmadan dikkate alınmaması ve ele alınmaması gerektiğini unutmayın.

  Meta metrik sıralaması- bu, alaka değerlendirme algoritmasının karşılık gelen permütasyonu ne kadar kaldırdığı anlamına gelir. doğru alaka değerleri. Ana metriklere bakalım.

  Ortalama ortalama hassasiyet

  K'de ortalama ortalama hassasiyet ( [e-posta korumalı]) en sık kullanılan sıralama metriklerinden biridir. Nasıl çalıştığını anlamak için “temel bilgilerle” başlayalım.

  Not: "*kesinlik" metrikleri ikili problemlerde kullanılır ve yalnızca iki değer alırlar: 0 ve 1.

  K'da hassasiyet

  K'de hassasiyet ( [e-posta korumalı]) - K öğelerinin doğruluğu - bir nesnenin sıralama verimliliğinin temel ölçüsü. Diyelim ki sıralama algoritmamız, öğenin ciltle ilgisini değerlendiriyor. En büyükleri olan ilk ortadaki öğeleri seçerek, ilgili olanlardan bazılarını seçebilirsiniz. Hassasiyeti K'de de kullanabilirsiniz:

  Saygı: Yeniden düzenleme sonucunda konumuna ulaşan unsuru kastediyoruz. Yani, - en büyük olan eleman - büyüklük bakımından diğerine sahip olan eleman vb.

  K'da ortalama hassasiyet

  K'da kesinlik - metriğin anlaşılması ve uygulanması kolaydır, ancak önemli bir eksiklik vardır - "üstteki" öğelerin sırasını düzeltmez. Yani, on elementten yalnızca birini tahmin ettiysek, o zaman hangi yöne gittiği önemli değildir: ilki veya geri kalan, hangisi olursa olsun. Ancak ilk seçeneğin çok daha iyi olduğu aşikar.

  Bu, sıralama metriğini biraz azaltır K'da ortalama hassasiyet ( [e-posta korumalı]) eski meblağlar gibi [e-posta korumalı] 1'den K'ye kadar k endeksleri için yalnızca ilgili öğeler için, K'ye bölünmüş:

  Yani, üç unsur alakalı olduğundan, yalnızca son sırada olanlar ortaya çıktı, o zaman yalnızca ilk sırada olanı tahmin ederlerse, o zaman ve her şey tahmin edilirse, o zaman .

  Simdi ben [e-posta korumalı] Biz hallederiz.

  K'da ortalama ortalama hassasiyet

  K'de ortalama ortalama hassasiyet ( [e-posta korumalı]) - en sık kullanılan sıralama metriklerinden biri. sen [e-posta korumalı]і [e-posta korumalı] Sıralamanın doğruluğu seçilen nesneye (koristuvach, şaka sorusu) göre değerlendirilir. Uygulamada nesneler anonimdir: yüzbinlerce müşteriyle, milyonlarca sesli sorguyla vb. uğraşıyoruz. Fikir [e-posta korumalı] zevk almak için yalan söylemek [e-posta korumalı] cilt nesnesi ve ortalama için:

  Saygı: Bu fikir tamamen mantıklıdır, çünkü buna ihtiyacı olan herkesin hala gerekli ve önemli olduğunu varsayıyoruz. Eğer durum böyle değilse, o zaman basit bir ortalama yerine vivazhen'i çarparak vikorize edebilirsiniz. [e-posta korumalı] cilt nesnesini "önem" vaganıza dayanarak.

  Normalleştirilmiş İndirimli Kümülatif Kazanç

  Normalleştirilmiş indirimli kümülatif kazanç (nDCG)- Sıralama metriği bir kez daha genişletildi. Nasıl düştüm [e-posta korumalı], Temel bilgilerin üzerinden geçelim.

  K'da Kümülatif Kazanç

  Tekrar en büyük sayıya sahip tek bir nesne ve öğeye bakalım. K'da kümülatif kazanç ( [e-posta korumalı]) - basit bir fikir olan temel sıralama ölçütü: bu üstteki ilgili öğeler nelerdir, sonra daha kısaca:

  Bu metriğin belirgin eksiklikleri vardır: normalleştirilmemiştir ve ilgili öğelerin konumunu yansıtmamaktadır.

  Sevgili, yönetimde [e-posta korumalı], [e-posta korumalı] Referans alaka düzeyinin ikili olmayan değerlerini de kullanabilirsiniz.

  K'da İndirimli Kümülatif Kazanç

  K'da indirimli kümülatif kazanç ( [e-posta korumalı]) - elemanın alaka düzeyinin konum numarasının ters logaritmasına benzer bir değerle çarpılmasıyla listedeki elemanların doğru sırası olan K'deki kümülatif kazancın değiştirilmesi:

  Not: Yalnızca 0 ve 1 değerlerini kabul ettiğinden formül daha basit görünür:

  Bir indirim fonksiyonu olarak viskozite logaritması aşağıdaki sezgisel kavramlarla açıklanabilir: sıralamanın bakış açısından bakıldığında, listenin en üstündeki konumlar, listenin en altındaki konumlardan çok daha güçlüdür. Yani, her ses motorunda 1. ve 11. konumlar arasında tam bir kesinti vardır (yalnızca yüz durumda birkaç durumda, ses tipinin ilk tarafından daha ileri gidebilirsiniz) ve 101 ve 111. konumlar arasında özel bir kesinti vardır. sebep Hiçbir şey yok - çok az insan onlara ulaşıyor. Bu öznel değerler, ek bir logaritma kullanılarak mucizevi bir şekilde ifade edilir:

  İndirgenmiş kümülatif kazanç, ilgili unsurların konumuyla ilgili bir sorun teşkil eder ve normalleştirmenin çokluğuyla ilgili sorunu daha da ağırlaştırır: arasında değiştikçe, değer tam olarak net olmayan bir temelde artar. Bekaret sorunu çözüldü, ölçü ele alındı

  K'da Normalleştirilmiş İndirimli Kümülatif Kazanç

  İsmini nasıl tahmin edebilirsin? K'da normalleştirilmiş indirgenmiş kümülatif kazanç ( [e-posta korumalı]) - normalleştirilmiş versiyondan başka bir şey yok [e-posta korumalı]:

  de - tse maksimum (I - ideal) değeri. Bizimkilerin parçaları yerleştirildi, o zaman bu da önem kazanıyor.

  Böylece listedeki elemanların konumu azalır, bu da 0'dan 1'e kadar olan aralıktaki değerleri artırır.

  Saygı: benzetme için [e-posta korumalı] tüm nesnelerin ortalamasını alarak tahmin etmek mümkündür.

  Ortalama karşılıklı sıralama

  Ortalama karşılıklı sıralama (MRR)- sıklıkla gözden geçirilen başka bir sıralama ölçütü. Bu formülle verilir:

  de - karşılıklı sıralama inci nesne için - özünde çok basit olan, daha eski olan bir değer doğru tahmin edilen ilk elementin böbrek yarası.

  Öğelerin aralık ve konumlarındaki ortalama karşılıklı sıra değişiklikleri. Yalnızca tek bir unsur için çalışmak üzücü - açıkça ifade edilen, saygıyı her zaman kaybetmeden.

  Sıra korelasyonuna dayalı metrikler

  Ayrıca katsayılardan birine dayalı sıralama metriklerini de görebilirsiniz. sıra korelasyonu. İstatistikte sıra korelasyon katsayısı, değerlerin kendisini değil, sırasını (sırasını) belirleyen bir korelasyon katsayısıdır. En geniş iki sıra korelasyon katsayısına bakalım: Spearman ve Kendell katsayıları.

  Kendell sıra korelasyon katsayısı

  Bunlardan ilki müşterilerimizin desteğine dayanan Kendell korelasyon katsayısıdır.
  (ve istenmeyen) permütasyon çiftleri - permütasyonların yeni (farklı) bir düzen verdiği eleman çiftleri:

  Spearman'ın sıra korelasyon katsayısı

  Diğeri ise aslında Pearson korelasyonuyla aynı olan Spearman korelasyonunun sıra değerlerine dayalı sıra katsayısıdır. Sıralarını doğrudan ifade eden basit bir formül var:

  de – Pearson korelasyon katsayısı.

  Sıra korelasyonuna dayanan metriklerin zaten eksiklikleri olabilir: öğelerin konumunu garanti etmezler (daha da kötüsü) [e-posta korumalı], Çünkü korelasyon, en yüksek sıralamaya sahip öğeler için değil, tüm öğeler için dikkate alınır). Bu nedenle pratikte galip gelmek çok nadirdir.

  Kademeli davranış modeline dayalı ölçümler

  Şu ana kadar, koristuvach'ın (nesnenin bir sonraki dalına - koristuvach'a daha detaylı bakacağız) kendisine atanan unsurları nasıl bozduğunu bilenler tarafından kandırılmadık. Aslında dikişi dolaylı olarak parçaladık, böylece cilt elemanının görünümü bağımsız Diğer unsurların bakış açısından – bir tür “gerçeklik”. Aslında, elementler çoğu zaman koristuvach tarafından görülebilir ve koristuvach'ı bir sonraki elemente bakanlar, öndekilerden memnun oldukları için yalan söylerler. Örneğe bir göz atalım: Arama motoru, bir dizi belgeye dayalı bir sıralama algoritması kullanır. 1. ve 2. konumdaki belgeler son derece alakalı görünüyorsa, müşterinin 3. konumdaki belgeye bakma olasılığı düşüktür çünkü İlk ikisinden tamamen memnun kalacaksınız.

  Benzer müşteri davranışı modelleri, kendilerine atanan öğelerin sınıflandırılması sırayla gözlenir ve öğenin yeniden aranma olasılığı öncekilerin alaka düzeyine bağlıdır. basamaklı.

  Beklenen karşılıklı sıralama

  Beklenen karşılıklı sıralama (ERR)- Kademeli modele dayalı sıralama verimliliği ölçümlerine bir örnek. Bu formülle verilir:

  Sıralama düşüş sırasını ifade eder. Bu ölçüm için en önemli ölçüm güvenilirliğidir. Geliştiklerinde kademeli model kullanılır:

  de - koristuvach'ın rütbeli bir nesneyle tatmin olacağı kesinliği. Değerler değer esas alınarak hesaplanır. Yani bir sorunumuz olduğuna göre basit bir seçeneğe bakabiliriz:

  şu şekilde okunabilir: konumda listelenen öğenin alaka düzeyine referans Örneğin, bir grup brownie'ye bakalım