Operasyonel analitik veri işleme sistemleri. Analitik veri işleme yöntemleri. İş için çerçevelerin uzunluğu

Konu 6

EKONOMİK BİLGİ İŞLEMEYE YÖNELİK KURUMSAL BİLGİ SİSTEMLERİ

Kurumsal bilgi teknolojisi kavramları

Kurumsal bilgi teknolojilerinin özü ve önemi

Çeşitli iş programları arasında “kurumsal yönetimde bilgi teknolojileri” terimi geleneksel olarak “karmaşık yönetim otomasyon sistemleri” anlamına gelir. Diğer isimler arasında kurumsal ölçekte sistemler, kurumsal bilgi sistemleri (CIS), kurumsal (veya entegre) yönetim sistemleri (ICS), otomatik kontrol sistemleri (ACS) yer alır.

Kural olarak, karmaşık otomasyon kontrol sistemleri, çeşitli işletme türlerine uygun "temel" evrensel çözümlerdir. Öncelikle finansal yönetim, stok yönetimi, satın alma ve satış yönetimini ele almamız gerekiyor. Ancak bu sistemler genellikle Galuzev'in birbirini yansıtan çözümlerini takip ediyor. İlgili düzenleyici ve düzenleyici çerçeveye göre diğer özellikler dikkate alınmalıdır.

Örneğin, havacılık endüstrisi için SAP R/3 sisteminin çözümü, tüm uçak parçalarının seri üretim numaralarının, bunların çalışma koşullarının, planlı değiştirme ve onarımın kontrolünü destekler; bu da yolcuların güvenliğini ve güvenliğini garanti eder.

Karmaşık yönetim sistemleri, her şeyden önce büyük ölçekli yapılara ve işletmelere yönelik olduğundan, yalnızca bir dizi işlevden özür dilemekle kalmayacak, aynı zamanda büyük bilgi yükümlülüklerinin güvenilir bir şekilde korunmasını ve işlenmesini de sağlayacaktır. platform ve sistemik işlevler zengin koristuvachiv robotlarda sigortalıdır.

Modern bilgi teknolojileri, iletişim ve İnternet, kurumsal yönetim için de geçerli olan tek bir veritabanına uzaktan erişime olanak tanır.

Pobudovy konsepti

Çoğu perakendeci, yazılım ürünlerini yönetim (işletme yönetimi, depo yönetimi, finans yönetimi vb.) olarak adlandırsa da, aslında kurumsal yönetimde kullanılan neredeyse tüm yazılım ürünleri, finansal ve hükümet faaliyetlerine ilişkin gerçekleri ve belgeleri, bulut sistemlerini Analitik işaretlerin izin verdiği bölümlerde geri bildirim ve kanıt olasılığı. Böylece bilgiler veritabanına yapılandırılmış bir şekilde girilir. Bu yapı, bu ve diğer birbirine bağlı göstergeler, sınıflandırıcılar, parametreler ve standart belge formları tarafından ortaya konmuştur. Veritabanında açıkça görülen bilgilerin arkasında "diseksiyon" denilen aletsel yöntemlerle "olmak", "çizilmek", "toplanmak" vardır. Araştırmacılar, bu tür verilere dayanarak genellikle analitik olarak adlandırılan sonuçları çıkararak kararlar verebilirler. Bu, dikkate alınan sınıf sistemlerine sahip robotların tipik konsepti ve tipik teknolojisidir.

Fonksiyonel alanlar, sistem çözümleri ve “Galaktika”, “BEST” ve “1C: Enterprise” gibi “yönetim” yazılımlarının kullanımı ve bilgi organizasyonu ilkeleri arasında böyle bir fark yoktur. ve işlemenin yanı sıra sistemlerle etkileşim yöntemleri.

Ancak yine de KDV “Uralelektromed” gibi işletmeler, kurumsal yönetim açısından o kadar sert ve çeşitli gerekliliklerle karşı karşıyadır ki, onların teşviklerinin çoğuna ihtiyaç duyulmaktadır. Merkezi olanı düşünün - sistemin program kodu içermeyen çekirdeği. Bir sonraki kavramsal açıdan önemli unsur, program kodlarını değiştirmeden, en azından iş istasyonlarında ayarlamaların yapılmasına, belirli işlemlerin tanımlanmasına, yenilerinin tanıtılmasına ve bunların değiştirilmesine olanak tanıyan bir sistem araç setinin uygulanmasıdır. ne birincil ne de önemli belgelerin biçimi. ne de diğer parametrik ayarlama yöntemlerinin kullanılması. Sistemin daha fazla geliştirilmesi, çeşitli iş modellerinin oluşturulması için fırsatlar sağlayabilir: bilgilendirici, organizasyonel, işlevsel vb. Ve evet, veritabanının kendisi.

Bilginin analitik işlenmesi

Bir işletmenin faaliyetlerinin planlanması, operasyonel bilgilerin elde edilmesi ve doğru kararın alınması ve analiz edilmesi büyük bir veri yükümlülüğünün işlenmesi ile ilgilidir. Bulut tabanlı kurumsal yönetim sistemlerinde oluşan sonuçlar, karmaşıklığın azaltılmasını gerektirir. Bu verilerden veriyi daha da grafiksel olarak çıkarmak için "bükülemez", "yakılamaz" veya "yakılamaz". Ne kadar çok "görüntüleme" ve "kesim" oluşturulabilirse, işletmenin faaliyet tablosunu o kadar gerçekçi bir şekilde anlamak ve iş süreçlerini yönetmek için en uygun kararları vermek mümkün olur. Bu tür bir görev için daha fazla matematiksel ve ekonomik modellemenin yanı sıra yüksek verimlilik de gereklidir. Analitik modül “RepCo” sisteminde, en yaygın olarak “Triumph-Analytics” sisteminde (PARUS Corporation – “Tora Center”) mevcuttur. Görünüşe göre bulut sistemleri, veritabanında depolanan bilgileri farklı "bölümlerde" takip edecek ve basitçe olanları tanımlayacak. Analitik sistemler ise belirli parametrelere ve kriterlere dayalı olarak yeni bilgiler üretecek ve bunları belirli amaçlar için optimize edecek. Bu nedenle bilgiyi incelemek ve görselleştirmek için en gerekli özel araç “çevrimiçi veri analizidir” (OLAP - çevrimiçi analitik işleme). Bunun nedeni, depolamada biriken bilgilerin manuel ve hızlı erişim, inceleme ve kapsamlı analizi araçlarının birleşimidir.

OLAP teknolojileri, çeşitli analitik verileri birleştirerek durumu “ne olacak, ne…” şemasına göre modellemek için kullanılır. Özel yazılım ürünlerini bulun.

Bilgiler, kurumsal yönetim sistemlerinden analitik veri işlemeye yönelik özel programlara aktarılır. Pek çok ticari perakendeci bunun bağımsız olarak nasıl yapılacağını bulmaya çalışıyor; örneğin, "Nikos-Soft" (NS-2000 sistemi), "Cefei" (kurumsal yönetim sistemi "Etalon"), "COMSOFT" (yazılım) şirketleri -metodolojik ve enstrümantal kompleks "COMSOFT-STANDARD " 2.0) ta.

6.4. Kurumsal bilgi teknolojilerinin geliştirilmesi ve geliştirilmesi için beklentiler

Günlük araç ve platformların yanı sıra sistem özelliklerinin de geliştirilmesinin yanı sıra, ulusal kurumsal sistemlerin de geliştirilmesi, özellikle üretim açısından işlevsel yoğunluklarını aktarmaktadır.

Kontrol standartlarının yaygın uygulanmasına rağmen, gıda yazılımı pazarının önde gelen oyuncuları, çeşitli üretim türleri için Galouze çözümlerinin geliştirilmesiyle ilgileniyor.

Firmaların, "a"dan "z"ye her şeyi bağımsız olarak geliştirmek yerine, ürünlerini entegre etme çabalarının pekiştirilmesine yol açan, geliştirmelerinin "gizliliğini" açığa vurma konusunda değişen bir korkusu var. Bugün kaynak israfı söz konusu değil. Yeni konsepti anlamada, proje ve sistemi geliştirmede, içindekilere göre gücü değişen sistemin kendisi boşa gidiyor. Ayrıca “çalışan” sistemlerden tasarruf etmek isteyen yazılım ürünlerini ve genellikle uzmanlaşmış sistem ve bilgi sistemlerini yeni eklemelerle entegre edebilen işletmeler de bulunmaktadır.

Karmaşık çözümleri özel çözümlerle birleştirmek için farklı üreticilerin ürünleri için de entegrasyon gereklidir:

– bütçeleme, finansal ve ekonomik analiz, müşteri hizmetleri, verilerin analitik olarak işlenmesi vb.

Umut verici olanın kontrol sistemlerinin kendisi değil, perakendeci ile son müşteri arasındaki nitelikli aracılar için tasarlanmış basit ve evrensel bir araç olduğu unutulmamalıdır. Bu işlevler Sistem Yöneticisi ve Analytics tarafından devre dışı bırakılabilir.

Böyle bir aracın varlığı nedeniyle her türlü alçıpan işletmesi için “hazır” standart çözümlere ihtiyaç duyulacaktır.

İş geliştirme için ek bir araç olarak internet, yalnızca kapsamlı bir yönetim sisteminin varlığında etkin bir şekilde kullanılabilir.

İnternet de dahil olmak üzere modern bilgi ve iletişim teknolojileri, yazılım kiralamayı organize etmenize izin veriyorsa, özellikle ülkemizde bu tür fırsatların yakın geleceği hakkında konuşun. Ve mesele gizlilikten çok, düzenin ve güvenilir iletişim yöntemlerinin mevcudiyeti ile ilgilidir.

Ticari işletmelerde bilgi teknolojilerinin kullanımı denenip kanıtlandıktan sonra, "kaosu otomatikleştirmenin mümkün olmadığı" pratikte netleşti. İşletmenin işinin yanı sıra yönetim düzenlemelerinin (talimatlar) uygulanmasının da yeniden düzenlenmesi gerekmektedir. İşletme çalışanlarının bu tür işlerle bağımsız olarak başa çıkmaları zordur. Risk faktörü özellikle piyasa zihinlerinde önemlidir. Bu nedenle, danışmanlık şirketleriyle işbirliği uygulaması her yerde gelişiyor, işletmelerin ve uzmanlarının "alanlarını genişletmelerine", ana iş süreçlerini iyileştirmelerine vb. Yardımcı oluyor. Teknoloji geliştiğinde bilgi akışları olacaktır. Geliştirme sürecini otomatikleştirmek daha kolay, daha basit, daha ucuz ve daha hızlıdır.

Kozhen kanunuyla ilgilenebilir. Bir muhasebeci, bir satıcı, bir satış müdürü ve diğer "konu" muhasebeciler, mevzuat ve iş planlarındaki değişikliklerle bağlantılı olarak belge formlarının formunu eksiksiz bir şekilde doldurmak, sütunları işaretlemek veya yerlerinde değiştirmek zorunda değildir. Bu nedenle yazılım pazarı “bakkal” pazarından “hizmet” pazarına doğru ilerliyor. Dış kaynak kullanımı gelişmeye başlıyor - işletmenin belirli işlevlerinin satın alınan şirketlerin yöneticilerine devredilmesi. Ekipmanın bakımı, sistem yazılımı, sistemlerin uygulanan (işlevsel) kısmının değiştirilmesi vb. ile ilgilenirler.

Modern kurumsal yönetim sistemleri için en önemli ve ilgili konu, bilgi teknolojisi ve çalışanlarına ve çalışanlarına metodik hizmet verilmesidir.

Yüzyıllardır bilgi teknolojisi, kurumsal işlemlerin işlenmesini destekleyecek sistemler sağlamaya odaklandı. Bu tür sistemlerin görsel olarak lekelere karşı dayanıklı olması ve düzgün bir yüzey sağlaması gerekmektedir. Dağıtılmış ilişkisel veritabanını merkeze alan OLTP ile etkili bir çözüm sağlandı.

Bu alandaki en son başarılar, istemci-sunucu mimarisinin eklenmesiydi. OLTP eklentilerinin geliştirilmesi için pek çok araç mevcuttur.

Verilere erişim genellikle hem OLTP programları hem de çözüm destek bilgi sistemleri için gereklidir. Ne yazık ki, rahatsız edici içecek türlerini servis etmeye çalışmak sorunlu olabilir. Bu nedenle şirketin çalışanları veritabanını OLTP türü ve OLAP türü olarak alt bölümlere ayırmayı seçti.

OLAP (Çevrimiçi Analitik İşleme - operasyonel analitik işleme)- Bu, sisteme erişmeyi, analiz yapmayı vb. mümkün kılan bir bilgi sürecidir. operasyonel modda (çevrimiçi). Sonuçlar saniyeler içinde oluşturulur.

Öte yandan OLTP sisteminde büyük miktarda veri geldiği anda işlenir.

Wikonan OLAP sistemleri endüstriyel arka uç istemciler içindir, OLTP sistemleri ise profesyonel arka uç istemciler için geliştirilmiştir. OLAP, sorgu oluşturma, anlık aramaları sorgulama, istatistiksel analiz yapma ve multimedya programlarını çalıştırma gibi faaliyetleri yürütmektedir.

OLAP'ı güvence altına almak için bir veri ambarıyla (veya zengin bir veri koleksiyonuyla) ve ayrıca çok çeşitli yeteneklere sahip bir dizi araçla çalışmanız gerekir. Bu yöntemler arasında sorgu araçları, elektronik tablolar, Veri Madenciliği teknikleri, veri görselleştirme teknikleri ve diğerleri bulunabilir.

OLAP konsepti, verilerin zengin ve çeşitli temsili ilkesine dayanmaktadır. E. Codd, ilişkisel modelin birkaç parçasını inceledikten sonra, ilk olarak verileri yok oluşların çokluğu açısından birleştirmenin, incelemenin ve analiz etmenin kurumsal analistler için en makul şekilde imkansızlığına dikkat çekti ve bu nedenle Ayrıca ilişkisel DBMS'lerin işlevselliğini genişleten ve özelliklerinden birinin zengin analizini içeren OLAP sistemleri için de uygundur.

Birçok yayında OLAP kısaltması, verilerin zengin görünümünü ve verilerin zengin bir veritabanında saklanmasını belirtmek için kullanılır. Codd'un kendisi ilişkisel veritabanlarının kurumsal verileri kaydetmek için en iyi teknoloji olacağını öne sürdüğü için bu yanlış görünüyor. İhtiyaç yeni veritabanı teknolojisine değil, mevcut DBMS'lerin işlevlerini tamamlayan ve çeşitli akıllı analiz türlerini (OLAP'ı güçlendir) aktarmak ve otomatikleştirmek için özellikler ekleyen analiz tekniklerine ihtiyaç duyulmaktadır.

Codd'a göre, verilerin bütününden analiz edilebilecek zengin bir dünya kavramsal tezahürü ve birkaç bağımsız dünyadan oluşan çoklu bir bakış açısı vardır. Birçok dünyanın bir saatlik analizi, zengin bir dünya analizi olarak kabul edilir. Kozhen vimir, bir dizi ardışık analiz seviyesinden oluşan verilerin doğrudan konsolidasyonunu içerir; burada mevcut seviye, verilerin imirde birinden diğerine büyük ölçüde toplanmasına karşılık gelir. Dolayısıyla Vikonavets'in ölümü, “işletme – alt bölümlere – şube – hizmet” eşitliğinden oluşan doğrudan bir konsolidasyon olarak görülebilir. Saatler aya ve yıla göre değiştiği için Vimir Saati artık iki doğrudan birleştirmeyi içerebilir: "nehir - çeyrek - ay - gün" ve "hafta - gün". Bu durumda cilt tedavisi için istenilen düzeyde bilgi detayını seçmek mümkün hale gelir. İniş işlemi, konsolidasyonun en yüksek seviyelerinden en düşük seviyelerine doğru olan hareketle tutarlıdır; Ancak yukarıya doğru operasyon, alt seviyelerden en üst seviyelere yükselme anlamına gelir.

Codd, yazılım ürününün OLAP sınıfında karşılanmasını mümkün kılan 12 kural belirlemiştir. Kurallar şunlardır:

1. Pek çok farklı kavramsal veri vardır.

2. İçgörü.

3. Kullanılabilirlik.

4. Üretken kalın.

5. İstemci – sunucu mimarisi.

6. Dünyaların eşitliği.

7. Seyreltilmiş matrislerin dinamik işlenmesi.

8. Zengin sigortalı rejime destek.

9. Dünya dışı operasyonlara yönelik destek sınırlı değildir.

10. Verilerin sezgisel manipülasyonu.

11. Ses oluşturmak için mafsal mekanizması.

12. Titreşim ve eşit toplanma miktarı sınırlı değildir.

Bunlardan bir dizi, gerçek OLAP değerleri haline gelerek öneri olarak değerlendirilmeyi ve belirli bir ürünün, tüm olasılıklarla ideal olarak tutarlı olana kadar adım adım değerlendirilmesini mümkün kıldı.

Akıllı veri analizi.

Akıllı veri analizi (IDA) veya Veri Madenciliği, veritabanlarından bilginin keşfedilmesini, görünür bilgiyi, veri izlemeyi, veri izlemeyi, veri işlemeyi, veri temizlemeyi ve veri toplamayı tanımlamak için kullanılan bir terimdir; hemen yoldaş PZ'nin saygısına uyuyor. Tüm bu eylemler otomatik olarak gerçekleştirilir ve programcı olmayanların en iyi sonuçları almasına olanak tanır.

Bulaşık yıkama işlemi kinetik koristuvach ile, muhtemelen doğal sütle gerçekleştirilecektir. İstek SQL formatına dönüştürülecek. SQL'den, veritabanını veya veri depolamayı koruyan DBMS'ye eşzamanlı olarak erişmesi istenecektir. DBMS sorgunun cevabını bilir ve onu geri gönderir. Öğrenci daha sonra sunumu detaylandırabilir veya yeteneğinin en iyisine göre sunabilir.

Herhangi bir iş ve sosyal alandaki birçok önemli karar, büyük ve karmaşık veri tabanlarının analizine dayanmaktadır. IAD bu dönemlerde daha da koyu olabilir.

Akıllı veri analizi yöntemleri, OLAP teknolojileri ve veri madenciliği teknolojileriyle yakından ilişkilidir. Bu nedenle en iyi seçenek uygulamaya yönelik kapsamlı bir yaklaşımdır.

Ham veri toplamanın yönetim kararlarını kabul edebilmesi için, aracın veri toplamaya ve işlemeye erişimi olmayacak şekilde bilgilerin analistlere gerekli biçimde sunulması gerekir.

Çoğu zaman, karar vericilerin anında kullanımı için oluşturulan bilgi ve analitik sistemlerin durgunluk açısından çok basit olduğu, ancak işlevsellik açısından oldukça sınırlı olduğu görülmektedir. Bu tür statik sistemlere sunucu bilgi sistemleri denir. Size içeceklerin kişisel olmadığı izlenimini verecekler ve günlük inceleme için yeterli olduklarından, bir karar verildiğinde ortaya çıkabilecek bariz verilere kadar tüm yemeklere akıl almaz tepkiler verecekler. Böyle bir sistemin çalışmasının sonuçları, kural olarak, analist tarafından dikkatli bir şekilde değiştirildikten sonra yeni bir veri dizisinin ortaya çıktığı zengin sinyallerdir. Bununla birlikte, böyle bir sistemin tasarımı sırasında yeni girişin aktarılmaması, öncelikle resmi açıklamalardan, programcı tarafından yapılan kodlamalardan ve ancak daha sonra yapılan değişikliklerden kaynaklanmaktadır. Böyle bir zaman için iyileşme saati giderek daha fazla gün haline gelebilir, ancak bir daha asla hoş olmayacaktır. Bu nedenle, bilgi ve analitik sistem yöneticilerinin çoğunun aktif olarak mücadele ettiği çözümü destekleyen istatistiksel IS'nin aşırı basitliği, güç israfına dönüşüyor.

Ancak Dinamik IS destek çözümleri, analistlerden verilere yönelik anlık sorguların işlenmesini amaçlamaktadır. Analistlerin bu sistemlerle çalışması, etkileşimli bir sorgu oluşturma ve sonuçları analiz etme dizisini içerir.

Alternatif olarak dinamik IS çözümleri, çevrimiçi analitik işleme (OLAP) alanındaki faaliyetleri destekleyebilir. Birikmiş verilerin yönetiminden yönetsel kararların alınmasının teşvik edilmesi üç temel alanda yoğunlaşabilir.

1. Ayrıntılı verilerin kapsamı. Bu alan, bilgi aramaya yönelik çok sayıda sistemi barındırıyor. İlişkisel DBMS'lerin çoğu burada ortaya çıkan sorunlarla iyi başa çıkar. İlişkisel verileri işlemek için önde gelen standart SQL'dir. Ayrıntılı bilgi aramak için son kullanıcı bilgisayarının arayüzünü sağlayan bilgi arama sistemleri, bu işlemsel sistemlerin diğer veritabanları üzerinde ve yer altı depoları üzerinden de aranabilir.

2. Toplu göstergelerin alanı. Veri depolamadan toplanan bilgilere, bunların organize bir şekilde toplanmasına ve OLAP sistemlerinden gelen verilerin zengin analizine kapsamlı bir bakış. Burada ya özel zengin DBMS'lere odaklanabilir ya da ilişkisel teknolojiler çerçevesinde kendinizi kaybedebilirsiniz. Başka bir türde, birleştirilmiş veriler görsel bir veritabanında toplanabilir ve bilgilerin toplanması, ilişkisel veritabanının ayrıntılı tablosunun taranması sürecinde meydana gelebilir.

3. Desenler küresi. Fikri işleme, bilgi birikimindeki işlevsel ve mantıksal kalıpların araştırılması, tespit edilen anormallikleri açıklayan ve/veya anormalliklerin gelişimini tahmin eden modellerin ve kuralların oluşturulması gibi ana görevlerden gelen verilerin akıllı analizi yöntemleriyle gerçekleştirilir. faaliyetler tsesiv.

Veri ambarına dayalı bilgi ve analitik sistemin tam yapısı Şekil 1'de gösterilmektedir. 3.2. Diğer bileşenlerin spesifik uygulamalarında devre değerleri genellikle farklıdır.

3.4 Analitik veri işleme yöntemleri

Ham veri toplamanın yönetim kararlarını kabul edebilmesi için, aracın veri toplama ve işlemeye erişmesine izin verilmeyecek şekilde bilgilerin analistlere gerekli biçimde sunulması gerekir.

Çoğu zaman, karar vericilerin anında kullanımı için oluşturulan bilgi ve analitik sistemlerin tasarımlarının çok basit olduğu, ancak işlevselliklerinin oldukça sınırlı olduğu görülmektedir. Bu tür statik sistemlere Kurumsal Bilgi Sistemleri (ISR) veya Yönetici Bilgi Sistemleri (EIS) adı verilmektedir. Çok fazla soru var ve günlük inceleme için yeterli olduğundan, bir karar verildiğinde ortaya çıkabilecek tüm beslenmeye ilişkin hiçbir gösterge yok. Böyle bir sistemin işleyişinin sonucu, kural olarak, dikkatli bir modifikasyondan sonra analistin yeni bir dizi yiyecek aldığı zengin sinyallerdir. Bununla birlikte, böyle bir sistemin tasarımı sırasında yeni girişin aktarılmaması, öncelikle resmi açıklamalardan, programcı tarafından yapılan kodlamalardan ve ancak daha sonra yapılan değişikliklerden kaynaklanmaktadır. Böyle bir zaman için iyileşme saati giderek daha fazla gün haline gelebilir, ancak bir daha asla hoş olmayacaktır.

Operasyonel analitik işleme. Veya Çevrimiçi Analitik İşleme, OLAP, veri ambarlarını düzenlemenin önemli bir bileşenidir. OLAP konsepti 1993 yılında tanımlandı. Edgar Codd kapsamlı analiz için aşağıdaki avantajları sağlar:

– hiyerarşiler ve çoklu hiyerarşiler için yenilenmiş destek de dahil olmak üzere verilerin zengin kavramsal sunumu (OLAP'ın önemli bir özelliği);

- Analiz sonuçlarının keyifli bir saatte (en fazla 5 saniye) teslim edilmesi, daha az detaylı bir analizin maliyetine yol açmaz;

- belirli bir programa özel herhangi bir mantıksal ve istatistiksel analizin gerçekleştirilmesi ve son kullanıcının erişebileceği bir şekilde kaydedilmesi olanağı;

- güvenli engelleme mekanizmaları ve yetkili erişim mekanizmalarının desteğiyle verilere geniş bir yelpazedeki kişisel erişime yönelik sigorta kapsamı;

– gerekli herhangi bir bilgiye erişme yeteneği, onu kaydetme yükümlülüğünden bağımsızdır.

Bir OLAP sistemi birçok bileşenden oluşur. En ileri düzeyde, sunulan sistem bir veri çekirdeği, OLAP teknolojisine dayalı raporları katlamak için bir mekanizma, bir OLAP sunucusu ve bir istemci uygulamayı mümkün kılan büyük bir veritabanı (MBD) içerir. Sistem istemci-sunucu prensibine dayanmaktadır ve MDB sunucusuna uzun vadeli erişim sağlayacaktır.

Depo OLAP sistemlerine bir göz atalım.

Dzherela. OLAP sistemlerinde Jerel, analiz için veri alan bir sunucudur. Özellikle bir OLAP ürününün çekirdeği bir veri ambarı, ayrıştırılan bir veritabanı, gizli verileri depolayan, yazılan bir veri tabanı olabilir.

mali verileri veya yukarıdakilerin herhangi bir kombinasyonunu özetleyen bir tablo.

Bir sürü haraç. Çıktı verileri, veri ambarı prensiplerine göre tasarlanmış bir ambarda toplanır ve saklanır. Veritabanı ilişkisel bir veritabanıdır (RDB). Ana tablo DW (olgu tablosu), istatistiksel bilgi toplayan göstergelerin sayısal değerlerini içerir.

Büyük küresel veritabanı Verilerin toplanması, bir dizi nesneden oluşan zengin bir veri veritabanı için bilgi kaynağı görevi görür. Bu nesnelerin ana sınıfları nesli tükenmekte olan ve sergilenenlerdir. Ölmeden önce, saat, bölge, kurulum türü vb. gibi veri indekslemenin gerekli olduğu kişisel olmayan değerler (parametreler) girilir. Dış görünüm verileri, veri depolama tablosunun değerleriyle doldurulur. Vimirlerin bütünlüğü izlenecek sürecin kapsamını gösterir. Ekranların altında çeşitli veri küpleri (hiperküpler) bulunur. Hypercube, verilerin yanı sıra görüntü ambarına dahil edilen ayarlamalara ilişkin toplamları da içerir. Göstergeler MDB'nin ana ikamesine eklenir ve gerçekler tablosuna göre doldurulur. Hiperküpün dış yüzey ekseni boyunca veriler, farklı ayrıntı düzeylerini temsil eden bir hiyerarşi halinde düzenlenebilir. Bu, verilerin daha ileri analizi sırasında verilerin toplanmasına ve detaylandırılmasına yol açan hiyerarşik değişikliklerin oluşturulmasına olanak tanır. Hiyerarşik bir dünyanın tipik bir örneği, bölgelere, bölgelere ve ilçelere göre gruplandırılmış bölgesel nesnelerin bir listesidir.

Sunucu OLAP sisteminin uygulama kısmı OLAP sunucusudur. Bu depo, tüm çalışmaları (sistem modeline bağlı olarak) saklar ve aktif erişim sağlanana kadar tüm bilgileri saklar. Sunucu mimarisi farklı konseptlere tabidir. OLAP ürünlerinin temel işlevsel özelliği olan Zokrema, MDB ve RDB veri depolamanın kullanılmasıdır.

Müşteri programı Veriler benzersiz bir şekilde yapılandırılmıştır ve MDB'de saklanmakta olup, ek istemci programları tarafından analiz edilmek üzere erişilebilmektedir. Yazar, verilere uzaktan erişime, karmaşık sorgular formüle etmeye, sorgular oluşturmaya ve birden çok veri alt kümesini çıkarmaya olanak tanır. Karar, belirli değerlerin seçimine ve hiperküpün kesilmesi ihtiyacına bağlıdır. Retin, vimirlerin seçilen değerleri ile gösterilir. Diğer yok oluşlardan önce veriler dikkate alınmalıdır.

OLAPistemcide ve sunucuda. Verilerin kapsamlı analizi, istemci ve sunucu OLAP işlevlerine bölünebilen çeşitli yöntemler kullanılarak gerçekleştirilebilir.

İstemci tarafı OLAP özellikleri (örneğin, Microsoft'tan Excel 2000'deki Pivot Tablolar veya Knosys'ten ProClarity), toplu verilerin hesaplanmasına ve bunların görüntülenmesine olanak tanıyan eklentiler sağlar. Bu durumda, toplu verilerin kendisi OLAP adres alanının ortasındaki önbelleklerde bulunur.

Çıkış verileri bir masaüstü DBMS'de bulunuyorsa, toplu verilerin hesaplanması OLAP yönteminin kendisi tarafından yapılır. Çıktı verilerinin bir sonucu olarak - istemci OLAP yeteneklerini kullanarak sunucuya SQL sorguları gönderen ve sonuç olarak sunucuda hesaplanan toplu veriler üreten bir sunucu DBMS'si.

Kural olarak, OLAP işlevselliği verilerin ve çeşitli elektronik tabloların istatistiksel işlenmesinde uygulanır.

En basit OLAP işlevselliğini uygulayan eklentiler (örneğin, Decision Cube Borland Delphi ve Borland C++ Builder bileşenleri gibi) oluşturmanıza olanak tanıyan sınıf veya bileşen kitaplıkları oluşturmak için birçok geliştirme yöntemi vardır. Ayrıca, ActiveX öğelerini ve benzer işlevleri uygulayan diğer kitaplıkları tanıtan birçok şirket vardır.

İstemci OLAP işlevleri, kural olarak, az sayıda değişken (altıdan fazla olmayan sayı) ve bu parametrelerin değerlerinde küçük bir çeşitlilik olduğunda, kural olarak durgunlaşma eğilimindedir - toplu verilerin parçaları adrese yerleştirilmelidir uzayda bu şekilde hareket eder ve titreşimlerin sayısı arttıkça bunların miktarı da katlanarak artar.

Birçok istemci OLAP işlevi, yeniden hesaplanmaması için bir dosyadaki toplu verilerle birlikte bir önbellekte saklanabilir. Ancak bu yetenek genellikle diğer kuruluşlara aktarım veya yayın için toplu veri çıkarmak için kullanılır.

Toplu verilerin önbelleğini bir dosyaya kaydetme fikri, toplu verileri kaydetme ve değiştirmenin yanı sıra bir mekanizmayı teşvik etme gibi sunucu OLAP tekniklerinde (örneğin, Oracle Express Server veya Microsoft OLAP Hizmetleri) daha da geliştirilir. bunları kaldırmak için kullanılabilecek ek bir işlemle sizi vaftiz edeceğiz, OLAP sunucusunu çağırıyoruz. İstemci programları benzer miktardaki veriyi alabilir ve bu veriden başka verileri alabilir. Herhangi bir istemci programı da bu tür olayları oluşturabilir veya bunları değişen çıktı verilerine göre güncelleyebilir.

İstemci tarafı OLAP tekniklerine kıyasla sunucu tarafı OLAP yeteneklerini kurmanın avantajları, masaüstü olanlarla karşılaştırıldığında sunucu DBMS kurmanın avantajlarına benzer: sunucu tarafı yeteneklerinin kurulumu durumunda, toplu verilerin hesaplanması ve kaydedilmesi, gerçekleştirilen. sunucuda bulunur ve istemci eklentisi yalnızca onlardan önceki sorguların sonuçlarını alır, bu da izin verir. Bu, ara trafikte, durma süresinde ve istemci tarafından sağlanan kaynaklara erişimde bir azalmaya neden olacaktır.

3.5 Küresel veri depolamanın teknik yönleri

OLAP uygulamalarının çeşitliliği üç seviyeye ayrılabilir:

1. Zengin dünya verileri– Verilerin zengin görselleştirilmesini ve işlenmesini sağlamak için son kullanıcının özellikleri; Zengin dünya topu, verilerin fiziksel yapısından soyutlamaların tezahürüdür ve verileri zengin dünya olarak algılar.

Zengin dünya örneği- çok çeşitli sorguların formüle edilmesi (geleneksel ilişkisel SQL dili burada uygun değildir) ve böyle bir sorguyu işleyip çıktısını alabilecek bir işlemci.

Bagatomirne Tasarrufu- Çok çeşitli uygulamaların etkili bir şekilde işlenmesini sağlayacak verilerin fiziksel organizasyonunun özellikleri.

İlk iki düzey doğal olarak tüm OLAP uygulamalarında mevcuttur. Üçüncü çizgi, genişletilmesi gerekse de, mutlaka karmaşık değildir; zengin bir küresel olguya ait veri parçaları, geleneksel ilişkisel yapılardan elde edilebilir. Bu durumda zengin dünya sorgu işlemcisi, zengin dünya sorgularını ilişkisel DBMS tarafından işlenen SQL sorgularına çevirir.

Herhangi bir veri koleksiyonunda - hem birincil hem de dünyadaki - işletim sistemlerinden alınan bir dizi ayrıntılı veri kaydedilir ve ay bazında, ürün kategorisine göre vb. satışlardan sorumlu olanlar gibi toplu göstergeler (özet göstergeler) Birimler, içecek tüketimini hızlandırmak için tek bir yöntem kullanılarak kaydedilir. Ve bir yandan sistem, kural olarak çok büyük miktarda veri biriktirirken, diğer yandan analistler ayrıntılı değil, ayrıntılı göstergeleri ortaya çıkaracak. Ve pazar başına satış miktarını hesaplamak için milyonlarca bireysel satışı dahil etmek gerekeceğinden, fiyat her şey için daha tatsız olacaktır. Bu nedenle zengin bir veri tabanından veri alındığında toplam verinin tamamı veya bir kısmı hesaplanır ve kaydedilir.

Tim, toplu veri arayışı da eksikliklerle tehdit ediyor. Ana dezavantajlar, kaydedilen bilgi miktarındaki artış (bir küp oluşturmak için yeni veriler eklendiğinde katlanarak büyür) ve bunları çekmek için gereken süredir. Üstelik bilgi alışverişi onlarca, yüzlerce kat artabiliyor. Örneğin, yayınlanan standart testlerden birinde, 10 MB çıkış verisi için yeni toplamların eklenmesi 2,4 GB yer kaplıyor, yani veriler 240 kat arttı!

Agregaların hesaplanmasında artan veri yükümlülüğünün düzeyi, küp sayısına ve bu birimlerin yapılarına bağlı olmalıdır, böylece bunlar, farklı çıkarma seviyelerindeki tank ve ped sayısına karşılık gelir. Birim tasarrufu sorununu çözmek için, mümkün olan tüm birimleri hesaplarken güç tüketimi verimliliğinde önemli bir artış elde edilmesini sağlayan katlama devreleri kullanılır.

Hem hafta sonu hem de toplu veriler şu şekilde kaydedilebilir:

ilişkisel ve zengin yapılar. Bununla bağlantılı olarak, dünyevi verileri kaydetmenin üç yolu vardır:

MOLAP (Çok boyutlu OLAP) – çıktı ve toplam veriler zengin bir veritabanında saklanır. Verileri zengin dünya yapılarına kaydetmek, verileri zengin dünya masifleri gibi değiştirmenize olanak tanır, ancak toplam değerleri hesaplamanın akışkanlığı her tür yok oluş için aynıdır. Ancak bu durumda, zengin dünya veri tabanı çok sayıda görünmektedir ve zengin dünya verilerinin parçaları, çıktı ilişkisel verileriyle birleşmektedir.

Bu sistemler en son OLAP işleme döngüsünü sağlayacaktır. Sunucu bileşenine ek olarak istemci arayüzünün entegrasyon gücünü dahil edebilir veya harici programlara ve elektronik tablolara bağlanmak için bir vicor kullanabilirsiniz.

ROLAP (İlişkisel OLAP) – çıktı verileri daha önce kullanılan aynı ilişkisel veritabanından kaybolur. Toplu veriler, bu veritabanındaki depolama hizmeti tablolarının özel bir oluşumuna yerleştirilir.

HOLAP (Hibrit OLAP) – çıktı verileri daha önce olduğu gibi aynı ilişkisel veritabanında, toplu veriler ise zengin bir küresel veritabanında depolanır.

Bazı OLAP araçları, verilerin ilişkisel yapılarda, ancak yalnızca zengin yapılarda kaydedilmesini teşvik eder. Ancak mevcut sunucu tarafı OLAP özelliklerinin çoğu, verileri kaydetmenin üç yolunu destekler. Kaydetme yönteminin seçimi, sorguların düzgünlüğüne ve OLAP küplerinin güncellenme sıklığına olanak tanıyan çıktı verilerinin yapısına bağlıdır.

3.6 Akıllı veri analizi (Verimadencilik)

Veri Madenciliği terimi, çeşitli matematiksel ve istatistiksel algoritmalar kullanarak korelasyonları, eğilimleri ve ilişkileri bulma süreci anlamına gelir: kümeleme, regresyon ve korelasyon analizi ve karar destek sistemleri için. Kayıt bir kez biriktirildikten sonra otomatik olarak bilgi olarak nitelendirilebilecek bilgiye indirgenecektir.

Mevcut Veri Madenciliği teknolojisi, bilgi edinimi olarak adlandırılan, veri ve depo seçimini yöneten kalıpları temsil eden şablonlar kavramına dayanmaktadır.

Desen arayışı, bu alt seçimlerle ilgili ortak önsel varsayımlara meydan okumayan yöntemler kullanılarak gerçekleştirilir. Veri Madenciliğinin önemli bir özelliği, tanımlanabilecek kalıpların standart dışı ve açık olmamasıdır. Başka bir deyişle, Veri Madenciliği özellikleri, muhabirler tarafından iletilen ara bağlantıların geri kontrolünün yerine geçmek üzere istatistiksel veri işleme araçlarından ve OLAP özelliklerinden farklılaştırılmaktadır.

Açık verilerden ortaya çıkan bu veriler arasında bina bağımsız olarak bu tür ilişkileri bilir ve karakter hakkında hipotezler ortaya çıkar.

Akıllı veri analizi süreci (Veri Madenciliği) üç aşamadan oluşur

kalıpların tanımlanması (vahşi arama);

bilinmeyen değerleri aktarmak için kalıpların keşfi (tahmin edici modelleme);

hataların analizi, anlamları, bilinen kalıplardaki anormalliklerin tespiti ve düzeltilmesi.

Bazen, kendileriyle kaynakları arasında bulunan modellerin güvenilirliğinin doğrulanması için bir ara aşamanın (doğrulama aşaması) olduğu görülmektedir.

Veri Madenciliği yöntemleriyle ortaya çıkan beş standart model türü vardır:

1. Dernek Aralarında örtülü bir bağlantı bulunan sabit nesne gruplarını görmenizi sağlar. Belirli bir nesnenin veya nesne grubunun yüzlerce kez ortaya çıkma sıklığına genişlik denir. Genişlik düzeyinin düşük olması (binde birden az olması) böyle bir ilişkinin bulunmadığı anlamına gelir. Dernekler aşağıdaki kurallara göre kaydedilir: A=> B, de A - yiyecek arama, İÇİNDE - soruşturma. Derinin sahip olduğu ilişkisel kuralın önemini değerlendirmek için güvenilirlik adı verilen değerin hesaplanması gerekir. Aönce sen(veya ara bağlantılar A ve B). Güven, ne sıklıkta göründüğünü gösterir A görünür Sanat. Mesela sanırım d(A/B)=%20, bu da mal alımından anlamına gelir A beşinci cilt durumunda banyolar ve ürünler Sanat.

Birlik kurmaya yönelik tipik bir yaklaşım, satın almaların yapısını analiz etmektir. Örneğin bir süpermarkette araştırma yapıldığında patates cipsi alanların %65'inin aynı zamanda Coca-Cola da aldığı ve böyle bir sette bariz indirimler karşılığında %85'inin Coca-Cola satın aldığı tespit edilebilir. Bu tür sonuçlar pazarlama stratejilerini formüle ederken değerlidir.

2. Sıra - Bu, ilişkileri bir saat içinde tanımlamaya yönelik bir yöntemdir. Şarkı söyleyen grupların art arda ortaya çıkışını tanımlamak için ara sıra kurallar konur. Bu kurallar günlük senaryolar için gereklidir. Ek olarak, örneğin belirli bir ürünün alt satışlara neden olabilecek tipik bir üst satış kümesi oluşturmak için de kullanılabilirler.

3. Sınıflandırma - bileme aracı. Tek tek nesnelere bakmaktan, bir nesne koleksiyonunun eylemlerini neyin karakterize ettiğini anlamaya geçmenizi sağlar ve bu koleksiyonlara (sınıflara) ait nesneleri tanımak için yeterlidir. Şekillendirme sürecinin özü, sınıfları yöneten yasaların bilgisinde yatmaktadır. Nesneleri tanımlamak için çeşitli işaretlerin (niteliklerin) kişiliksizliği kullanılır. İşaret açıklamalarının arkasında bir anlayış oluşturma sorunu M.M. Bonhart. Bu kararlar iki temel prosedüre dayanmaktadır: başlatma ve doğrulama. Başlatma prosedürleri, başlangıçtaki nesne kümesinin işlenmesine dayalı bir sınıflandırma kuralına sahip olacaktır. Doğrulama prosedürü, yeni bir (inceleme) seçimdeki nesneleri tanımak için sınıflandırma yapan aynı kuralı izler. Doğrulama sonuçları tatmin edici ise başlama süreci sona erecek, aksi takdirde yeniden başlama sürecinde sınıflandırma kuralı netleştirilecektir.

4.Kümeleme – bu, veritabanındaki bilgilerin (kayıtların) gruplara (kümelere) ve aynı anda belirlenmiş gruplara sahip bölümlere bölünmesidir. Sınıflandırma durumunda analiz, sınıfların önceden ayarlanmasını gerektirmez.

5. Saat serilerini tahmin etme Analiz edilen nesnelerin niteliklerinde zaman içinde meydana gelen değişikliklerin eğilimlerini belirlemek için bir araçtır. Zaman serisinin davranışının analizi, aşağıdaki göstergelerin değerlerinin tahmin edilmesine olanak sağlar.

Bu tür görevleri tamamlamak için Veri Madenciliği'nin çeşitli yöntemleri ve algoritmaları kullanılır. Veri Madenciliği'nin istatistik, bilgi teorisi, bilgisayar bilimi, veritabanı teorisi gibi disiplinler temelinde gelişmiş ve gelişmekte olması önemlidir, Veri Madenciliği algoritmalarının ve yöntemlerinin çoğunun bölünmüş olması ve bunların çeşitli yöntemlerinin olması tamamen doğaldır. disiplinler.

Temel gözetim yöntemlerinin çeşitliliği şu şekilde görülebilir:

regresyon, varyans ve korelasyon analizi(güncel istatistik paketlerinin çoğundaki satışlar, Zocrema, SAS Institute ürünleri, StatSoft, vb.);

analiz yöntemleri ampirik modellere dayanan belirli bir konu alanında (genellikle örneğin ucuz finansal analiz yöntemlerinde);

nöroeskrim algoritmaları– katlanabilir depolama alanı oluşturmaya olanak tanıyan süreçleri ve kutuları simüle etme yöntemi. Yöntem, biyolojik beynin kısa vadeli basitleştirilmiş bir modeline dayanmaktadır ve çıktı parametrelerinin, “nöronlar” arasında belirgin bağlantılara dönüştürülen sinyaller olarak kabul edilmesi esasına dayanmaktadır ve sonuç olarak, Analizde, çıktı verileri üzerindeki tüm önlemlerin sonuçları görülmektedir. Bağlantılar, hem çıkış verilerinin hem de doğru girişlerin yerleştirilmesi için seçim işlemi adı verilen işlem yardımıyla oluşturulur. Sinir ağları, en yüksek sınıflandırma gerekliliklerine göre geniş çapta sınıflandırılır;

Bulanık mantıkÇeşitli dilsel değişkenlerle temsil edilebilecek, farklı doğruluk değerlerine sahip verilerin işlenmesi gerekmektedir. Bulanık sunulan bilgi, örneğin XpertRule Miner sisteminde (Attar Software Ltd., Birleşik Krallık) ve ayrıca AIS, NeuFuz vb.'de ileri sınıflandırma ve tahmin için yaygın olarak kullanılmaktadır;

Endüktif anahtarlar Resmi gerçekleri veritabanından kaldırmanıza olanak tanır. Hipotez geliştiren bir uzman tümevarımsal öğrenme sürecinde yer alabilir. Bu yönteme öğretmenden öğrenme denir. Resmileştirilmiş kuralların araştırılması, hipotezlerin otomatik olarak üretilmesi yoluyla okuyucu olmadan gerçekleştirilebilir. Günümüzün yazılımı iki yöntem kullanıyor ve hipotezleri test etmek için istatistiksel yöntemler kullanılıyor. Endüktif bağlantılara dayalı bir sistemin örneği, Attar Software Ltd. tarafından geliştirilen XpertRule Miner'dır. (Büyük Britanya);

dayalı satış benzer bölümler(“En yakın durum” yöntemi) (Vakaya dayalı akıl yürütme - CBR), bir DB durumunun araştırılmasına, belirli bir durumdan bazı benzer işaretlerin açıklamalarına dayanır. Analoji ilkesi, benzer durumların sonuçlarının da birbirine yakın olacağını varsaymamızı sağlar. Bu yaklaşımın büyük bir kısmı, en son kanıtları oluşturmak için düzenli modellerin veya kuralların bulunmaması gerçeğinde yatmaktadır. Ayrıca sonuçların güvenilirliği, tümevarımsal çıkarım süreçlerinde olduğu gibi, durumun tanımının eksiksizliğinde yatmaktadır. CBR'nin kullanıldığı sistemlere örnekler şunlardır: KATE Tools (Acknosoft, Fransa), Pattern Recognition Workbench (Unica, ABD);

ağaç çözümü– köşeleri verileri sınıflandırmanıza ve ortaya çıkan çözümün analizini yapmanıza olanak tanıyan üretim kurallarını temsil eden ağaç benzeri bir grafik biçiminde yapılanma yöntemi. Bu yöntem oldukça zengin olan sınıflandırma kuralları sisteminin net bir şekilde anlaşılmasını sağlar. Basit görevler, sinir ağlarına ihtiyaç duymadan bu yöntemle çok daha kolay bir şekilde çözülebilir. Karmaşık problemler ve belirli ağaç verisi türleri için çözümler hoş olmayan sonuçlar doğurabilir. Öte yandan bu yöntem anlamlılık sorunuyla karakterize edilir. Verilerin hiyerarşik kümelenmesinin miraslarından biri, sınıflandırmanın güvenilir bir şekilde yapılamadığı çok çeşitli ilgili konular için çok sayıda ilk uygulamanın varlığıdır. Karar ağacı yöntemleri, aşağıdakiler dahil olmak üzere birçok yazılım uygulamasında uygulanmaktadır: C5.0 (RuleQuest, Avustralya), Clementine (Integral Solutions, Birleşik Krallık), SIPINA (Lyon Üniversitesi, Fransa), IDIS (Information Discovery, ABD);

evrimsel programlama- arama, arama sürecinde değiştirilen belirli bir algoritma temelinde verilerin karşılıklı bağımlılığını ifade eden bir algoritmanın üretilmesidir; Bazen birçok fonksiyon türü (örneğin polinomlar) arasında karşılıklı bağımlılık arayışı ortaya çıkar;

sınırlı kaba kuvvet algoritmaları veri alt gruplarındaki basit mantıksal kavramların birleşimiyle hesaplanır

3.7 EntegrasyonOLAPіVerimadencilik

Çevrimiçi analitik işleme (OLAP) ve akıllı veri analizi (Veri Madenciliği), karar almayı destekleyen iki depo sürecidir. Günümüzde çoğu OLAP sistemi, çok sayıda küresel veriye güvenli erişime odaklanmaktadır ve düzenlilikler alanında faaliyet gösteren çoğu Veri Madenciliği özelliği, aynı veri perspektifleriyle el ele gitmektedir. Karar destek sistemleri için veri işlemenin verimliliğini artırmak amacıyla iki analiz türü birleştirilebilir.

Şu anda, OLAP Veri Madenciliği (zengin akıllı analiz) depo terimi bu tür bir toplamayı gösteriyor gibi görünüyor.

“OLAP Veri Madenciliği” oluşturmanın üç ana yöntemi vardır:

"Küpleme, ardından madencilik". Entelektüel analiz potansiyeli, kavramsal veri zenginliğinin herhangi bir sonucu, göstericilerin hiperküpüne yönelik herhangi bir projeksiyonun herhangi bir parçası üzerinden elde edilebilir.

"Madencilik, sonra küpleme". Analojiden elde edilen verilere benzer şekilde, suçluların akıllı analizinin sonuçları daha fazla çoklu dünya analizi için hiperkübik formda sunuldu.

"Madencilik sırasında küpleme". Bu esnek entegrasyon yöntemi, hizalama seviyeleri, yeni bir hiperküp parçasının çıkarılması vb. arasındaki çok çeşitli analizlerin (geçiş) cilt analizi sonucu aynı tür entelektüel işleme mekanizmalarını otomatik olarak etkinleştirmenize olanak tanır. ).

Astronomi için 11 sınıf [Metin... Ben yak parça her şey sistemler ... doçent ... Çoboksarı, 2009. № 10. 44 -49....Yazar- polis memurları: N... notlardersler, ...

• Temel metodolojik kılavuz

  ... dersler. Hazırlık dersler Matematikte. Yazılı notlardersler dersler. Vikoristannya bilgiteknoloji ...

• Geleceğin matematik öğretmeninin bilimsel araştırma faaliyeti, ilköğretim matematikte yaratıcı çalışma ve hesaplama yöntemleri olan Kondaurov ve Lebedev'den önce ben

  Temel metodolojik kılavuz

  ... dersler. Hazırlık dersler Matematikte. Yazılı notlardersler. İlk yardımcıların hazırlanması. Okuma tekniği dersler. Vikoristannya bilgiteknoloji ...

• M YILANLARIN İZLENMESİ Mesleki eğitimin modernizasyonu Berezen - Serpen 2011r

  Kısa vadeli

  ... 11 .08.2011 RNIMU'DA "Ölü Canlar-2" Ben ... 3,11 -3,44 . ... halk dersler kerivniki... Şaboksarı... ve karalama notlar kitle - ... bilgisistemlerі teknolojiler. ... sistem aydınlatmak, - görünmek doçent ... polis memurları ... parçalar gerçeğin ilerlemesi zmіstu ...

BİLGİ İLETİMİNİN DOĞRULANMASI

Bilgiler çeşitli kaynaklardan toplanır, gruplandırılır ve derlenir. Bu durumda özel saygı, verilerin kullanışlılığının ve güvenilirliğinin tersine dönmesinden kaynaklanmaktadır. Orijinal belgeler, kural olarak, nesnel olarak bu ve diğer hükümet operasyonlarının özünü yansıtıyor, ancak ne yazık ki ayrıntılar, tartışmalar ve uzlaşmalar da var. Bilgilerin yanlışlığı objektif veya subjektif nedenlerden kaynaklanabilir.

Doğrulama süreci birkaç aşamadan oluşur:

1) tıbbi yeniden doğrulama (ciro sayfalarının katlanma şekline ilişkin veri türünün doğrulanması, tıbbi doğrulama tablosu);

2) sustrik tersine çevirme (farklı kaynaklardan alınan güncel bilgiler);

3) mantıksal tersine çevirme (analist ekonomik durumu, iç ve dış bilgilere ne ölçüde güvenilebileceğini anlar);

4) Koriguvannya (Bilanço kârına, sermaye büyüklüğüne ve amortismana düzeltmeler getirildi);

Yapılan tüm ayarlamalar temelli ve objektif olmalıdır.

Bir işletmenin mali ve hükümet faaliyetlerinin ilerleyişi ile mevcut ve iç zihinler hakkındaki bilgilerin hazırlanması ve analitik olarak işlenmesi, işletme yönetiminin önemli bir parçasıdır. Bu süreç, üretimin ilerleyişini izlemek amacıyla hızlı karar vermek için gerekli bilgilerin toplanması, işlenmesi, kaydedilmesi ve iletilmesi için çeşitli teknik araçların durgunluğuna dayanmaktadır.

Bilgilerin analitik işlenmesi şunları içerir:

1) görüntüleme sisteminin tanımı Analizin hedeflerine ulaşmak için gerekli değerlendirmeler.

Katılımcılar şu şekilde gruplandırılmıştır:

- hesaplama yöntemi(mutlak ve spesifik);

- zastosovuvannym vimiryuvach(doğal, değişken, işçilik vb.);

- takıntılı özellikler(Kolkisni, Yakışni);

- sahne(Uzagalnuyuchi, özel);

- çalkantılı bir dönem(Statik, dinamik);

- tamamen işletmenin faaliyetlerini(Nesnel, öznel);

- depo verimliliği(verimlilik, sermaye çıktısı, ürün getirisi, malzeme çıktısı);

- yaşam döngüsünün aşamaları(Tasarım, üretim, malzeme güvenliği, uygulama, işletme).

2) ayrıntılı bilgi:

A) katlanmış analitik tablo ;

Analitik tablo- Düşüncelerin, yargıların, sayıların ifade edilmesinden oluşan bir sistem olan olgunun araştırılması hakkında analitik bilgi sunmanın en akılcı ve anlaşılması kolay şekli.

Analitik tablolar, kronolojik dönemler için analitik veriler oluşturmak ve bu temelde şunları belirlemek için kullanılır: ölçülen göstergelerin dinamikleri; elde edilen veya tahmin edilen değerlerin, geleceğe yönelik planın ve öngörülen gelecek dönemlere ilişkin ek göstergeler, zorunlu normlar, hükümetin diğer konularının göstergeleri olabilecek temel verilerle eşitlenmesi, seçilen Ve analist, araştırmayı not ediyor yürütülüyor. Tablo materyali analitik verilerin tek bir sistem olarak analiz edilmesini mümkün kılar. Ek bir masa kullanmak, aşağıdaki öğeler arasındaki bağlantıları kapatmayı çok daha kolay hale getirecektir.

B) bilgilerin grafiksel gösterimi;

Analiz materyallerinin doğruluğunu arttırmak için göstergelerin dinamikleri küçük grafikler, diyagramlar halinde sunulmakta ve bu da materyali daha erişilebilir ve anlamlı kılmaktadır.

Grafikler– bu, şekillerin, geometrik işaretler (çizgiler, dikdörtgenler, daireler) veya zihinsel-sanatsal figürlerin kullanıldığı sayıların daha büyük ölçekli bir tasviridir. Grafik, bir tablo olarak, incelenen nesnenin gelişimi ve gelişiminin net bir resmini verir ve sayısal bilgi içeren kalıpları görsel olarak not etmenize olanak tanır. Analizde kullanılan ana grafik türleri şunlardır: diyagramlar. Formunuzun arkasında Histograflara (bağlantı parçaları, doğrusal parçalar), dairesel, halka, pelet, bej, silindirik ve diğerlerine ayrılırlar. Kamera ARKASI hizalama, yapısal, dinamik, bağlantı programları, kontrol programları vb. olarak bölünmüştür.

V) tesviye - benzerliklerini veya benzerliklerini belirlemek amacıyla benzer nesnelerin düzenlenmesi (rapor daha ayrıntılı olarak tartışılacaktır);

G) Ekranların temizlenmiş bir görünümde sunumu , Daha sonra. Dahil edilen faktörlere dayalı olarak göstergelerin birleşik bir temele indirgenmesi , Parçalar yalnızca açıkça homojen değerlerle karşılaştırılabilir. Göstergelerin tutarsızlığı farklı fiyat seviyelerinden, farklı üretim süreçlerinden, ürünlerin heterojenliğinden, yapısal değişikliklerden vb. kaynaklanabilir. Yanlış göstergelerin ayarlanması, analiz sonuçlarına göre yanlış atamalara yol açacaktır;

D) bilgilerin gruplandırılması - benzer işaretlerin arkasında bir şekilde homojen gruplara dahil edilen nesnelerin bütünlüğünün bölünmesi. Analize dikkat etmek önemlidir tipolojik(faaliyet için nüfus grupları, iktidar biçimleri için işletmeler, vb.); yapısal(meslek, iş tecrübesi, yaş vb. göre işçilerin deposu); analitik(yakisni, kilkisni) gruplaması. Gündelik hayatın karmaşıklığının arkasında gruplaşma var Üzgünümі kombine.

e) detay - Analizi düzenlememize, göstergeye giren tüm faktörleri kapsamlı bir şekilde değerlendirmemize, çeşitli göstergeler ve faktörlerin karşılıklı ilişkilerini modellememize vb. olanak tanıyan, analiz edilen ekonomik olayların tutarlı bir şekilde incelenmesi.

Galina Akimova, Matviy Pashkin

Teknoloji izhnizhi jerel, INTERNENT-SMI sayısı, giriş otomasyonu (ShO tematik analizmi, tutarsızlığı, ceket olan zbergannya'yı açtı) yani Otrimanni İstatistik Tu Dajestiv'i içeriyor.

Günümüzde metin veri dizilerinin analitik işlenmesinin ana yöntemi, anahtar kelimeleri kullanarak belgeleri aramaktır. Bu operasyonun zekası, arama motorlarında bulunan belgelerin otomatik olarak sıralanmasıyla ve bunların öneminin değerlendirilmesi için dil morfolojisi ve (çoğunlukla) anlamsal sözlükler biçiminde basit yöntemlerin kullanılmasıyla desteklenir iv.

Bununla birlikte, özellikle tıp olmak üzere mevcut analitik görevlerin geliştirilmesi için, çıktı bilgilerine (genellikle İnternetten) büyük bir ihtiyaç vardır ve bu yeterli değildir. Günümüz dedektiflerinin ihtiyaç duyduğu şeylere örnek olarak Columbia Üniversitesi'nde geliştirilen Newsblaster programını kullanabilirsiniz. Başlangıçta Web'de bilgi bulmayı kolaylaştırmak amaçlanmıştı, ancak aslında İnternet'ten önemli haberler alabilirsiniz. Bu sistem haber sitelerini inceliyor, konularda bulunan bilgileri sıralıyor, metinlerin benzerlik düzeyini belirliyor ve beş önermeli yorum şeklinde yeni bir ürün oluşturuyor. Kampanyaya katılanların yaklaşık %88'i, bu programla çalışmanın, yeni öğeler bulmak için çeşitli Web sitelerinde "yürümek"ten çok daha kolay olduğunu düşünüyor.

Büyük miktarda bilgiyle çalışma sorununun iki yönü olduğu unutulmamalıdır: biri bilginin otomatik olarak toplanmasıdır (buna dayanarak daha yüksek sistem ve analogların yönelimi bilinir), diğeri ise otomatik bilgi toplamadır. Bilgilerin toplanması Bu konuyla ilgili bulunan bilgiler, faaliyetler Analizin temeli belge metnidir.

A. Kharlamov'a benzer şekilde metin analizine yönelik temel yaklaşımlar iki sınıfa ayrılabilir. Birinci sınıfa kadar istatistiksel yöntemlerin kullanılması gibi dil ve konu alanı dışına çıkmayacak şekilde İsveç algoritmalarının tanıtılması önerilmektedir. Başka bir sınıf, iyi bir sonuç veren daha fazla ayrıntıya ulaşmaya çalışır, bunun yerine konu alanının dili içinde yer alan ve daha çok dilsel yöntemlere dayanan daha gelişmiş yaklaşımlar elde etmeye çalışır.

Hiç şüphe yok ki en etkili yaklaşım, birinci sınıf algoritmaların esnekliğini ve bağımsızlığını diğerinin yüksek işleme verimliliğiyle birleştiren yaklaşım olacaktır.

Yazarlara göre ana sistemlerden en etkili olanı, metinleri kategorize etmeye yönelik sözcüksel-istatistiksel bir yöntem olan TERMIN-5 sistemidir. Sözcüksel-istatistiksel yöntemin kullanışlılığı yüksek evrenselliğidir; değerlendirme tablosunun geri kalan kısımları yalnızca bir dizi başlangıç ​​metniyle gösterilir. Sistem, değerlendirme sürecini tamamen otomatikleştirmenize, değerlendirme listesini ilk metin seçiminden güvenli bir şekilde ayarlamanıza ve bir belgeyi bu veya başka bir değerlendirme listesine göndermek için genel kural oluşturmanıza olanak tanır. PHI'dan gelen gerçek metin mesajı akışlarının değerlendirilmesine odaklanmıştır.

Nitekim yazılım pazarında uzun süredir çeşitli fiziksel ve görsel göstergelerin matematiksel ve istatistiksel analizine yönelik analitik sistemler segmenti gelişmektedir. Ancak, diğer yayınlarda, yeni bilgi ajanslarının sayfalarında ve internetteki tematik sitelerde yer alan büyük miktardaki metinsel bilginin analizine tam olarak dikkat edilmesinden önce hala gidilecek uzun bir yol var.

Otorubrikasyon sistemlerinin Pobudova'sı

Metinsel bilgilerin daha iyi analizi ve ilgili konulara otomatik olarak daha fazla bölünmesi için, öncelikle araştırdığım bilgi alanını en doğru şekilde karakterize eden konuların veya kategorilerin bir listesini belirlemek üzere bir değerlendirme tablosu oluşturmak gerekir. Metni analiz edecek bir zihne sahip olmak, çalışmayı hem doğrusal hem de sınırsız sayıda eşit katkıyla hiyerarşik bir rubrikatörle desteklemek gerekir. Aşağıda Lenta.ru web sitesinde vikorize edilen doğrusal bir değerlendirme tablosu örneği verilmiştir:

Ayrıca doğrudan izleme değişebileceğinden, farklı başlıklar tarafından farklı başlıklar tarafından girilen aynı dizi bilgiyi sınıflandırabilmek istiyoruz.

Metin bilgilerinin işlenmesine yönelik diğer sistemlerde iki genel yaklaşım vardır: ya bir anahtar kelime listesine ya da başlığa bir şekilde eklenen bir terim listesine (nominal gruplar ve kelime öbekleri) dayalıdır. Ayrıca, herhangi bir bölüm için anahtar kelimelerin ve terimlerin sunulması için robotun hazırlanması çoğunlukla uzmanlar tarafından manuel olarak gerçekleştirilir.

Bu makalede TERMIN-5 sisteminin geliştirilmiş hali olan ve metinsel bilgilerin şarkı söyleme bölümüyle ilgisini karakterize eden bir terimler listesini otomatik olarak oluşturmanıza olanak tanıyan bir yönteme bakıyoruz. Bu yaklaşıma metnin otomatik anlamsal analizi için bir yöntem denilebilir. Pobudov'un karakteristik terimler listesi, dildeki kelimelerin sıklığına göre önemsiz olmayan isimleri ve resmi isimleri kesin terimlerle görmek için metnin morfolojik ve sözdizimsel analizi temelinde gerçekleştirilir.

Pobudova ilk seçimi

Değerlendirme tablosunun arkasındaki teknoloji, bu değerlendirme tablosunun kategorilerine atanan dosya veya belgelerin bir listesi olan ilk seçime dayanmaktadır. Puanlayıcının yaklaşımı, kısa bilgilendirici metinlerin maksimum anlamsal anlamla vurgulanması durumunda en etkili yöntemdir. Bir dizi değerlendirme listesiyle çalışarak bunları ilk seçiminizi formüle etmek için kullanabilirsiniz.

İlk seçimin doğruluğu yalnızca metinsel bilgilerin tematik analizi sırasında, yani veri tabanına girmeden önce belirlenebilir. Bu nedenle, ilk seçim yinelenen bir süreçtir: İlk seçim, seçilen konuya ve metnin analizine bağlı olarak ayarlanabilir.

Değerlendirme tablosunun içeriği

Bir değerlendirme tablosu başlatma süreci, her bir değerlendirme tablosunun uygunluğunu karakterize eden çok sayıda terimi içerir. Başlangıç ​​terimleri listesi, ilk seçimde saklanan belgelerin metninin analizine dayanarak ayrı bir değerlendirme listesi eklenerek oluşturulur. Görülen her terime metindeki önemini karakterize eden bir anlam verilir. Sonuçların daha ayrıntılı analizi, listeyi hassaslaştırmanıza, karıştırılan terimlerin anlamlarını anlamanıza ve çoğu zaman bunları ayırt etmenize olanak tanır.

Dereceli puanlama anahtarı hiyerarşisi, dereceli değerlendirme tablosunun önemli terimleriyle birlikte, yani ilk dereceli değerlendirme tablosuna otomatik dereceli değerlendirme listesi adı verilir. Uzmanın eklenen veya seçilen terimin işleyişini değiştirmesine, girişinizi değiştirmesine olanak tanıyan ek özelliklerin eklenmesi için, otomatik değerlendirmenin ilk terimlerinin oluşumundan işin sonuçlarını doğrudan etkileyebilirsiniz. Düzeltilen sonuçlar başlangıçta cilt kategorisini karakterize eden güçlü bir terimler veritabanında (nominal gruplar) saklanır ve daha sonra bulunan konuya özgü bilgilerin otomatik olarak seçilmesi için aranır.

Wikostrian değerlendirme tablosu

Ayrıca istemlerin derecelendiricisi olarak sisteme ulaşan metin dokümanlarının analizinde de kullanılabilir. Belgenin metninin, değerlendirme listesi oluşturucu tarafından istendiğinde ilk seçimdeki metinlerle aynı işleme tabi tutulması. Metnin otomatik morfolojik ve sözdizimsel analizi sonucunda, sıklığa göre bir dizi karakteristik terim (nominal kelime grupları) belirlenir. Bu terim kümesi, benzer dış değerlendirme listesi kümeleriyle ilişkisi açısından değerlendirme tablosunun girdi parametresi haline gelir. Sonuç olarak, bu metnin cilt değerlendirme listeleriyle ilgisine ilişkin bir değerlendirme alacaksınız. Son işlemci, belirtilen güven eşiklerine kadar güvenilmez (zayıf) tespit edebilir ve/veya güvenilir (yüksek) puanlar görebilir.

Genel olarak bu veya başka bir kategorideki giriş bilgilerinin yetkisinin otomatik olarak belirlenmesi sürecine otomatik değerlendirme adı verilir.

Bilginin ileri işlenmesi

Ana bilgi kaynağı olarak internet medyasına, haber sayfalarına, elektronik belgelere ve diğer yayınlara bakılabilir. Veri işleme mümkün olan maksimum otomasyon ilkesine dayanmaktadır. Hem belge metninin analizini hem de yeni belgelerin aranmasını ve bunların bilgi deposuna daha fazla girilmesini içerir.

Gönderimin formatına bakılmaksızın bulunan metin ve konuya özel bilgilerin otomatik analizi, sözdizimine girilmeden hemen önce ve çıktı verilerinin sonradan işlenmesinden sonra derlenir.

Bilgi işlem sistemlerinin gerekli bir işlevsel unsuru, bunların çoğaltılmasının doğrulanmasıdır. Bu özellikle, bazen siteye gönderilmeden, genellikle yeni bir bilgi akışının olduğu İnternet için geçerlidir. Makalenin başlığının ve sitede yayınlanma tarihinin bir saat içinde değişmesi de nadir değildir. Bu nedenle hem ayrıntıların hem de girilen metin ambarı belgesinin tekrarının kontrol edilmesi önerilir.

İnternet-ZMI.İnternette yayınlanan yeni ürünlerin işlenmesi, yalnızca sitenin yapısının tanımında ve yeni ürünleri çekme sürecinin organizasyonunda değil, aynı zamanda muhabirin işyerinde belirlenen güncel kurallarda da yatmaktadır. Web sitesine baktığım transfer takvimini ve sıklığını, yeni ürünleri destekleyen ayrıntıların yer aldığı depoyu, sitede belirtilen konunun türünü vb. gösteren bilgiler.

Haber akışları. Haber sayfasının yapısının özelliği, bir metin dosyasının ortasında birçok belgenin bulunmasıdır. Belgelerin gönderim formatına bağlı olarak, yeni sayfa, onu hazırlayan kuruluşun ortasında, tabiri caizse, çeşitliliği hakkında belirtilir. Yeni öğelerin işlenmesi, sabit sürücüde yeni öğeler, diğer belgeler ve depolama alanları için belirlenmiş bir biçimde kaydedilen yeni öğelerin otomatik olarak keşfedilmesini içerir.

Elektronik ve kağıt belgeler. Kağıt belgelerle çalışma teknolojisi, bunların elektronik forma dönüştürülmesiyle veya tarama işlemiyle başlar.

Analitik analiz

Farklı kaynaklardan gelen bilgi akışlarıyla çalışırken ilk adım, çeşitli bilgilerin toplanmasını otomatikleştirmek ve bunları tematik depolarda gruplandırmak için çeşitli seçeneklerdir. Şimdi, çoğu zaman istatistiksel raporların (muhtemelen tahmin unsurlarıyla birlikte) bir bileşimini ve belirli bir konudaki verileri gruplandırmanıza ve yayınlamanıza olanak tanıyan haftalık özetleri ileten bilgi analizi geliyor.

İstatistiksel raporlar. Girilen bilgilerin istatistiksel analizine dayanan analitik raporlar, mevcut verilerin gücünün hızlı bir şekilde değerlendirilmesine yardımcı olur ve çoğu zaman bir sonraki gün için iyi bir tahmin oluşturur. Bu tür bilgiler ya standart istatistik paketlerinden (özellikle tahminlerden) ya da verilerin Microsoft Excel'e aktarılmasıyla elde edilebilir.

Pobudova sindiriyor. Bir özet oluştururken, belirli bir kaynaktan mümkün olan en fazla bilginin sunumuna (yani, belgenin tam metninin sunumu) ve ayrıca yalnızca sunumun sunumuna ihtiyaç duyulduğunu dikkate almak gerekir. Kısa bir form, ayrıca metinler ve bilgiler soyut veya soyut olarak seçilir.

Bilgi ve analitik sistem "Astarta"

Aşağıda, bilgi ve analitik sistem "Astarta" (geliştirici - Bilişsel Teknolojiler şirketi, http://www.cognitive.ru) uygulamasından elde edilen bilgilerin işlenmesine yönelik çoğu yöntemin açıklamalarına bakacağız. Bu program çözümü “Efrat” teknolojisine dayanmaktadır ve internetten, diğer materyallerden, PMI'dan ve diğer kaynaklardan toplanan yapılandırılmamış bilgilerin toplanması, işlenmesi ve analizi için tasarlanmıştır. Arka uç düzenlemeye yönelik belgeleri ve yeni sayfa formatlarını sunucuda yayınlama olanağına sahip bir istemci-sunucu mimarisini kullanır. Sistemde üç farklı iş yeri türü ve dolayısıyla üç tür arka ofis çalışanı vardır: yönetici, uzman ve arka ofis çalışanı.

Yönetim

Astarti yöneticisi, sisteme erişim haklarını yönetme ve düzenleyici çalışmaları yürütme gibi standart işlevlere ek olarak, sistem ayrıntılarını, haber sayfaları için gizli formatları ve sunucudaki değerlendirme listelerini yayınlama işlevine de sahiptir. Müşteri sistemleri listesini oluşturarak ve ayarlayarak, ayrıca bu bileşenlerle çalışma haklarını belirleyerek, işletmenin yapısını, tesis sınıflandırıcısını ve birimler arası etkileşimin karakteristik bağlantılarını oluşturmak mümkündür. Tüm bu bileşenler yönetici tarafından sistem arayüzü aracılığıyla oluşturulur ve ayarlanır (Şekil 1).

Hem cilt bakım sistemine hem de doktor grubuna erişim hakları atayabilirsiniz. Bu grubun hakları tüm kullanıcı grupları için otomatik olarak ayarlanır. Bir kişi birçok grupta yaşadığından, hakları her grubun haklarıyla eşleşecek şekilde genişletilir.

Yönetici, yöneticinin işlevlerini kontrol etme hakkından suçlu olmayan, sistemin vizyon sahibi sahibidir.

Bir değerlendirme tablosuyla çalışma

Puanlayıcının oluşturulması, sistemin çalışmaya hazırlanmasındaki en önemli adımlardan biridir çünkü girdi bilgilerinin toplanacağı konuyu kendisi belirler. Sistem, sınırsız derinliğe sahip hiyerarşik bir değerlendirme tablosuyla çalışmayı destekler. Rubrikatör doğrudan sistem arayüzünden oluşturulabileceği gibi daha sonra uygun bir metin editörüyle hazırlanıp sisteme aktarılabilir. Hazırlık süresi boyunca, değerlendirme metninin hiyerarşinin daha fazla kademesi tarafından revize edilmesine izin verilir.

İlk seçimin seçimi ya bir sistem uzmanı ya da onun fonksiyonundan sorumlu bir uzman tarafından desteklenir. İlk seçim, kategorilere ayrılmış bir dizi dosyadan ve daha önce Astarta'ya girilen belgelerden oluşabilir. Bu durumda, belgenin sisteme girildiği anda yüklenen bu kategorinin alaka düzeyine ilişkin değerlendirme düzeyini seçebilirsiniz. Sistem belgelerinin formüle edilmiş ilk seçime katılma olasılığı, özellikle hassas bir seçim yapılırken faydalıdır.

Sistemin istemli otomatik kategorileştiricisinin çalışmasının etkinliği, bulunabilecek bilgi konularının otomatik seçiminin sonuçlarına göre belirlenir. Dokümanların yetkilendirilmesi, veri tabanına bilgi girilmesi aşamasında gerçekleştirilir. Belgelere, bir veya başka bir bölümün (veya birkaç bölümün) uygunluğunu karakterize eden bir uygunluk puanı verilir. Konuları belirtilmeyen dokümanlar, dereceli başlığın geri kalan kısmına sırasıyla yerleştirilmelidir (örneğin “Rizne”). Seçilen konu tatmin edici değilse, ilk seçimin deposunu belirterek otomatik kategorize ediciyi yeniden kategorilere ayırın ve aynı belge kümesini yeniden kategorilere ayırın (Şekil 2).

Küçük 2. Değerlendirmeciyi uyandırma süreci.

Robotik programın sonucu (bir dizi karakteristik terim) incelemeye ve düzeltmeye açıktır. Uzman, bir terimin anlamını değiştirme, yeni bir terim ekleme veya gereksiz bir terimi silme olanağına sahiptir.

Hazırlık aşamasında, değerlendirme listesi sistem sunucusunda yayınlanır ve daha sonraki çalışmalar için hemen kullanılabilir hale gelir (sistemin yerel sürümü incelenirken).

Robot koristuvach'ı

Sistem yöneticisinin çalışması, ilgili bilgilerin bir listesinin seçilmesi, İnternet medyasını toplayan robotik programların tahsis edilmesi ve yeni sayfaların toplanacağı bir dizin listesinin eklenmesiyle başlar. Ayrıca rubrikatörü ters çevirmek gerekir. Sistem, robotun birden fazla değerlendirme aracıyla çalışmasına olanak tanır, yani herhangi bir belge birkaç değerlendirme aracı tarafından kategorize edilebilir, ancak kesin olalım, herhangi bir zamanda bir değerlendirme aracı olabilir.

Perde arkasında sistem, bir belgenin aynı anda birden fazla kategoriye bölüneceği şekilde yapılandırılmıştır. Bununla birlikte, belgenin otomatik kategorileştirmesini yalnızca bir kategoriye ayarlamak kesinlikle mümkündür ve bunu istatistiksel verilerin eklenmesiyle manuel olarak yapmak kolaydır.

Belgelerin girişi

Tanıtım sistemi, belirtilen sitelerin arkasındaki yeni ürünlere ait sayfaların, belirlenen sıklıkta ve buna göre katlanmış düzene göre otomatik olarak incelenmesini destekler. Yerleşim sisteminin kurulumu, işi örneğin gece veya gündüz yeni öğelerin tanıtılmasından ayırmanıza olanak tanır.

Yeni İnternet sitesine ilk bakış, yeni ürünler bloğundan görünen haberlere ve her yeni ürünün yapısının analizine, görünür metin parçasına ve ona eşlik eden ayrıntı listesine dayanmaktadır. Bu şekilde hazırlanan yeni öğeler giriş sistemine iletilir; bu sırada çalışma, yinelenen bilgilerin kontrol edilmesi ve ardından metnin otomatik olarak silinmesi yoluyla gerçekleştirilir. Tekrarlanan belgelerin sisteme girilmesi yasaktır. İnternet medyasıyla çalışmaya ilişkin tüm bilgiler özel bir protokolde görüntülenir.

Farklı formatlardaki yeni sayfalar işlenirken öncelikle ilgili sayfanın formatı belirlenir. Bir konu başlığının farklı formatlarda yeni ürünlerin sayfalarını içerebileceğini lütfen unutmayın. Daha sonra yeni öğeler sayfasından giriş sistemine aktarılan tüm yeni öğeleri görebilirsiniz. Formatı sistemin otomatik olarak belirleyemediği haber sayfaları önceden belirlenen yere toplanır. Daha sonra verilerinizi gireceğiniz formatı manuel olarak belirleyebilirsiniz. Ayrıca formatsız olarak adlandırılan dokümanların Astarta'ya yani formatı sistem tarafından tanımlanmayan dokümanların dahil edilmesi imkanı da aktarılmıştır. Vkazivka, aynı anda biçimlendirilmemiş belge akışı varsa, bunu manuel olarak yapmaktan çekinmeyin.

Kağıt belgeleri işlemek için sistem, bir tarama programını başlatma ve arayüzünde belgelerin grafik görüntülerinin içeriğini rötuşlama yerini belirleme yeteneğine sahiptir. Bu tür belgeler girildiğinde, belge ayrıntılarının doldurulması sırasında belge metnini "anında" (sürükle ve tanı) tanıma olanağıyla birlikte sistemin manuel olarak oluşturulması gerekecektir. Ayrıca, grafik görüntüsünün tamamını körü körüne tanıyarak ve tanınan metni tam metin indeksleme modülüne aktararak bir grafik belgesinin otomatik tam metin indekslemesini gerçekleştirmek de mümkündür.

Belgeleri arayın

Astarta yazılım kompleksinin arama sistemi (Şekil 3), karmaşık sorguların oluşturulmasını sağlamak, hem yerel hem de sunucu veri depolaması için tam metin, bağlamsal ve gerekli arama belgelerinin organizasyonunu desteklemek üzere kurulmuştur. Bir aramayı düzenlerken, bir belgenin metninde yalnızca belirtilen kelimeyi (veya kelime kombinasyonunu) değil aynı zamanda tüm kelime biçimlerini de bulmanızı sağlayan morfolojik analiz yöntemleri kullanılır. Morfoloji araştırması hem belgenin metni hem de ayrıntıları için yapılabilir.

Küçük 3. Formülasyon belge aramaya dayanmaktadır.

Sistem arayüzü, kayıtları çeşitli I, ABO, NOT mantıksal işlemleriyle formüle etmenize olanak tanır, böylece zihnin bilgi arama doğruluğunu gösterir. Belge oluşturma ve arama sürecini basitleştirecek bir dizi özellik ve işlev de vardır:

• sistem ayrıntılarını içeren sözlüklerin varlığı (gerekli değerin seçilmesini kolaylaştırır);
• “doğal” bir tarih girme olasılığı (örneğin, “2003'ten Önce” tarihini seçmek, 1.03.03 ila 31.03.03 aralığını girmeye eşdeğerdir);
• Arama sonuçlarını takip edeceğim;
• Önemli içeceklerin saklanması.

Özetlerin oluşumu

Farklı bilgi bölümleri altında gruplanan bilgilerin (özetlerin) oluşumu, sistemin işlevsel yeteneklerinin bilinmeyen bir parçasıdır (Şekil 4). Bu işlevselliği Astarta sisteminde uygulamak için, raporun tüm depo bölümlerinin stilini ve yapısını ayarladığınız ve belgelerin sıralama yöntemini belirttiğiniz, raporlarda bilgi göndermek için farklı şablonlar oluşturmanıza olanak tanıyan bir bileşen vardır. Şu anda ayarlar, özeti belge açıklamalarından derlemenize veya tam metin özeti oluşturmanıza olanak tanır. Çok miktarda bilgi ile zengin hacimli bir belge oluşturmak mümkündür, ancak başka hiçbir şeye yer yoktur.

Küçük 4. Yayınlanan haberin oluşumu (özet).

Sonuçta, nihai belge Microsoft Word formatında oluşturulmuştur, şablonu doldurma aşamasında verileri sunmak için farklı bir format seçebilirsiniz.

Pobudova istatistiksel bilgileri

İstatistiksel analizin temel amacı, araştırılan problemin gelişimindeki eğilimleri belirlemektir. Sonuçları ortaya çıkarmanın en iyi yolu, takip edilen değerin saat içindeki gelişimini gösteren bir zaman-saat serisi ve takip edilen değerin diğer değerler arasındaki kısmını gösteren bir diyagramdır. Mükemmel tahmin, özel algoritmalar kullanan çeşitli istatistiksel paketlerin (örneğin, otoregresif algoritma ve ARISS integral ortalaması - ARIMA) kullanılmasını gerektirdiğinden, net bir tahmin dikkate alınır. standart Excel paketi.

Astarta sistemi, çeşitli istatistiksel verileri elde etmek için iki yöntem uygular: Statistica 5.5 paketinin veya standart Excel paketinin yeteneklerini kullanmak. Excel'e aktarırken sistem arayüzünden sağlanan bilgi türünü belirleyebilirsiniz: grafik, pasta grafiği veya tablo. Lenta.ru web sitesindeki değerlendirme tablosu için Excel paketinden oluşturulan bir zaman serisinin örneği, Şekil 1'de gösterilmektedir. 5.

Visnovok

İşletmelerin bilgi ve analitik hizmetleri, çalışmalarında son derece hassas bilgi kaynaklarıyla uğraşmak zorundadır. Bunlar kağıt süreli yayınlar, elektronik gazeteler, diğer İnternet kaynakları, elektronik posta, yeni akışların IP ve FTP kanalları aracılığıyla iletilmesi vb.'dir. Tematik işaretleri en aza indirin; gerekli bilgileri kaçırabilirsiniz. Akışların otomatik olarak filtrelenmesi, entegre bir bilgi resmini hızlı bir şekilde seçmenize olanak tanır ve bulmanız gereken bilgilerin ayrıntılı analizi için, rastgele katlama istekleriyle basınçlı ses mekanizmasını kullanabilirsiniz.

Bilgi ve analitik sistemlerin çeşitli kuruluşlarda tanıtıldığının, yüksek verimlilik ve sistemin yerel zihinlere uyarlanma kolaylığının ve büyük insanların otomatik olarak cezbedilmesi için evrensel bir aracın geliştirilmesinin, çeşitliliğin kanıtı Bunlar metin bilgi akışlarının yapısıdır .

Evrensel bir format analizörü, heterojen veri kaynaklarından elektronik bilgi akışlarının tek bir dahili gönderime girişini tamamen otomatikleştirmeyi ve ayrıca rutin çalışmayı düzensiz metin verilerinin girilmesine (örneğin, tanırken kağıt ortamdan metin girme) en aza indirgemeye olanak tanır. diğer ortamlardan makaleler) ve gelecekte ses bilgilerinin akışının otomatik olarak tanınması). İşletmelerin bilgi ve analitik hizmetlerinin bu bölümünü otomatikleştirmeyi mümkün kılan, İnternet'teki bilgi sitelerinde "yeni" haberlerin yayınlanmasının otomatik olarak izlenmesi için bir sistem uygulamaya konmuştur.

Önemli bir husus, önerilen otomatik sınıflandırma teknolojisinin (tematik filtreleme) esnekliğidir. Başlıkların ve sistem bileşenlerinin listesi, özel bilgi ve analitik hizmetlerin ihtiyaçları için bir uzman (belirli bir işletmenin bilgi ve analitik hizmetlerinde uzman) tarafından seçilebilir. Belgelerin belirli başlıklarla ilgisine ilişkin güvenilir değerlendirme aralıkları, sistemin yeni veriler üzerinde analiz edilmesi ve kendi kendini kontrol etmesi için bir araç olarak da uzmana sunulabilir.

Analitik blok, haber ve özet hazırlama sürecini otomatikleştirmeye hizmet eder ve ayrıca analistin çeşitli trendlere ilişkin kamusal bilgi alanındaki (PMI, İnternet,..) gelişmeleri ve belirli bir konu alanının gelişimini belirlemesine ve tahmin etmesine olanak tanır.

Bu sınıfın bilgi-analitik sistemlerinin etkinliği, metinlerin otomatik anlamsal analizi ve anlamın anlaşılması yöntemlerine ek olarak, metin analizine dayalı yapay zeka yöntemlerinin geliştirilmesi ve benimsenmesiyle daha da artırılabilir.