close
Kontentke ótiw

OpenRefine

Wikipedia — erkin enciklopediya

OpenRefine — bul maǵlıwmatlardı tazalaw hám basqa formatlarǵa ózgertiw ushın arnalǵan ashıq kodlı jumıs stolı qosımshası bolıp, bul iskerlik, tiykarınan, maǵlıwmatlar menen islesiw (data wrangling) dep ataladı[1]. Ol elektronlıq keste qosımshalarına uqsaydı hám CSV sıyaqlı keste fayl formatları menen isleydi, biraq onıń islewi kóbirek maǵlıwmatlar bazasına jaqın.

Ol relyaciyalıq maǵlıwmatlar bazası kesteleriniń islewine uqsas «qatarlar» hám «baǵanalar» boyınsha isleydi. OpenRefine joybarları bir kesteden ibarat bolıp, onıń qatarların arnawlı kriteriyalar tiykarında «facetler» (facets) járdeminde filtrlewge boladı (mısalı, belgili bir baǵanası bos bolmaǵan qatarlardı kórsetiw).

Elektronlıq kestelerden parqlı túrde, OpenRefinedaǵı kópshililik operaciyalar barlıq kórsetilgen qatarlarda orınlanadı, mısalı, bir baǵanadaǵı barlıq qatarlar kletkaların transformaciya qılıw[2] yamasa bar maǵlıwmatlar tiykarında jańa baǵana jaratıw. Maǵlıwmatlar toplamında orınlanǵan háreketler joybarda saqlanadı hám basqa maǵlıwmatlar toplamlarında qaytadan isletiliwi múmkin. Formulalar kletkalarda saqlanbaydı, olar tek maǵlıwmatlardı ózgertiw ushın qollanıladı. Transformaciya tek bir márte orınlanadı[3]. Formula ańlatpaları General Refine Expression Language (GREL)[4], Jython (yaǵnıy Python) hám Clojure tillerinde jazılıwı múmkin[5].

Programma jergilikli veb-qosımsha sıpatında isleydi: ol veb-serverdi iske túsiredi hám standart brauzerde 127.0.0.1:3333 mánzilini ashadı.

Qollanılıwı

[redaktorlaw | derekti redaktorlaw]
  • Tártipsiz maǵlıwmatlardı tazalaw: mısalı, yarım strukturalasqan maǵlıwmatları bar tekstli fayl menen isleskende, onı tazalaw hám strukturalastırıw ushın transformaciyalar, facetler hám klasterlewden paydalanıwǵa boladı[6].
  • Maǵlıwmatlardı transformaciya qılıw: mánislerdi basqa formatlarǵa ótkeriw, normallastırıw hám denormallastırıw.
  • Veb-saytlardan maǵlıwmatlardı alıw (parsing): OpenRefineda URLdı júklew múmkinshiligi, sonday-aq, jsoup HTML parseri hám DOM dvijogı bar[7].
  • Veb-xızmetlerden maǵlıwmat alıw arqalı maǵlıwmatlar toplamına jańa maǵlıwmat qosıw (mısalı, JSON qaytaratuǵın xızmetler)[8]. Mısalı, mánzillerdi geografiyalıq koordinatalarǵa ótkeriw (geokodlaw) ushın qollanıwǵa boladı[9].
  • Wikidata (burınǵı Freebase[10]) menen sáykeslendiriw: bul kletkalardaǵı qatar mánislerin Wikidatadaǵı obyektler menen baylanıstırıwdı (reconciliation — kelistiriw) óz ishine aladı[11].

Qollap-quwatlanatuǵın formatlar

[redaktorlaw | derekti redaktorlaw]

Import tómendegi formatlardan ámelge asırıladı[12]:

Eger kiritilgen maǵlıwmatlar standart emes tekst formatında bolsa, olar baǵanalarǵa bólinbesten pútin sızıqlar retinde kiritilip, keyinirek OpenRefine quralları menen baǵanalarnı ajıratıp alıwǵa boladı. Arxivlengen hám qısılǵan fayllar (.zip, .tar.gz, .tgz, .tar.bz2, .gz yamasa .bz2) qollap-quwatlanadı hám Refine kiritilgen fayllardı URL arqalı júklep ala aladı. Veb-betlerdi kiritis maǵlıwmatı sıpatında paydalanıw ushın URLlar dizimin import qılıp, keyin URLdı júklew funkciyasın isletiwge boladı.

Eksport tómendegi formatlarda múmkin[14]:

OpenRefine joybarların tolıǵı menen óziniń formatında .tar.gz arxivi retinde eksport qılıwǵa boladı.

Rawajlanıwı

[redaktorlaw | derekti redaktorlaw]

OpenRefine óz xızmetin Metaweb tárepinen islep shıǵılǵan Freebase Gridworks sıpatında basladı hám 2010-jıl yanvardan beri ashıq kodlı programma sıpatında paydalanıw múmkin boldı[15]. 2010-jıl 16-iyulda Google kompaniyası Freebase jaratıwshısı bolǵan Metawebti satıp aldı[16]. 2010-jıl 10-noyabrde Freebase Gridworkstiń atı Google Refine dep ózgertildi hám 2.0 versiyası shıǵarıldı[17]. 2012-jıl 2-oktyabrde tiykarǵı avtor Devid Xyun Google jaqın arada Google Refinedı qollap-quwatlawdı toqtatatuǵınlıǵın járiyaladı[18][19]. Sonnan beri onıń kodlar bazası OpenRefine dep atalatuǵın ashıq kodlı joybarǵa ótti[20].

Derekler

[redaktorlaw | derekti redaktorlaw]
  1. ↑ «openrefine.github.com». openrefine.org.
  2. ↑ «Editing by transforming: Cell Editing wiki page from Refine documentation». Qaraldı: 2012-jıl 18-aprel.
  3. ↑ «Comparison with spreadsheet software: Cell Editing wiki page in Refine documentation». Qaraldı: 2012-jıl 18-aprel.
  4. ↑ General Refine expression language OpenRefine/OpenRefine Wiki GitHub. Github.com (2013-04-03). Retrieved on 2013-08-16.
  5. ↑ «Expressions: Refine documentation». Qaraldı: 2012-jıl 18-aprel.
  6. ↑ [April 2012 «Screencast: Google Refine 2.0 - Introduction (1 of 3) - editing government data»]. YouTube (2011-jıl 19-iyul).
  7. ↑ «Stripping HTML: Refine documentation wiki page». Qaraldı: 2012-jıl 18-aprel.
  8. ↑ «FetchingURLsFromWebServices wiki page: Refine documentation». Qaraldı: 2012-jıl 18-aprel.
  9. ↑ [April 2012 «Screencast: Google Refine 2.0 - Data Augmentation (3 of 3) - using Openstreetmap Nominatim for geocoding and Freebase for augmentation»]. YouTube (2011-jıl 19-iyul).
  10. ↑ «Schema Alignment: Refine documentation wiki page». Qaraldı: 2012-jıl 18-aprel.
  11. ↑ «OpenRefine documentation: Reconciliation». GitHub. Qaraldı: 2017-jıl 12-mart.
  12. ↑ «Importers: Refine documentation wiki page». Qaraldı: 2012-jıl 18-aprel.
  13. ↑ «Changelog for 2.5». Qaraldı: 2012-jıl 18-aprel.
  14. ↑ «Exporting: Refine documentation wiki page». Qaraldı: 2012-jıl 18-aprel.
  15. ↑ «Google Code Archive - Long-term storage for Google Code Project Hosting.». code.google.com.
  16. ↑ "Google Official Blog: Deeper understanding with Metaweb". https://googleblog.blogspot.com/2010/07/deeper-understanding-with-metaweb.html.
  17. ↑ "Google Opensource blog: Announcing Google Refine 2.0, a power tool for data wranglers". https://google-opensource.blogspot.com/2010/11/announcing-google-refine-20-power-tool.html.
  18. ↑ «Google Groups». groups.google.com.
  19. ↑ «From Freebase Gridworks to Google Refine and now OpenRefine».
  20. ↑ google-refine - Google Refine, a power tool for working with messy data (formerly Freebase Gridworks) - Google Project Hosting. Code.google.com. Retrieved on 2013-08-16.

Sırtqı siltemeler

[redaktorlaw | derekti redaktorlaw]
«https://kaa.wikipedia.org/w/index.php?title=OpenRefine&oldid=215911» saytınan alınǵan