Project

General

Profile

feature request #3907

EuroMed: implement condensed "status" string of distribution information

Added by Andreas Kohlbecker almost 8 years ago. Updated 7 months ago.

Status:
Closed
Priority:
New
Category:
cdm-dataportal
Target version:
Start date:
09/08/2015
Due date:
% Done:

100%

Severity:
critical

Description

split off from #3712 (display of distributions in Euro+Med portal)

since this is something special to the Euro+Med portal this should be implemented into the portal software.

Add option to display condensed status string above distribution text or below map.


ERS:

in den zusammengesetzten occurrence-strings stehen zuerst die Records, die als native (fett), presence questionable (nicht fett, prefix ?) , doubtfully native (nicht fett, prefix d), absent but reported in error (nicht fett, prefix -) oder extinct (prefix †) angegeben werden, dahinter in eckigen Klammern [[ ] die nicht-einheimischen Records wie introduced|Ein einfaches [Br]] ohne Prefixe bedeutet z.B., dass die Sippe in Großbritannien als introduced gilt, aber nicht genauer spezifiziert wurde, ob naturalized (Prefix n) oder adventitious (Prefix a) oder cultivated (Prefix c) . Presence questionable, aber wenn present, dann introduced ergibt [?Br].

Dies ist übrigens auf der Euro+Med-Seite unter "explanations" erläutert. Eine entsprechende Seite sollte es natürlich auch im neuen Euro+Med-Portal geben, mit einem eigenen tab "explanations" neben "home"

http://ww2.bgbm.org/EuroPlusMed/explanations.asp

Der stark komprimierte String sollte zuerst unter der Karte erscheinen. Nutzer, die daran gewöhnt sind (so etwas ist nicht nur bisheriger Standard in Euro+Med, sondern wurde auch in Flora Europaea und Med-Checklist konsequent angewandt), werden die komprimierte Info übersichtlicher finden als die ausformulierten Areale, aus denen der Status nicht hervorgeht.


Areas in condensed status string

  1. indigenous
  • native (fett)

  • presence questionable (nicht fett, prefix ?)

  • doubtfully native (nicht fett, prefix d)

  • absent but reported in error (nicht fett, prefix -) OR extinct (nicht fett, prefix †)

  1. foreign in eckigen Klammern [ ]
  • introduced...

Display of subareas

Abbreviations of area subdivisions are enclosed in round brackets and the prefix of the parent area is omitted.

For example: Tu + Tu(A) + Tu(E) will be displayed as Tu(A E)

Symbols as used in condensed status strings

Status and symbol as in original Euro+Med and their according status in CDM Euro+Med at the example of Lu:

Striked through lines mark states which will never occur since there is either no mapping to a state in the cdm database or the state is not used in any record

  • ●Lu endemic (U+25CF BLACK CIRCLE)

    • endemic c3ee7048-15b7-4be1-b687-9ce9c1a669d6 (not used in Euro+Med)
  • Lu native (incl. archaeophytes)

    • native ddeac4f2-d8fa-43b8-ad7e-ca13abdd32c7
    • native: formerly native 5c397f7b-59ef-4c11-a33c-45691ceda91b
  • ?Lu doubtfully present (U+3F QUESTION MARK)

    • introduced: presence questionable 83eb0aa0-1a45-495a-a3ca-bf6958b74366
    • native: presence questionable 925662c1-bb10-459a-8c53-da5a738ac770
    • doubtfully present 75a60279-a4c2-4f53-bc57-466028a4b3db (not used in Euro+Med)
  • dLu doubtfully native

    • native: doubtfully native 310373bf-7df4-4d02-8cb3-bcc7448805fc
  • -Lu absent but reported in error (U+2D HYPHEN-MINUS)

    • introduced: reported in error aeec2947-2700-4623-8e32-9e3a430569d1
    • native: reported in error 61cee840-801e-41d8-bead-015ad866c2f1
    • reported in error 38604788-cf05-4607-b155-86db456f7680 (not used in Euro+Med)
  • †Lu (presumably) extinct (U+2020 DAGGER)

    • NO CORRELATION FOUND !
  • [Lu] introduced (casual or naturalized AK: naturalized makes no sense here!)

    • introduced 643cf9d1-a5f1-4622-9837-82ef961e880b
  • [aLu] casual alien

    • introduced: adventitious (casual) 42946bd6-9c22-45ad-a910-7427e8f60bfd
  • [cLu] cultivated

    • cultivated 9eb99fe6-59e2-4445-8e6a-478365bd0fa9
    • introduced: cultivated fac8c347-8262-44a1-b0a4-db4de451c021 (not used in Euro+Med)
  • [nLu] naturalized

    • introduced: naturalized e191e89a-a751-4b0c-b883-7f1de70915c9
    • naturalised 4e04990a-66fe-4fdf-856c-f40772fbcf0a (not used in Euro+Med)

States for which records exist but which have not been mapped so far:

  • introduced: doubtfully introduced (perhaps cultivated only) 0c54761e-4887-4788-9dfa-7190c88746e3

States not used in any record and which have not been mapped:

  • invasive dc536e3d-a753-4bbe-a386-dd8aff35c234

  • introduced: formerly introduced b74dc30b-ee93-496d-8c00-4d00abae1ec7

  • cultivated: reported in error 9d4d3431-177a-4abe-8e4b-1558573169d6

  • introduced: uncertain degree of naturalisation da159544-b0dd-4599-a9c9-640826af8c17

Example taxa


Subtasks

bug #5206: Status symbols in condensed distribution string repeated for subareasClosedAndreas Müller


Related issues

Related to Edit - bug #8297: Fix condensed distribution string for E+M Closed 05/23/2019

History

#1 Updated by Andreas Kohlbecker over 7 years ago

  • Keywords set to Euro+Med,Migration
  • Target version changed from Euro+Med Migration to cdm_dataportal RELEASE 3.3.0

moving resolved tickets to release milestone

#2 Updated by Andreas Kohlbecker over 7 years ago

  • Target version changed from cdm_dataportal RELEASE 3.3.0 to Euro+Med Migration

moving open tickets back to original milestone

#3 Updated by Andreas Kohlbecker over 7 years ago

the condensed "status" string should be created in the cdmlib-service

also think about creating a combined REST servivce which returns all information reagarding distibutions at once

  • EDIT map service query param string

  • sorted distributions

  • condensed "status" string

#4 Updated by Andreas Müller over 6 years ago

  • Target version changed from Euro+Med Migration to Release 3.7
  • Priority changed from Priority14 to Highest

#5 Updated by Andreas Kohlbecker over 6 years ago

  • Status changed from New to In Progress

#6 Updated by Andreas Kohlbecker about 6 years ago

Overview on the distribution status which are actually used int Euro+Med:

_The unused status are separated from the others.

| titleCache | uuid | cnt |
| native | ddeac4f2-d8fa-43b8-ad7e-ca13abdd32c7 | 323235 |
| present | cef81d25-501c-48d8-bbea-542ec50de2c2 | 29185 |
| introduced | 643cf9d1-a5f1-4622-9837-82ef961e880b | 26151 |
| introduced: naturalized | e191e89a-a751-4b0c-b883-7f1de70915c9 | 6587 |
| cultivated | 9eb99fe6-59e2-4445-8e6a-478365bd0fa9 | 6479 |
| native: reported in error | 61cee840-801e-41d8-bead-015ad866c2f1 | 6188 |
| native: doubtfully native | 310373bf-7df4-4d02-8cb3-bcc7448805fc | 5383 |
| introduced: adventitious (casual) | 42946bd6-9c22-45ad-a910-7427e8f60bfd | 5218 |
| native: presence questionable | 925662c1-bb10-459a-8c53-da5a738ac770 | 3292 |
| introduced: doubtfully introduced (perhaps cultivated only) | 0c54761e-4887-4788-9dfa-7190c88746e3 | 669 |
| native: formerly native | 5c397f7b-59ef-4c11-a33c-45691ceda91b | 644 |
| introduced: presence questionable | 83eb0aa0-1a45-495a-a3ca-bf6958b74366 | 334 |
| introduced: reported in error | aeec2947-2700-4623-8e32-9e3a430569d1 | 187 |
| | | |
| doubtfully present | 75a60279-a4c2-4f53-bc57-466028a4b3db | 0 |
| reported in error | 38604788-cf05-4607-b155-86db456f7680 | 0 |
| invasive | dc536e3d-a753-4bbe-a386-dd8aff35c234 | 0 |
| introduced: formerly introduced | b74dc30b-ee93-496d-8c00-4d00abae1ec7 | 0 |
| introduced: cultivated | fac8c347-8262-44a1-b0a4-db4de451c021 | 0 |
| cultivated: reported in error | 9d4d3431-177a-4abe-8e4b-1558573169d6 | 0 |
| introduced: uncertain degree of naturalisation | da159544-b0dd-4599-a9c9-640826af8c17 | 0 |
| endemic | c3ee7048-15b7-4be1-b687-9ce9c1a669d6 | 0 |
| absent | 59709861-f7d9-41f9-bb21-92559cedd598 | 0 |
| naturalised | 4e04990a-66fe-4fdf-856c-f40772fbcf0a | 0 |

The query to produce the above table

select distinct s.titleCache, s.uuid , count(d.id) as cnt 
from DefinedTermBase as s   left outer join DescriptionElementBase as d on d.status_id = s.id
where s.DTYPE = 'PresenceAbsenceTerm' Group by s.id Order by cnt DESC;

#7 Updated by Andreas Kohlbecker about 6 years ago

cdmlib part implemented:

  • [r24423 composition of condensed distribution fully implemented - #3907|* r24422] base framework for condensedDistributions implemented - #4911

next step is to implement the dataportal part ...

#8 Updated by Andreas Kohlbecker about 6 years ago

r24428 : some bugfixes in CondensedDistribution composition code

#9 Updated by Andreas Kohlbecker about 6 years ago

  • Status changed from In Progress to Resolved
  • Assignee changed from Andreas Kohlbecker to e.raab-straube -

r24431 condensed distribution implemented in dataportal

this feature is now ready to be reviewed

@Eckhard:

  1. Bitte teste die condensed distribution strings im TestPortal

  2. Schau dir unbedingt auch in der Ticketbeschreibung die Zusammenstellung unter Symbols as used in condensed status strings and und prüfe ob die Zuordnungen richtig sind. introduced: doubtfully introduced konnte ich nicht sinnvoll unterbringen und andere Status wie invasive habe ich auch außen vor gelassen. Ich hoffe das stimmt so.

Andreas

#10 Updated by Andreas Kohlbecker about 6 years ago

r24443 documentation on the condensed distribution

  • help page

  • info icon next of the condensed distribution sting on the taxon page

#11 Updated by Andreas Kohlbecker about 6 years ago

Hallo Eckhard,

so, der Import ist gelaufen, es kann jetzt getestet werden.

Was ich auf http://test.e-taxonomy.eu/dataportal/preview/euromed/cdm_dataportal/taxon/7ebbdf06-6b2a-4a2a-ac2f-f2c0676d22e3 schon gesehen habe, ist, dass z.B Au(A) und Au(L) nicht zu Au(A L) zusammengeführt wurden. Entsprechend bei Rf und Uk.

Auch scheint die Sortierung nicht caseinsensitiv zu sein und daher BH vor Be(L).

Und vor Br und Hs(S) fehlt das kleine n. (nBr, nHs(S))

Weiß nicht, ob diese Sachen wichtig oder evtl. gewollt sind.

Viele Grüße,

Andreas M.

#12 Updated by Andreas Kohlbecker about 6 years ago

Replying to a.kohlbecker:

1.)

dass z.B Au(A) und Au(L) nicht zu Au(A L) zusammengeführt wurden. Entsprechend bei Rf und Uk.

Das kommt durch die subAreaPreference in @DescriptionUtility.filterDistributions()@. Die übergeordneten Areas werden herausgefiltert, dadurch fehlen sie später im Condensed status string!

2.)

Auch scheint die Sortierung nicht caseinsensitiv zu sein und daher BH vor Be(L).

  • r24560 sort order in condensed distribution fixed

3.)

Und vor Br und Hs(S) fehlt das kleine n. (nBr, nHs(S))

introduced: naturalized e191e89a-a751-4b0c-b883-7f1de70915c9 wird derzeit als introduced interpretiert. Dies habe ich aus Eckhards Emails so herausgelesen, kam mir aber komisch vor. Aus den Originaldaten geht aber klar hervor dass introduced: naturalized als naturalized zu interpretieren ist.

#13 Updated by Andreas Kohlbecker about 6 years ago

3.)

vor Br und Hs(S) fehlt das kleine n. (nBr, nHs(S))

fixed by correctly assigning INTRODUCED_NATURALIZED to n=naturalized r24564

#14 Updated by Andreas Kohlbecker about 6 years ago

und nun zu Punkt 1) hierzu gibt es anscheinend widersprüchliche Anforderungen und weitere Tickets:

1. #3904 EuroMed: Implement filtering rules for Distributions

[#3904#note-2]:

  • Cz Former Czechoslovakia soll nur dann ausgegeben werden, wenn es für keines der Teilareale (Cs Czech Republic oder Sk Slovakia) eine Angabe gibt;

  • Ju Former Jugoslavia soll nur dann ausgegeben werden, wenn es für keines der Teilareale (BH, Cg, Ct, Mk, Sl, Sr) eine Angabe gibt ;

  • IJ Israel-Jordan soll nur dann ausgegeben werden, wenn es für keines der Teilareale (Ir, Jo) eine Angabe gibt;

  • LS Lebanon-Syria soll nur dann ausgegeben werden, wenn es für keines der Teilareale (Le, Sy) eine Angabe gibt;

[#3904#note-6]

Filter Distributions: Clean HelsinkiOccurrence table so that superareas are removed if subareas with identical status value exist. ....

Alse kein widerspruch, denn diese Filter Regeln bezogen sich aber NUR auf die Karten! Da aber DescriptionUtility.filterDistributions() für alle Verbreitungsangaben nur einmal ausgeführt wird führt dies zu dem Anzeigefehler bei dem condensed distribution string!

  • 2. #2625 Data aggregation functionalities for E+M (TransmissionEngine))*

in Ticket description:

When generating maps from the accumulated distribution information some special cases have to be handled: .... If there is an area with a sub area and both areas have the same calculated status only the subarea status should be shown in the map, whereas the super area should be ignored.

This matches what has been written in [#3904#note-6]

3. #4409 (filtering rules for Distributions: some named areas with sub areas are missing in distribution)

Die ist anscheinend ein bug in der subAreaPreference rule.

#15 Updated by Andreas Kohlbecker about 6 years ago

I created a new ticket for the issues with the subAreaPreference rule #5050

So that this ticket can be in principle be closed now.

Only Eckhard needs to do the review of two issues (repeated from comment 4):

@Eckhard:

  1. Bitte teste die condensed distribution strings im TestPortal - Bei einigen Arealen gibt es bekannte Probleme, z.B bei Bellis Perennis: Au(A) und Au(L) werden nicht zu Au(A L) zusammengeführt), dies wird nun im ticket #5050 behandelt.

  2. Schau dir unbedingt auch in der Ticketbeschreibung die Zusammenstellung unter Symbols as used in condensed status strings and und prüfe ob die Zuordnungen richtig sind. introduced: doubtfully introduced konnte ich nicht sinnvoll unterbringen und andere Status wie invasive habe ich auch außen vor gelassen. Ich hoffe das stimmt so.

#16 Updated by Andreas Kohlbecker about 6 years ago

there was a bug with the sub areas labels, which is fixed now:

  • r24601 - correcting the cleanup of sub areas labes in condensed distributions

#17 Updated by Andreas Kohlbecker about 6 years ago

Replying to a.kohlbecker:

  1. Bitte teste die condensed distribution strings im TestPortal

ERS on 2015-09-08:

ich habe noch einen bug bei der Zusammensetzung des occurence strings gefunden (z.B. Picris hieracioides):

http://test.e-taxonomy.eu/dataportal/preview/euromed/cdm_dataportal/taxon/ad6c9916-23b0-488b-95b9-fff204d76e25

Ab(A N) Al Ar Au(A L) Be(B L) BH dBr Bu By ?Ca Cg Cs Ct Da EM Es Fe Ga(C F M) Ge Gg Gr He Ho Hs(A S) Hu It La -Le Lt Lu Mk Mo Po Rf(C CS E K N NW S) Rm -Sa Si(M S) Sk Sl Sr Su Sy Tu(A E) Uk(K U) [nCo aHb(aN) Hb(E)]

Hier sollte nur "aHb(N)" stehen.

noch schöner hier zu sehen:

http://test.e-taxonomy.eu/dataportal/preview/euromed/cdm_dataportal/taxon/6f8147d9-4e46-4a89-ad65-8c280fd7c9d1

[nAu(nA nL) nBe(nB nL) BH nBr nBu By Co nCs Da nEs nFe nGa(nC nF) nGe Gg nHb(nN) Hb(E) nHe nHo nHs(nA) Hs(S) nHu nIt nJu(nCt) nLa nLt Mo nNo nPo nRf(nCS nK) Rf(C) Rf(E) Rf(N) Rf(NW) Rf(S) nRm nSk Sl Sr nSu Tu(A) nUk(nU) Uk(K)]

statt

[cAu nAu(A L)) nBe(B L) BH nBr nBu By Co nCs nCt Da nEs nFe nGa(C F) nGe Gg Hb(E) nHb(N) nHe nHo nHs(A) Hs(S) nHu nIt nJu nLa nLt Mo nNo nPo Rf(C E N NW S) nRf(CS K) nRm nSk Sl Sr nSu Tu(A) Uk(K) nUk(U)]

#18 Updated by Eckhard von Raab-Straube about 6 years ago

Kommentar zu Symbols as used in condensed status strings

1.) ●Lu endemic (U+25CF BLACK CIRCLE)

endemic c3ee7048-15b7-4be1-b687-9ce9c1a669d6 (not used in Euro+Med) 

Warum ist dies durchgestrichen? Endemische Taxa sollen doch einen schwarzen Punkt erhalten, wie z.B. in http://ww2.bgbm.org/EuroPlusMed/PTaxonDetail.asp?NameId=7001357&PTRefFk=7000000

Zur Erinnerung: "Endemic" ist kein eigener Status in Euro+Med, sondern wird berechnet: im Feld "world distr. complete" zum area "EM" muss der Eintrag "C(complete)" stehen. Dann ist das Taxon im Gebiet endemisch und soll einen schwarzen Punkt erhalten. Anton hat es irgendwie geschafft, diese Information aus den Daten rauszuholen und in den occurrence string einzubauen.

2.) "(presumably) extinct" entspricht "native: formerly native"; letzteres gehört NICHT zu "native!"

3.) "introduced: presence questionable 83eb0aa0-1a45-495a-a3ca-bf6958b74366"

gehört nicht zu "?Lu doubtfully present (U+3F QUESTION MARK)", sondern zu [Lu] introduced doubtfully present Dies scheinen wir im Original-Euro+Med-Portal übersehen zu haben! Ich weiß aber nicht ob das nur in den Erläuterungen oder tatsächlich auch im originalen Status-String falsch ist|Wie oben beschrieben: Presence questionable, aber wenn present, dann introduced ergibt [?Br].

4.) "introduced: reported in error aeec2947-2700-4623-8e32-9e3a430569d1" sollte nicht zu "-Lu absent but reported in error (U+2D HYPHEN-MINUS)" gehören, sondern zu [-Lu] introduced: reported in error. Dies scheinen wir im Original-Euro+Med-Portal übersehen zu haben! Ich weiß aber nicht, ob das nur in den Erläuterungen, oder tatsächlich auch im originalen Status-String falsch ist.

3 und 4 sind wichtig, damit die "foreign" records in eckigen Klammern nicht mit den indigenous records, ohne eckige Klammern, vermischt werden.

5.) Weshalb ist "[nLu] naturalized" durchgestrichen Gibt doch eine Menge records dafür

6.) "[Lu] introduced (casual or naturalized AK: naturalized makes no sense here!)"

Deinen Kommentar verstehe ich nicht. "Introduced" ohne weitere Spezifikation (casual oder naturalised) bedeutet, dass in der Quelle nicht angegeben wurde, ob die Sippe casual oder naturalised ist, es kann aber beides der Fall sein!

#19 Updated by Andreas Müller over 2 years ago

  • Related to bug #8297: Fix condensed distribution string for E+M added

#20 Updated by Andreas Kohlbecker about 1 year ago

  • Description updated (diff)

Please review if this ticket still is an open issue.

If not, it would make sense splitting of the remaining tasks by creating a new ticket for these.

#21 Updated by Andreas Kohlbecker about 1 year ago

Hallo,

aus meiner Sicht wurde das noch nicht abschließend bearbeitet. Der condensed string ist immer noch fehlerhaft.

Siehe dazu auch meine kürzliche mail vom 23. Juni 2020, die noch einige Beobachtungen zum condensed distribution string enthielt (die aber einen Fehler enthielt, gemeint war):

„Falsch ist:

Rf(C) Rf(CS) Rf(E) Rf(K) Rf(N) Rf(NW) à Rf(C CS E K N NW S)“

Viele Grüße. Eckhard

#22 Updated by Andreas Müller 8 months ago

  • Description updated (diff)

#23 Updated by Andreas Müller 8 months ago

  • Description updated (diff)

#24 Updated by Andreas Müller 7 months ago

  • Description updated (diff)

#25 Updated by Andreas Müller 7 months ago

  • Description updated (diff)

#26 Updated by Andreas Müller 7 months ago

  • Status changed from Resolved to Closed
  • Assignee changed from Eckhard von Raab-Straube to Andreas Kohlbecker
  • Private changed from Yes to No

This is generally implemented. Open issues (and full refactoring) will be done in #8297

Also available in: Atom PDF

Add picture from clipboard (Maximum size: 40 MB)