EDIT

the condensed "status" string should be created in the cdmlib-service

also think about creating a combined REST servivce which returns all information reagarding distibutions at once

• EDIT map service query param string

• sorted distributions

• condensed "status" string

Overview on the distribution status which are actually used int Euro+Med:

_The unused status are separated from the others.

| titleCache | uuid | cnt |
| native | ddeac4f2-d8fa-43b8-ad7e-ca13abdd32c7 | 323235 |
| present | cef81d25-501c-48d8-bbea-542ec50de2c2 | 29185 |
| introduced | 643cf9d1-a5f1-4622-9837-82ef961e880b | 26151 |
| introduced: naturalized | e191e89a-a751-4b0c-b883-7f1de70915c9 | 6587 |
| cultivated | 9eb99fe6-59e2-4445-8e6a-478365bd0fa9 | 6479 |
| native: reported in error | 61cee840-801e-41d8-bead-015ad866c2f1 | 6188 |
| native: doubtfully native | 310373bf-7df4-4d02-8cb3-bcc7448805fc | 5383 |
| introduced: adventitious (casual) | 42946bd6-9c22-45ad-a910-7427e8f60bfd | 5218 |
| native: presence questionable | 925662c1-bb10-459a-8c53-da5a738ac770 | 3292 |
| introduced: doubtfully introduced (perhaps cultivated only) | 0c54761e-4887-4788-9dfa-7190c88746e3 | 669 |
| native: formerly native | 5c397f7b-59ef-4c11-a33c-45691ceda91b | 644 |
| introduced: presence questionable | 83eb0aa0-1a45-495a-a3ca-bf6958b74366 | 334 |
| introduced: reported in error | aeec2947-2700-4623-8e32-9e3a430569d1 | 187 |
| | | |
| doubtfully present | 75a60279-a4c2-4f53-bc57-466028a4b3db | 0 |
| reported in error | 38604788-cf05-4607-b155-86db456f7680 | 0 |
| invasive | dc536e3d-a753-4bbe-a386-dd8aff35c234 | 0 |
| introduced: formerly introduced | b74dc30b-ee93-496d-8c00-4d00abae1ec7 | 0 |
| introduced: cultivated | fac8c347-8262-44a1-b0a4-db4de451c021 | 0 |
| cultivated: reported in error | 9d4d3431-177a-4abe-8e4b-1558573169d6 | 0 |
| introduced: uncertain degree of naturalisation | da159544-b0dd-4599-a9c9-640826af8c17 | 0 |
| endemic | c3ee7048-15b7-4be1-b687-9ce9c1a669d6 | 0 |
| absent | 59709861-f7d9-41f9-bb21-92559cedd598 | 0 |
| naturalised | 4e04990a-66fe-4fdf-856c-f40772fbcf0a | 0 |

The query to produce the above table

select distinct s.titleCache, s.uuid , count(d.id) as cnt 
from DefinedTermBase as s   left outer join DescriptionElementBase as d on d.status_id = s.id
where s.DTYPE = 'PresenceAbsenceTerm' Group by s.id Order by cnt DESC;

cdmlib part implemented:

• [r24423 composition of condensed distribution fully implemented - #3907|* r24422] base framework for condensedDistributions implemented - #4911

next step is to implement the dataportal part ...

r24428 : some bugfixes in CondensedDistribution composition code

r24443 documentation on the condensed distribution

• help page

• info icon next of the condensed distribution sting on the taxon page

Hallo Eckhard,

so, der Import ist gelaufen, es kann jetzt getestet werden.

Was ich auf http://test.e-taxonomy.eu/dataportal/preview/euromed/cdm_dataportal/taxon/7ebbdf06-6b2a-4a2a-ac2f-f2c0676d22e3 schon gesehen habe, ist, dass z.B Au(A) und Au(L) nicht zu Au(A L) zusammengeführt wurden. Entsprechend bei Rf und Uk.

Auch scheint die Sortierung nicht caseinsensitiv zu sein und daher BH vor Be(L).

Und vor Br und Hs(S) fehlt das kleine n. (nBr, nHs(S))

Weiß nicht, ob diese Sachen wichtig oder evtl. gewollt sind.

Viele Grüße,

Andreas M.

Replying to a.kohlbecker:

1.)

dass z.B Au(A) und Au(L) nicht zu Au(A L) zusammengeführt wurden. Entsprechend bei Rf und Uk.

Das kommt durch die subAreaPreference in @DescriptionUtility.filterDistributions()@. Die übergeordneten Areas werden herausgefiltert, dadurch fehlen sie später im Condensed status string!

2.)

Auch scheint die Sortierung nicht caseinsensitiv zu sein und daher BH vor Be(L).

• r24560 sort order in condensed distribution fixed

3.)

Und vor Br und Hs(S) fehlt das kleine n. (nBr, nHs(S))

introduced: naturalized e191e89a-a751-4b0c-b883-7f1de70915c9 wird derzeit als introduced interpretiert. Dies habe ich aus Eckhards Emails so herausgelesen, kam mir aber komisch vor. Aus den Originaldaten geht aber klar hervor dass introduced: naturalized als naturalized zu interpretieren ist.

3.)

vor Br und Hs(S) fehlt das kleine n. (nBr, nHs(S))

fixed by correctly assigning INTRODUCED_NATURALIZED to n=naturalized r24564

und nun zu Punkt 1) hierzu gibt es anscheinend widersprüchliche Anforderungen und weitere Tickets:

1. #3904 EuroMed: Implement filtering rules for Distributions

[#3904#note-2]:

• Cz Former Czechoslovakia soll nur dann ausgegeben werden, wenn es für keines der Teilareale (Cs Czech Republic oder Sk Slovakia) eine Angabe gibt;

• Ju Former Jugoslavia soll nur dann ausgegeben werden, wenn es für keines der Teilareale (BH, Cg, Ct, Mk, Sl, Sr) eine Angabe gibt ;

• IJ Israel-Jordan soll nur dann ausgegeben werden, wenn es für keines der Teilareale (Ir, Jo) eine Angabe gibt;

• LS Lebanon-Syria soll nur dann ausgegeben werden, wenn es für keines der Teilareale (Le, Sy) eine Angabe gibt;

[#3904#note-6]

Filter Distributions: Clean HelsinkiOccurrence table so that superareas are removed if subareas with identical status value exist. ....

Alse kein widerspruch, denn diese Filter Regeln bezogen sich aber NUR auf die Karten! Da aber DescriptionUtility.filterDistributions() für alle Verbreitungsangaben nur einmal ausgeführt wird führt dies zu dem Anzeigefehler bei dem condensed distribution string!

• 2. #2625 Data aggregation functionalities for E+M (TransmissionEngine))*

in Ticket description:

When generating maps from the accumulated distribution information some special cases have to be handled: .... If there is an area with a sub area and both areas have the same calculated status only the subarea status should be shown in the map, whereas the super area should be ignored.

This matches what has been written in [#3904#note-6]

3. #4409 (filtering rules for Distributions: some named areas with sub areas are missing in distribution)

Die ist anscheinend ein bug in der subAreaPreference rule.

I created a new ticket for the issues with the subAreaPreference rule #5050

So that this ticket can be in principle be closed now.

Only Eckhard needs to do the review of two issues (repeated from comment 4):

@Eckhard:

1. Bitte teste die condensed distribution strings im TestPortal - Bei einigen Arealen gibt es bekannte Probleme, z.B bei Bellis Perennis: Au(A) und Au(L) werden nicht zu Au(A L) zusammengeführt), dies wird nun im ticket #5050 behandelt.

2. Schau dir unbedingt auch in der Ticketbeschreibung die Zusammenstellung unter Symbols as used in condensed status strings and und prüfe ob die Zuordnungen richtig sind. introduced: doubtfully introduced konnte ich nicht sinnvoll unterbringen und andere Status wie invasive habe ich auch außen vor gelassen. Ich hoffe das stimmt so.

there was a bug with the sub areas labels, which is fixed now:

• r24601 - correcting the cleanup of sub areas labes in condensed distributions

Replying to a.kohlbecker:

1. Bitte teste die condensed distribution strings im TestPortal

ERS on 2015-09-08:

ich habe noch einen bug bei der Zusammensetzung des occurence strings gefunden (z.B. Picris hieracioides):

http://test.e-taxonomy.eu/dataportal/preview/euromed/cdm_dataportal/taxon/ad6c9916-23b0-488b-95b9-fff204d76e25

Ab(A N) Al Ar Au(A L) Be(B L) BH dBr Bu By ?Ca Cg Cs Ct Da EM Es Fe Ga(C F M) Ge Gg Gr He Ho Hs(A S) Hu It La -Le Lt Lu Mk Mo Po Rf(C CS E K N NW S) Rm -Sa Si(M S) Sk Sl Sr Su Sy Tu(A E) Uk(K U) [nCo aHb(aN) Hb(E)]

Hier sollte nur "aHb(N)" stehen.

noch schöner hier zu sehen:

http://test.e-taxonomy.eu/dataportal/preview/euromed/cdm_dataportal/taxon/6f8147d9-4e46-4a89-ad65-8c280fd7c9d1

[nAu(nA nL) nBe(nB nL) BH nBr nBu By Co nCs Da nEs nFe nGa(nC nF) nGe Gg nHb(nN) Hb(E) nHe nHo nHs(nA) Hs(S) nHu nIt nJu(nCt) nLa nLt Mo nNo nPo nRf(nCS nK) Rf(C) Rf(E) Rf(N) Rf(NW) Rf(S) nRm nSk Sl Sr nSu Tu(A) nUk(nU) Uk(K)]

statt

[cAu nAu(A L)) nBe(B L) BH nBr nBu By Co nCs nCt Da nEs nFe nGa(C F) nGe Gg Hb(E) nHb(N) nHe nHo nHs(A) Hs(S) nHu nIt nJu nLa nLt Mo nNo nPo Rf(C E N NW S) nRf(CS K) nRm nSk Sl Sr nSu Tu(A) Uk(K) nUk(U)]

Kommentar zu Symbols as used in condensed status strings

1.) ●Lu endemic (U+25CF BLACK CIRCLE)

endemic c3ee7048-15b7-4be1-b687-9ce9c1a669d6 (not used in Euro+Med) 

Warum ist dies durchgestrichen? Endemische Taxa sollen doch einen schwarzen Punkt erhalten, wie z.B. in http://ww2.bgbm.org/EuroPlusMed/PTaxonDetail.asp?NameId=7001357&PTRefFk=7000000

Zur Erinnerung: "Endemic" ist kein eigener Status in Euro+Med, sondern wird berechnet: im Feld "world distr. complete" zum area "EM" muss der Eintrag "C(complete)" stehen. Dann ist das Taxon im Gebiet endemisch und soll einen schwarzen Punkt erhalten. Anton hat es irgendwie geschafft, diese Information aus den Daten rauszuholen und in den occurrence string einzubauen.

2.) "(presumably) extinct" entspricht "native: formerly native"; letzteres gehört NICHT zu "native!"

3.) "introduced: presence questionable 83eb0aa0-1a45-495a-a3ca-bf6958b74366"

gehört nicht zu "?Lu doubtfully present (U+3F QUESTION MARK)", sondern zu [Lu] introduced doubtfully present Dies scheinen wir im Original-Euro+Med-Portal übersehen zu haben! Ich weiß aber nicht ob das nur in den Erläuterungen oder tatsächlich auch im originalen Status-String falsch ist|Wie oben beschrieben: Presence questionable, aber wenn present, dann introduced ergibt [?Br].

4.) "introduced: reported in error aeec2947-2700-4623-8e32-9e3a430569d1" sollte nicht zu "-Lu absent but reported in error (U+2D HYPHEN-MINUS)" gehören, sondern zu [-Lu] introduced: reported in error. Dies scheinen wir im Original-Euro+Med-Portal übersehen zu haben! Ich weiß aber nicht, ob das nur in den Erläuterungen, oder tatsächlich auch im originalen Status-String falsch ist.

3 und 4 sind wichtig, damit die "foreign" records in eckigen Klammern nicht mit den indigenous records, ohne eckige Klammern, vermischt werden.

5.) Weshalb ist "[nLu] naturalized" durchgestrichen Gibt doch eine Menge records dafür

6.) "[Lu] introduced (casual or naturalized AK: naturalized makes no sense here!)"

Deinen Kommentar verstehe ich nicht. "Introduced" ohne weitere Spezifikation (casual oder naturalised) bedeutet, dass in der Quelle nicht angegeben wurde, ob die Sippe casual oder naturalised ist, es kann aber beides der Fall sein!

Hallo,

aus meiner Sicht wurde das noch nicht abschließend bearbeitet. Der condensed string ist immer noch fehlerhaft.

Siehe dazu auch meine kürzliche mail vom 23. Juni 2020, die noch einige Beobachtungen zum condensed distribution string enthielt (die aber einen Fehler enthielt, gemeint war):

„Falsch ist:

Rf(C) Rf(CS) Rf(E) Rf(K) Rf(N) Rf(NW) à Rf(C CS E K N NW S)“

Viele Grüße. Eckhard