EDIT Project Management: Issueshttps://dev.e-taxonomy.eu/redmine/https://dev.e-taxonomy.eu/redmine/redmine/favicon.ico?14691914852023-09-25T13:48:57ZEDIT Project Management
Redmine EDIT - feature request #10405 (New): Allow synchronizing termshttps://dev.e-taxonomy.eu/redmine/issues/104052023-09-25T13:48:57ZAndreas Müller
<p>see also <a class="issue tracker-5 status-5 priority-13 priority-high13 closed" title="feature request: Implement Cdm2Cdm for vocabularies (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/9771">#9771</a>.</p>
<p>In the above ticket synchronization was only implemented by allowing to add terms. In a next step we want to allow synchronizing labels etc.</p>
EDIT - feature request #10404 (New): Allow synchronizing term trees in TaxEditorhttps://dev.e-taxonomy.eu/redmine/issues/104042023-09-25T13:45:33ZAndreas Müller
<p>see <a class="issue tracker-5 status-5 priority-13 priority-high13 closed" title="feature request: Implement Cdm2Cdm for vocabularies (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/9771">#9771</a> </p>
<p>For now we only allow synchronizing term trees as this is what is needed for additivity.</p>
<p>The update will currently only add new terms if available. In future also terms will be updated (e.g. label, description, ...), terms will be deleted/moved, etc.</p>
<p>Note: CdmServerInfo.getDevServerRemoteSource() might be relevant.</p>
EDIT - task #10242 (Closed): Import Sileneaehttps://dev.e-taxonomy.eu/redmine/issues/102422023-02-01T21:47:09ZAndreas Müller
<p>Taxon.xlsx:</p>
<p>Akzeptierte Taxa mit Link zu Namen und Parents (link to AcceptedTaxon_ID)</p>
<p>NomTax.xlsx:</p>
<p>Synonyme mit Link zu Namen und akzeptierten Taxa.</p>
<p>Questions:</p>
<p>Was ist mit den restlichen Namen? (> 4000, aber acc+syn sind nur >2000); According to mail they are excluded (2x), uncertain or unresolved. Ist diese Info irgendwo?</p>
<p>Secundum Referenz: Scheinen nicht angegeben, lediglich die Spalte SynonymyReference_link, die aber nirgendwohin linkt. Laut Mail wurde vorgeschlagen, die sec-Ref nicht zu importieren. NaK: "Wie Bengt vorschlägt, sollten wir die secundum-Referenzen aus dem Import weglassen und sileneae.info als secundum für alles verwenden, dann manuell ersetzen"</p>
<p>Pubtype_NK_usethis.xslx:</p>
<p>???</p>
<p>BO:</p>
<p>Nomen.xslx:</p>
<p>First, the files are organized as before, minus the top row with the CDM names. Ina addition, I have added a number of fields, that may, or meay not be useful. I leave it to you to decide. In the in tNomen.xlsx file I added the following fields:</p>
<p>Notes : This is simply a text note that sometimes may be in Swedish<br>
Homonym_Flag : Boolean field, not very consistently used<br>
Misapplied_Flag: Boolean field, not very consistently used<br>
NomInval_Flag: Boolean field, not very consistently used<br>
Type_specimen Text field which may contain info on type specimen from protologue<br>
TypeSpecies_link Used for supraspecific names only<br>
SynonymyReference_link If it contains something, there will be a secundum reference.</p>
<p>====</p>
<p>BO: I wonder if I can trust that “my” ID fields for the tables will be retained such that I can download csv files and update my database?</p>
EDIT - task #10232 (Closed): Import Finnish common nameshttps://dev.e-taxonomy.eu/redmine/issues/102322023-01-23T14:48:01ZAndreas Müller
<p>File to be found at:</p>
<p>ERS:</p>
<p>ja genau, in erster Linie geht es bei dieser Liste nur um den Common Name Import, da hatte ich mich nicht ganz klar ausgedrückt. Andere Daten aus dieser Liste zu importieren/abzugleichen ist auch denkbar, aber jetzt nicht prioritär.</p>
<p>AM:</p>
<p>also es geht um die Spalten FINNISH_NAME und SWEDISH_NAME in der Tabelle „All“ nehme ich dann mal an.<br>
Ein Common Name besteht ja i.d.R. aus Name, Sprache und Areal, in dem der Name Verwendung findet (z.B. Deutschland, Schweiz, …). Für die finnischen Namen nehme ich da sicherlich Finnland, für die schwedischen auch? Oder Schweden, beides, gar nichts?</p>
<p>ERS:</p>
<p>ja, um diese Namen geht es. Finnland ist klar. Zu den schwedischen Namen heißt es:</p>
<p>„Almost exclusively they correspond to Swedish vernacular names used in Sweden. However, dozens of plants in Finland have traditionally been called by local Swedish vernacular names, which deviate from those used in Sweden.”</p>
<p>Welche das sind, müsste man aber im Einzelfall klären – wenn überhaupt, machen wir das im Nachgang. Bis dahin würde ich für die schwedischen Namen beides – also Schweden und Finnland – angeben.</p>
<p>AM:</p>
<p>ok. Es gibt 2 Möglichkeiten, die 2 Areale zu realisieren. Einem einzigen Common Name Datensatz kann man (derzeit) nicht 2 Areale zu weisen.<br>
Es geht nur, entweder 2 Datensätze zu erzeugen, die sich nur im Areal unterscheiden oder ein Areal „Sweden and Finnland“ anzulegen, was semantisch beide Areale umfasst.<br>
Ich tendiere stark zu der zweiten Lösung, da sie datensparsamer ist und semantisch auch exakter, da wir bislang ja nur für das Gesamtareal eine Aussage machen, nicht für jedes Areal einzeln.</p>
<p>Würdest du da zustimmen?</p>
<p>ERS:</p>
<p>ja, sehr gut. Einverstanden.</p>
<p>====</p>
<p>Source: Kurtto, A., Lampinen, R., Piirainen, M. & al., Checklist of the vascular plants of Finland. Suomen putkilokasvien luettelo. 2019</p>
EDIT - task #10224 (Closed): Import Kew Nyctaginaceae data to Caryophyllaleshttps://dev.e-taxonomy.eu/redmine/issues/102242023-01-12T15:00:57ZAndreas MüllerEDIT - task #10183 (Closed): Import Buxales via Cdm2Cdmhttps://dev.e-taxonomy.eu/redmine/issues/101832022-11-10T12:42:37ZAndreas Müller
<p>From Flora Cuba to new Buxales DB</p>
<p>Open issue:</p>
<ul>
<li><del>UUIDs are still the same as in Flora Cuba which is not correct in this case</del> => I updated all uuids (but not in term and termcollection and AUD tables), so the data should be save later possible remerge</li>
</ul>
EDIT - task #9918 (Closed): Import Caryophyllaceaehttps://dev.e-taxonomy.eu/redmine/issues/99182022-01-14T23:55:50ZAndreas MüllerEDIT - bug #9891 (New): Open issues for RIS import in TaxEditorhttps://dev.e-taxonomy.eu/redmine/issues/98912021-12-02T14:48:03ZAndreas Müller
<p>open issues from <a class="issue tracker-5 status-5 priority-10 priority-lowest closed" title="feature request: Integrate RIS Import in taxEditor (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/6640">#6640</a></p>
<ul>
<li>currently the import allows only "<em>.txt" as ending. Which should also allow "</em>.ris" and "<em>.</em>".</li>
<li>the entered name of the "Default import source reference" does not show up anywhere, instead the source reference gets a title like "RIS Reference Import 2021-12-02". Needs discussion what is needed. Definetely it would be good to have the import file name somewhere. This seems to be a general issue for all imports.</li>
<li>serialization for InputStreamReader (see <a class="issue tracker-5 status-5 priority-10 priority-lowest closed" title="feature request: Integrate RIS Import in taxEditor (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/6640#note-6">#6640#note-6</a>)</li>
<li>include into reference bulk editor context menu (also move from taxon navigator to File menu, but there should be another ticket for this general import issue)</li>
</ul>
EDIT - task #9890 (Closed): Move importDeduplicationHelper to import statehttps://dev.e-taxonomy.eu/redmine/issues/98902021-11-30T12:02:08ZAndreas MüllerEDIT - feature request #9889 (Closed): Implement deduplication for RIS importhttps://dev.e-taxonomy.eu/redmine/issues/98892021-11-29T22:17:53ZAndreas Müller
<p>Most importantly needed for journals and books (as part of book sections)</p>
EDIT - feature request #9888 (Closed): Implement RIS import for book sectionshttps://dev.e-taxonomy.eu/redmine/issues/98882021-11-29T14:31:57ZAndreas Müller
<p>Hallo Andreas,</p>
<p>der RIS-Import von Artikeln und Büchern funktioniert jetzt. Das Einzige, was nicht funktioniert, ist der Import von Book Sections, das war aber vorher auch schon so. Der Buchtitel und die Editors werden nicht importiert.</p>
<p>Ich schicke dir mal ein Beispiel (RIS im Anhang)</p>
<p>Arias S., Gama-López S., Guzmán-Cruz L. U. & Vázquez-Benítez B. 2012: Cactaceae. – Pp. 1-235 In: Medina L. R. (ed.), Flora del Valle de Tehuacán-Cuicatlán. Fascículo 95. – México D. F.: Instituto de Biología, Universidad Nacional Autónoma de México.</p>
<p>Nach dem Import sieht das so aus</p>
<a name="Warnings"></a>
<h1 >Warnings:<a href="#Warnings" class="wiki-anchor">¶</a></h1>
<p>RIS tag A2 (Secondary Author) not yet handled. n = 1[doInvoke(eu.etaxonomy.cdm.io.reference.ris.in.RisReferenceImport:97)]</p>
<p><img src="https://dev.e-taxonomy.eu/redmine/attachments/download/2114/picture031-1.png" alt="" /></p>
<p>Und wenn man das Buch auswählt, ist dort nur Verlag und Ort importiert.</p>
<p><img src="https://dev.e-taxonomy.eu/redmine/attachments/download/2115/picture031-2.png" alt="" /></p>
<p>Das passiert offensichtlich auch dann, wenn es das Buch in der Datenbank schon gibt.</p>
<p>Schau dir das mal bei Gelegenheit an. Es wäre gut, wenn Buchkapitel auch direkt importiert werden könnten, das braucht man ja viel bei Floren-Treatments.</p>
<p>Viele Grüße<br>
Nadja</p>
EDIT - task #9867 (New): Import taxon level drawing from other publicationshttps://dev.e-taxonomy.eu/redmine/issues/98672021-11-15T09:47:39ZAndreas Müller
<p>WGB:</p>
<p>... Eine Reihe von zusätzlichen Taxon-Level Zeichnungen aus einer anderen Publikation (Witsberger, „Arboles del Parque Deininger“), die ich noch nicht in eine entsprechende Tabelle gebracht habe und die sich auf dem Server unter Y:\ElSalvador befinden. Die sollten ähnlich wie (1)(<a class="issue tracker-6 status-5 priority-10 priority-lowest closed" title="task: Implement image import for salvador (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/6252#note-13">#6252#note-13</a>) behandelt werden.</p>
EDIT - task #9866 (New): Import further Salvador imageshttps://dev.e-taxonomy.eu/redmine/issues/98662021-11-12T14:21:25ZAndreas Müller
<p>Note: currently information/data is still missing for implementation</p>
<p>WGB (2019):</p>
<p>ich bereite einen Arbeitsaufenthalt in El Salvador im Dezember vor. Ich habe (schon seit Jahren) vor, die Feldaufnahmen von Belegen, die dort gesammelt wurden, in die Platform zu integrieren. Die Auswahl könnte ich am Besten vor Ort machen, da ich dort die zugehörigen Belege gleich zur Hand habe und eventuell auch noch scannen könnte. Größenordnung: Bisher habe ich über 14.000 Aufnahmen, allerdings bei weitem nicht alles Bäume (relevant für die EDIT Instanz). Fakten:<br>
• Die Fotos sind alle im JPEG Format. <br>
• Die Dateinamen fangen alle mit der Salvador-Aufsammlungsnummer an, ggf. gefolgt von Leerzeichen und einer Nummer in Klammern, z.B. „WB-01797.jpg“, „WB-01797 (2).jpg“. <br>
• Die Salvador-Aufsammlungsnummer besteht immer aus 3 alphabetischen (oder 2 alphabetischen + minus-) Zeichen und 5 Ziffern. <br>
• Die Salvador-Aufsammlungsnummer steht in JACQ als Herbarnummer des Belegs.<br>
• Bei den bereits aus JACQ importierten Belegen steht die Herbarnummer bei der derived unit des LAGU Herbars in der Preferred stable URI, z.B.: <a href="http://lagu.jacq.org/object/RV-01225">http://lagu.jacq.org/object/RV-01225</a>. <br>
• Die Feldfotos sollten aber mit der respektiven Field Unit verlinkt werden.<br>
• Bei weitem nicht alle relevanten Aufsammlungen wurden bereits importiert, aber alle sind in JACQ registriert. <br>
Fragen:<br>
Läuft der Import von JACQ zu Platform problemlos? Oder anders gefragt: Wie bereite ich den Import am besten vor – ist eine Tabelle im JACQ Outputformat geeignet, in der ich den Herbarverteiler etc. atomisiere (der steht in JACQ im Notizfeld)? Oder haben wir eine andere Formatvorgabe? Ich nehme an, ABCD ist auf Grund der stark denormalisierten Daten in JACQ nicht ideal?<br><br>
Wie funktioniert anschließend die Verlinkung mit den EDIT Specimen? Mir wäre es am liebsten, wenn ich zumindest in Zukunft die entsprechenden Bilddateien mit der Standard-Benennung einfach nur auf den Server stellen müsste, damit das klappt. Problem ist vermutlich die Zuordnung zur Field Unit über die Nummer bei der derived unit? Aber das ist vermutlich kein Einzelfall. </p>
<p>AM:</p>
<p>ein paar Verständnisfragen. <br>
Wie willst du die Fotos hinterlegen, auf dem BGBM Mediaserver oder einfach als Files?<br>
Grundsätzlich hast du Recht, das ABCD sich da nicht so zu eignen scheint. Wir haben das bei den Willing Bildern für die GR-Checkliste versucht und sind gescheitert. Das hatte JACQ spezifische Gründe aber auch ABCD immanente Gründe (FieldUnit Bilder werden da nicht so wirklich gut behandelt, ich hatte da längere Diskussionen mit Gabi und Dominik drüber), vielleicht war es auch die Kombination aus JQCQ und ABCD.<br>
Jedenfalls sind wir dann darauf umgestiegen, einfach einen DB Query in der HerbarDB zu erzeugen und die entsprechende Tabelle zu importieren. Das hat gut funktioniert und ging auch vergleichsweise schnell. Da gibt es also eine Vorlage, die man evtl. mit Änderungen verwenden könnte. Das Ziel dort war: Bildimport, da aber an den Bildern auch Specimen-Daten hingen, wurden die eben auch mit importiert. So wurden die Bilder reicher und zudem hatten die Griechen ein anschauliches Beispiel, was im Bereich Specimen noch so möglich ist.<br>
Bei dir ist es eher anders herum, wichtig sind die Specimen und die Bilder sind nice to have, denke ich. Aber das sollte trotzdem nicht unbedingt ein Problem sein. Da wir ja auch eindeutige IDs haben (z.B. CETAF ID) und die eine klare Syntax verwendest sollte die Zuordnung dann nicht wirklich ein Problem sein. <br>
Ein Beispiel für eine Willing Tabelle findest du im Anhang. Die kommt quasi out-of-the-box aus unserer HerbarDB. Daher auch einige unrelevante Felder. Kannst du mir mal eine JACQ Exporttabelle schicken. Ich weiß nicht, ob ich die kenne. Einen Import für Daten in diesem Format gibt es also noch nicht, ist aber vermutlich nicht aufwendig, da die Formate sich ja ähneln dürften.<br>
Geht bei dem nach und nach Bilder hochschieben auf den Server NUR um Bilder, oder kann es auch sein, dass da on the fly auch immer mal neue Specimen mitkommen? Ersteres machen wir für Zypern schon regelmäßig, dass wir Bilder, die auf dem Server sind auch fürs CDM indexieren, auch wenn da die Verknüpfung etwas anders ist. Wenn es auch um Specimen geht, müssten wir mal schauen, was das beste Vorgehen ist.</p>
<p>AM (2021-11-08):</p>
<p>wie ist denn hier der Stand? Hat sich schon was getan? Wurde entschieden, wie die Bilder abgelegt werden sollen?<br>
@Dominik: ist es möglich, einen ähnlichen Query für die Salvador Specimens zu machen wie wir ihn damals bei den Willing Specimen/Bildern gemacht haben, oder kommen wir da nicht so einfach dran, weil es sich ja um LAGU Specimens handelt und nicht um welche vom BGBM?</p>
EDIT - feature request #9863 (New): Import Salvador municipioshttps://dev.e-taxonomy.eu/redmine/issues/98632021-11-12T13:43:12ZAndreas Müller
<p>WGB:</p>
<p>... Municipio ist eigentlich die 3. Stufe – hier findet sich eine Liste: <a href="https://es.wikipedia.org/wiki/Anexo:Municipios_de_El_Salvador">https://es.wikipedia.org/wiki/Anexo:Municipios_de_El_Salvador</a> jeweils innerhalb der Departamentos – vielleicht könnten wir die mal importieren, dann kann man das in Zukunft aufräumen? Ich habe mal eine Tabelle draus gemacht (anh.).</p>
EDIT - feature request #9809 (New): Implement further tags for RIS reference importhttps://dev.e-taxonomy.eu/redmine/issues/98092021-10-12T12:31:27ZAndreas Müller
<p>in <a class="issue tracker-5 status-5 priority-10 priority-lowest closed" title="feature request: First version of RIS reference import (e.g. for Endnote import) (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/6636">#6636</a> and <a class="issue tracker-5 status-5 priority-10 priority-lowest closed" title="feature request: Implement tags CY and fix PY handling for RIS import (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/9786">#9786</a> the most important tags for RIS import have been implemented. However, there are a couple of more not yet implemented tags and tasks.</p>
<p><del>Also check if deduplication works for authors and references</del> (<a class="issue tracker-5 status-5 priority-10 priority-lowest closed" title="feature request: Implement deduplication for RIS import (Closed)" href="https://dev.e-taxonomy.eu/redmine/issues/9889">#9889</a>).</p>
<p>Also check the console output for the test with the long file. There are issues with date handling that could be improved.</p>
<p><del>Also we may want to add the source reference to newly added authors.</del> 5.29</p>
<p><del>The reference detail for the source reference is something like "line line 1 - line 16". The first "line" should be removed.</del> 5.29</p>
<p><del>Include new authors in result.</del> 5.29</p>