Project

General

Profile

Actions

bug #10111

open

Data loss e.g. when entering type information

Added by Andreas Müller almost 2 years ago. Updated 4 months ago.

Status:
In Progress
Priority:
Highest
Category:
taxeditor
Target version:
Start date:
Due date:
% Done:

30%

Estimated time:
Severity:
critical
Found in Version:

Description

Sometimes type information gets lost when entered without immediate saving in type designation element

WGB:

mir war schon einigemale aufgefallen, dass bei der Type Specimen Eingabe etwas schief läuft, hatte aber keine Zeit, das zu detaillieren. Folgender Ablauf:
(Caryophyllales_spp, Achyranthes margaretarum,
Ich gebe im Details-View das Specimen (neu) ein. Alles sieht gut aus, aber nach einem refresh des Taxons ist es dort nicht mehr zu sehen:

Im Bulk Editor (tree) finde ich das Specimen,

aber bei Suche über den Namen dort taucht es auch nicht auf:

Früher hatte ich dann das nochmal hinzugefügt, das führte dann aber später zu duplizierten Typus-Specimen.
Bitte sagt Bescheid, wenn Ihr Euch das angesehen habt, damit ich die Sache fertig bearbeiten kann.

KL:

was meinst Du mit einem „refresh“ des Taxons? Hast Du das Taxon gespeichert oder hast Du den Fokus gewechselt?

Ich habe das bisher nur mit meiner lokalen Instanz ausprobiert, aber da konnte ich es erstmal nicht reproduzieren. Ich probiere noch ein bisschen weiter.

WGB:

ich meinte “refresh” des Detail views – also anderen Namen in den Fokus und zurück.
Das läuft auch nicht immer so, war mir aber, wie gesagt, schon mehrmals aufgefallen.

WGB:

ist mir gerade (vor 5 min) wieder passiert:
Taxon: Cyathula #nomnov-a Di Vincenzo, M.Wondafrash, Berendsohn & Borsch
Synonym: Pandiaka heudelotii var. subglobosa Suess. in Bull. Jard. Bot. État 15: 66. 1938
Eine umfangreiche textuelle Typusangabe (zum Glück aus Texteditor eingesetzt), Source eingegeben, Save – (der NameEditor setzt den Fokus dann manchmal [hier] auf den Taxonnamen – das ist auch irritierend). Fokus auf Namen – alles weg. Auch in den Specimen Bulk Editoren nicht zu finden.
Kann es sein, dass das nur dann passiert, wenn man vor der Source-Eingabe nicht abspeichert? Ich habe ansonsten nur Type Specimen eingegeben, recht viele, kein Problem – aber dort wohl immer vor Source Eingabe gespeichert.

PS: Ich gebe das jetzt gleich nochmal ein. Save vor source – alles ok.

WGB:

noch ein Fall – ich glaube, der bug hat auch mit der Statusangabe zu tun.
Taxon: Pandiaka ramulosa
Synonym: Pandiaka incana
Ich habe nur das Belegzitat als Sammler, Sammelnummer, sonst nichts, in einer Quelle gefunden (ich habe die Erstpublikation noch nicht).
Eigentlich möchte ich also nur das eingeben.
Den Beleg habe ich abgespeichert, aber eine Source bekomme ich ohne die Statusangabe überhaupt nicht zu sehen.
Ich habe dann Lectotype ausgewählt, Source eingegeben und gespeichert.
Dann wollte ich den Status auf „unknown“ ändern.
Ich bekam keine Speichermöglichkeit. Wechsel zu anderem Namen beim Taxon, erneuter Fokus auf das Synonym: Alles weg – No type information yet.
Im Specimen Bulk Editor (tree) ist der Typus (Milne-Redhead 2738) aber da.
Ich wähle ihn im Details view aus und speichere.
Ohne Statusangabe komme ich nicht an die Source.
Auswahl „unknown type category“, Fokuswechsel: Dito
Neuaufruf des Taxons: Dito
Status holotype; Save
Immer noch nichts – ich gebe es auf und lasse es bei „unknown“ ohne Quelle.
(Das sollte Cavaco 1962 sein).

====

A similar issue:

WGB: Buck beim Eingeben original spelling

das erinnert an das Problem mit den Typen(?)
Die EIngabe des orig. spelling Namens wird nach der Eingabe nicht im Name Editor aktualisiert und dann auch nicht abgespeichert.

und jetzt plötzlich nicht mehr korrekt angezeigt (sollte nur der Gattungsname sein)


WGB:

das ist gestern auch bei der Eingabe einer Nomenklaturreferenz passiert – im Details-View eingegeben (ausgewählt), kam aber persistent nicht im Name Editor an und wurde nicht gespeichert.


Files

clipboard-202207300027-4klt8.png (20.1 KB) clipboard-202207300027-4klt8.png Andreas Müller, 07/30/2022 12:27 AM
clipboard-202207300027-mmall.png (23.6 KB) clipboard-202207300027-mmall.png Andreas Müller, 07/30/2022 12:27 AM
clipboard-202207300855-wzla4.png (18.5 KB) clipboard-202207300855-wzla4.png Andreas Müller, 07/30/2022 08:55 AM
clipboard-202209031116-oupf2.png (112 KB) clipboard-202209031116-oupf2.png Andreas Müller, 09/03/2022 11:16 AM
clipboard-202209031116-0wbhy.png (108 KB) clipboard-202209031116-0wbhy.png Andreas Müller, 09/03/2022 11:16 AM
clipboard-202401221627-b9pgm.png (10.4 KB) clipboard-202401221627-b9pgm.png Andreas Müller, 01/22/2024 04:27 PM

Related issues

Related to EDIT - bug #10080: Source Element sometimes does not appear after selecting a new designation status and after creating a new type designationIn ProgressKatja Luther

Actions
Related to EDIT - bug #8222: Deleting a type designation from a name is directly persistedClosedPatrick Plitzner

Actions
Related to EDIT - bug #10053: Problems with saving of secundum referencesClosedAndreas Müller

Actions
Related to EDIT - bug #10054: Changes on secundum reference are lost after changing status to basionymClosedAndreas Müller

Actions
Related to EDIT - bug #10138: Details view is not updated after freetext changeClosedKatja Luther

Actions
Related to EDIT - bug #10186: Problems with session handling in taxeditorClosedKatja Luther

Actions
Actions #1

Updated by Andreas Müller almost 2 years ago

That the "Source" element is not shown (last mail from WGB) is a known issue handled at #10080

Actions #2

Updated by Andreas Müller almost 2 years ago

  • Related to bug #10080: Source Element sometimes does not appear after selecting a new designation status and after creating a new type designation added
Actions #4

Updated by Andreas Müller almost 2 years ago

  • Related to bug #8222: Deleting a type designation from a name is directly persisted added
Actions #5

Updated by Andreas Müller almost 2 years ago

AM:

Hallo Walter,

ich habe mir das jetzt mal angesehen, konnte es erst nicht, dann ein paar Mal quasi direkt hintereinander, und dann, als ich das Debuggen vorbereiten wollte, wieder überhaupt nicht mehr reproduzieren, obwohl ich es zum Schluss sicher 50x mit allen Konstellationen versucht habe und genau die gleiche Arbeitsumgebung hatte. Daher müssen wir uns weiterhin langsam der Sache nähern.

Erstmal vorab ein paar Hinweise

1) Leider wird derzeit die Sources Section nicht immer angezeigt aus bislang unbekanntem Grund (https://dev.e-taxonomy.eu/redmine/issues/10080). Hierfür gibt es aber einen Workaround, nämlich die Breite des Details-View leicht zu verändern, dann wird die Source wieder angezeigt. Ein Teil deiner Beobachtungen scheint sich auf diesen Fehler zu beziehen. Das ist aber ein reines Anzeige-Problem und sollte nichts damit zu tun haben, dass die Daten nicht richtige übernommen/gespeichert werden. Bitte bei allen weiteren Beobachtungen ausschließen, dass es sich um diesen Fehler handelt.
2) „Eine umfangreiche textuelle Typusangabe (zum Glück aus Texteditor eingesetzt), Source eingegeben, Save – (der NameEditor setzt den Fokus dann manchmal [hier] auf den Taxonnamen – das ist auch irritierend). Fokus auf Namen – alles weg. Auch in den Specimen Bulk Editoren nicht zu finden.“
Das du sie im Bulkeditor nicht finden kannst ist logisch, es handelt sich ja nicht um ein Specimen sondern um eine textuelle Angabe.
3) Leider aktualisiert der Fokus den Detailsview ja nicht immer korrekt. Also er zeigt dann noch die Werte, der vorherigen Records an. Bitte auch immer ausschließen, dass es sich um so ein Problem gehandelt haben könnte (bei den Malen, wo ich es reproduzieren konnte, schien mir das aber nicht das eigentliche Problem zu sein, also z.B. dass man evtl. beim falschen Record etwas hingefügt hätte).

Jetzt zum Eigentlichen. Die allererste Frage, die wir klären müssen ist, ob das Problem nur nach Speichern von Daten auftritt oder unabhängig davon. Also konkret, bei deiner erste Beschreibung des Bugs sprachst du nicht von Speichern, sondern nur von Refresh. Wenn das so stimmt, ist das Problem eindeutig auf TaxEditor Seite. Die TypeDesignation wird gar nicht erst erzeugt, oder zumindest nicht an den Namen angehängt und ist somit auch nicht am Datengraph. Das ist auch, was ich beobachten konnte als ich das Problem reproduzieren konnte. Leider weiß ich aber nicht mehr 100%ig was ich da vorher alles gemacht habe.
Also wenn es auftritt bitte schauen, ob es bereits vor jedem Save einfach nur durch Fokuswechsel auftritt.

Weitere Frage: es tritt sowohl bei textuellen TypeDesignations auf, nicht nur bei Specimen, oder? Zumindest lingt der „Cyathula #nomnov-a Di Vincenzo“ Fall so.

Und: Falls das Problem doch nur nach „save“ auftaucht, gibt es einen Zusammenhang dazu, ob nach dem Save der Fokus fälschlich zu akzeptierten springt? Ich hatte den Fall gerade, als ich das Problem doch noch ein einziges Mal reproduzieren konnte.

Und: Tritt das Problem wirklich nur im Zusammenhang mit Quellen auf. Ich habe das Gefühl, dass es bei mir auch kam, als ich keine Quellen eingegeben habe. 100%ig weiß ich das aber nicht mehr.

Zeit mitprotokollieren: und als letztes für diesen Schritt wäre es wichtig, die exakte Zeit zu protokollieren, wann das auftritt, damit wir es mit den Server-Logs vergleichen können. Ich habe zwar eher nicht das Gefühl, dass das Problem serverseitig ist, aber das kann auch nur vordergründig so scheinen. Daher wäre es wichtig, die genaue Uhrzeit zu kennen.

Achso und: tritt das Problem „im Rudel“ auf? Also tritt es, wenn es auftritt ständig auf und dann wieder eine Zeit lang gar nicht? Das würde auf ein temporäres Problem hinweisen, z.B. einen langsamen Server oder einen übergelaufenen Cache oder so.

Actions #6

Updated by Andreas Müller almost 2 years ago

  • Status changed from New to In Progress
Actions #7

Updated by Andreas Müller almost 2 years ago

  • Target version changed from Release 5.32 to Release 5.33
Actions #8

Updated by Andreas Müller almost 2 years ago

  • Related to bug #10053: Problems with saving of secundum references added
Actions #9

Updated by Andreas Müller almost 2 years ago

  • Related to bug #10054: Changes on secundum reference are lost after changing status to basionym added
Actions #10

Updated by Andreas Müller almost 2 years ago

  • Assignee changed from Andreas Müller to Katja Luther
Actions #11

Updated by Katja Luther almost 2 years ago

Sometimes the dirty flag is not set when changing the status and I think that I had a case where the specimen was removed after changing the status.

Add a source before saving is not always the reason for missing saving, I also added a source before saving and everything was saved correctly.

Actions #12

Updated by Andreas Müller over 1 year ago

  • Subject changed from Data loss when entering typus information to Data loss e.g. when entering typus information
Actions #14

Updated by Andreas Müller over 1 year ago

  • Description updated (diff)
Actions #15

Updated by Andreas Müller over 1 year ago

  • Related to bug #10138: Details view is not updated after freetext change added
Actions #16

Updated by Andreas Müller over 1 year ago

  • Target version changed from Release 5.33 to Release 5.35
Actions #17

Updated by Katja Luther over 1 year ago

  • Related to bug #10186: Problems with session handling in taxeditor added
Actions #18

Updated by Andreas Müller over 1 year ago

  • Status changed from In Progress to Resolved
  • Assignee changed from Katja Luther to Andreas Müller

I will try to reproduce

Actions #19

Updated by Andreas Müller over 1 year ago

  • Assignee changed from Andreas Müller to Walter Berendsohn
  • Priority changed from Highest to Priority13
  • % Done changed from 0 to 70

After short testing I could not reproduce this issue anymore. Maybe it was fixed with #10186. However, this is not guaranteed as the problem occurs only from time to time.

@Walter and @Nadja: when entering type specimen data can you carefully check in the near future if the problem occurs again? If it does not occur within the next 3 month we will close this ticket (and reopen if it occurs later).

Actions #20

Updated by Andreas Müller over 1 year ago

  • Subject changed from Data loss e.g. when entering typus information to Data loss e.g. when entering type information
Actions #21

Updated by Andreas Müller over 1 year ago

  • Description updated (diff)
Actions #22

Updated by Andreas Müller over 1 year ago

  • Assignee changed from Walter Berendsohn to Andreas Müller
  • Priority changed from Priority13 to Priority10
  • % Done changed from 70 to 90

AM:

auch das Ticket #10111 sollte jetzt final gereviewed werden nach dem das Release jetzt draußen ist.

In diesem Ticket geht es v.a. darum, dass Specimen- und andere Daten, die an Typusbelege gehängt wurden, nicht richtig gespeichert wurden.
Wir hoffen, dass das Problem jetzt behoben ist. Da es aber nicht einfach zu reproduzieren war und nur manchmal auftrat, bräuchten wir euer Feedback, sobald es doch wieder auftritt (wie immer möglichst mit genauer Beschreibung).

Wenn wir bis 4/23 nichts von euch hören, schließen wir das Ticket erstmal.

Actions #23

Updated by Andreas Müller over 1 year ago

NaK:

das ist mir auch ein paar Mal passiert, aber so sporadisch, dass ich dachte, ich hätte nicht gespeichert. Ich melde mich, falls das nochmal vorkommt.

Actions #24

Updated by Andreas Müller 11 months ago

  • Status changed from Resolved to In Progress
  • Priority changed from Priority10 to Highest
  • Target version changed from Release 5.35 to Release 5.44
  • % Done changed from 90 to 30

WGB 2023-06-20:

ich habe eine solche Eingabe noch einmal an anderer Stelle gemacht, und war erfolgreich.
Es ist wahrscheinlich, dass ich nach der Löschung oder an anderer Stelle der Eingabe nicht gespeichert hatte, sondern nur am Ende.
Ist die einzige Möglichkeit, mir das zu erklären, bei der neuen Eingabe habe ich nach jeder Eingabe gespeichert.

bin in Caryophyllales_spp.
Habe gerade zwei Typusangaben gelöscht und dann neue (korrigierte) Angaben eingeben, beides Lektotypen, für Achyranthes aspera var. sicula L. und fÜr Achyranthes argentea Lam.
Beide Eingaben sind jetzt verschwunden – bin sicher, dass ich gespeichert hatte.
Ich versuche jetzt mal den Neuaufruf des Taxons, wenn das nicht hilft, des Taxon Editors ...
Beides hilft nichts.
Auch das Updated Datum wurde nicht geändert (letztes mal 2022).
Die betreffenden neu eingegebenen Specimens wurden aber gespeichert. (SEVH4073 und Herb. Linn. No. 287.1.)
Ebenso die nur als Lektotypisierungsreferenz eingegebene Referenz Iamonico 2014 in Taxon 63(3).
Das geht in die Richtung der Vorkommnisse in Kuba, nur waren es dort m.E.n. keine Typen.

WGB 2023-06-20 (cont.):

ich habe eine solche Eingabe noch einmal an anderer Stelle gemacht, und war erfolgreich.
Es ist wahrscheinlich, dass ich nach der Löschung oder an anderer Stelle der Eingabe nicht gespeichert hatte, sondern nur am Ende.
Ist die einzige Möglichkeit, mir das zu erklären, bei der neuen Eingabe habe ich nach jeder Eingabe gespeichert.

Actions #25

Updated by Andreas Müller 11 months ago

This still seems to be open or there is a similar issue as reported by WGB. Therefore I moved it back to an open milestone.

Actions #26

Updated by Andreas Müller 10 months ago

WGB 2023-07-17:

mir ist das gerade wieder passiert, glaube ich. Caryophyllales_spp: Ich habe die Typus-Information für Achyranthes borbonica eingegeben. Dann beim Speichern sprang der Fokus auf die akzeptierte Art und der Link zum Typus beim Synonym war weg. Ich hatte ihn vor dem Speichern noch als „original material“ bezeichnet.
Der Typus ist aber abgespeichert worden, zu finden als B -W 05005 -01 0 – mehr Angaben sind da leider nicht. Wenn ich ihn dann nochmal im Details View auswähle, scheint das gespeichert zu werden.

Actions #27

Updated by Andreas Müller 10 months ago

  • Severity changed from normal to critical
Actions #28

Updated by Andreas Müller 4 months ago

wGB:

Caryophyllales Datenbank, Alternanthera scirpoides Hook.f., Gen. Pl. 3: 39. 1880
Es gab einen textuellen Typuseintrag, den habe ich gelöscht. Dann Eingabe des Lectotypus mit Designation Reference (Turner 2016) als Specimen.
Speichern.
Nach ein paar weiteren Eingaben will ich die vergessene Seitenzahl (288) nachtragen. Der Typus wird beim Synonym im Details-View nicht mehr angezeigt.
Der Typus ist aber korrekt abgespeichert worden:

Das kommt mir irgendwie bekannt vor – Cuba Workshop vor einem Jahr?
Ist gerade bei der schon recht mühseligen Typuseingabe ein echtes Problem, weil man es ja nicht ohne weiteres sieht.
Ich habe das jetzt erstmal nicht nochmal versucht, um das Nachvollziehen nicht zu stören.

AM:

... Dass die Specimens trotzdem gespeichert werden hat vermutlich damit zu tun, dass diese über einen Dialog hinzugefügt werden. Daten aus einem Dialog werden immer sofort gespeichert, also nicht erst, wenn das Taxon gespeichert wird. Korrekt, Katja?

Als nächstes müssen wir herausfinden, ob der Fehler im UI passiert, also ob die Daten nicht dem Datengraph hinzugefügt werden, ob das Cachen des Datengraphs nicht funktioniert oder ob das Problem serverseitig ist, also das mergen des Datengraphen in die Datenbank nicht funktioniert. Grundsätzlich schwierig, da es nicht leicht reproduzierbar ist.

Actions #29

Updated by Andreas Müller 4 months ago

Orphaned Specimen:

SELECT sob.DTYPE, sob.id, sob.titleCache, sob.accessionnumber, sob.protectedtitlecache, sob.barcode, sob.created, sob.`uuid`, ua.username createdBy, sob.updated
FROM SpecimenOrObservationBase sob LEFT JOIN TypeDesignationBase tdb ON tdb.typeSpecimen_id = sob.id 
LEFT JOIN DescriptionElementBase deb ON deb.associatedspecimenorobservation_id = sob.id
LEFT JOIN UserAccount ua ON sob.createdby_id = ua.id
WHERE sob.DTYPE <> 'FieldUnit' AND sob.DTYPE <> 'DnaSample'
AND tdb.id IS NULL AND deb.id IS NULL 
ORDER BY sob.created

"Aber: das sind bei weitem nicht alles Fälle, bei denen das Speichern schief ging. Ich habe mal die ersten 3 untersucht (und bereinigt, also nicht mehr in der Liste). Da gab es jeweils Duplikate aus welchem Grund auch immer. Also entweder, weil das Speichern wirklich nicht funktioniert hat und nicht erkannt wurde, dass das Specimen schon existiert und neu angelegt wurde oder weil das oft nur mit titleCache angelegte Specimen durch ein atomisiertes ersetzt wurde (statt es zu überschreiben) oder aus einem anderen Grund.

Interessant ist auch die created und created by Spalte anzuschauen. Da sind auch diverse Specimen die z.B. durch den Sileneae Import am 3.2.2023 reinkamen. Ich habe mal einen untersucht (id = 7385). Das Specimen wurde angelegt am: 2023-02-03 20:26:22. Dabei wurde eine TypeDesignation angelegt, die aber am 2023-09-22 10:55:42 gelöscht wurde. Ich nehme an, dass Nadja dort die Daten überarbeitet hat.
Der Name war Silene echinus Boiss. & Heldr., wurde im gleichen Commit gelöscht. Also alles korrekt hier, aber es bleibt das orphaned Specimen.
Wir könnten und sollten natürlich versuchen, solche orphaned Specimens beim Löschen des Namens auch zu löschen. Allerdings nicht ganz untrivial wegen der vielen Linkmöglichkeiten und weil Userfeedback notwendig, ob das Specimen wirklich weg soll (könnte ja auch sein, dass es in der DB bleiben soll).
"

SQL used to check for single orphaned specimen

SELECT *
FROM SpecimenOrObservationBase_AUD sob
WHERE sob.id = 7385;

SELECT a.*, tdb.*
FROM TypeDesignationBase_AUD tdb INNER JOIN AuditEvent a ON a.revisionnumber = tdb.REV
WHERE tdb.typeSpecimen_id = 7385 OR tdb.id = 8178 ;

SELECT *
FROM TaxonName_TypeDesignationBase_AUD MN 
WHERE MN.typedesignations_id = 8178;

SELECT *
FROM TaxonName_AUD tn
WHERE tn.id = 88225
Actions

Also available in: Atom PDF