Probleme bei der Erreichbarkeit der fotocommunity

Zur Zeit kommt es zu Störungen bei der Erreichbarkeit der fotocommunity, die in weißen Seiten oder der Statusseite resultierne. Der genaue Grund wird derzeit untersucht. Sobald es Neuigkeiten gibt, werden wir diese hier im Blog kommunizieren.

Currently we’re facing some problems with our hardware infrastructure. Due to these complications fotocommunity is not accessible at the moment. We already working on it.

Probleme beim Bilderupload / Image Upload malfunctioning

Momentan gibt es vereinzelt Probleme beim Bilderupload. Wir arbeiten momentan an dem Problem und einer zügigen Wiederherstellung des Dienstes


Currently in some cases image upload isn’t possible. We are currently investigating this issue and will fix it as soon as possible.

Gestörte Erreichbarkeit der fotocommunity

Zur Zeit kommt es zu Störungen bei der Erreichbarkeit der fotocommunity. Der genaue Grund wird zur Zeit untersucht. Sobald es Neuigkeiten gibt, werden wir diese hier im Blog kommunizieren.

Currently we’re facing some problems with our hardware infrastructure. Due to these complications fotocommunity is not accessible at the moment. We already working on it.

UPDATE: Bilderupload gestört / Image upload malfunctioning

Update: Der bilderupload funktiniert nun wieder wie gewohnt.

Aktuell kommt es in einigen Fällen zu Problemen beim Bilderupload. Wir arbeiten an der Behebung des Problems. Sollte es in diesem Zusammenhang Proleme geben wenden Sie sich bitte an den Support


Update: image upload is now working as expected.

Currently the upload function is not working properly in some cases. We are currently working on this issue. If you have any problems regarding this issue please contact out support.

Fehlerhafte Seitenauslieferung / Errors displaying pages

Heute gab es aus bisher ungeklärten Gründen Probleme mit der Seitenauslieferung. Das Problem trat zwischen 17:40 und 17:50 Uhr auf. Wir untersuchen zur Zeit die Ursache und beheben das Problem schnellstmöglich.

 


Due to unknown reasons there were a problem displaying some pages between 5:40 and 5:50 pm CEST.  We are investigating this issue and will resolve it issue as soon as possible.

[UPDATE-6] Stromausfall im Rechenzentrum / power outage in data center

Die Klickzähler sowohl von Photos als auch von Profilen sind nun aktualisiert und enthalten sämtliche Klicks bis auf die,welche im erwähnten 18 stündigen Zeitfenster erfasst wurden.

Die Suche verfügt nun ebenfalls wieder über einen aktuellen Index.


The clickcounters both for photos and profiles have been completely restored except for those clicks which occured in the already mentioned 18hours time window.

Also the search now has an up to date searchindex.

[UPDATE-5] Stromausfall im Rechenzentrum / power outage in data center

Ebenfalls stellen wir aktuell die Klickzähler der Profile wieder her, für welche die selben Dinge gelten wie für die im letzten Post beschriebenen Klickzähler der Photos.


Also we currently restore the clickcounters from profile visits. The same information already provided in the last post about clickcounters from photos applies to the restored clickcounters from profile visits.

[UPDATE-4] Stromausfall im Rechenzentrum / power outage in data center

Aktuell stellen wir sukzessive die Klickzähler von Photos wieder her. Nach Abschluss dieses Vorgangs werden die Klickzähler von Photos sämtliche Klicks aufweisen welche nicht zwischem dem 2. April 2013 22:00 MESZ und 3. April 2013 16:15 MESZ erfolgt sind.

Wir erwarten dass die Wiederherstellung bis ca. 16:00 MESZ abgeschlossen sein wird und informieren nach Abschluss erneut hier im Blog.


We currently gradually restore the clickcounters of all photos. After completion the clickcounters will represent all clicks done except those which occurred during April 2nd 2013 10pm CEST and April 3rd 2013 4.15 pm CEST.

We expect the restore process to be finished by 4pm CEST after which we will inform you again on this blog.

[UPDATE-3] Stromausfall im Rechenzentrum / power outage in data center

Nach umfangreicher Analyse des gestern eingespielten Backups der bereits erwähnten “kleineren” Datenbank können wir sagen das:

  • Daten welche zwischen dem 2. April 22:00 und 3. April 16:00 gespeichert wurden leider dauerhaft verloren sind
  • Aktuell Daten, weit älter als vom 2. April, online sind
  • Wir aktuell daran arbeiten Daten aus dem letzten komplett funktionierenden Backup vom 2. April 22:00 in das Live-System zu migrieren, wir gehen allerdings davon aus das dies noch einige Tage in Anspruch nehmen wird. Auch wird dies sukzessive erfolgen.

Bei allen Daten welche aktuell nicht komplett oder nicht vorhanden sind handelt es sich ausschließlich um sogenannte “Meta” Daten, also. z.B. die Anzahl der erhaltenen Klicks zu einem Photo oder der Zeitpunkt zu welchem zuletzt die Notifications gelesen wurden.

Features welche hiervon betroffen sind:

  • Klickzähler von Photos
  • Klickzähler von Profilen
  • Aktivitäten
  • Meine Community / NewsStream (sowohl Inhalt als auch die Filtereinstellung)
  • Selbstgewählte Sortierung der Elemente auf der Displayseite
  • Selbstgewählte Sortierung der Meine Community Sidebar
  • Liste der Profilbesucher
  • Statistikseite

Es sind keinerlei Bilder, Kommentare oder andere essentiel wichtige Daten verloren gegangen.

Ferner wird die Suche noch bis voraussichtlich Morgen, 5. April keine Aktualisierung des Suchindexes erhalten.


After a very comprehensive analysis of the backup of the already mentioned “smaller” database we restored yesterday we can now say that:

  • Data which has been written during April 2nd 10pm CEST and April 3rd 4pm has been permanently lost
  • The data which is currently online is way older than from April 2nd
  • We currently work on migrating data from the last complete backup taken on April 2nd 10pm CEST into our live system, although we expect this process to take at least two additional days. The migration will be done in a gradually fashion.

All data in question of currently or permanently beeing lost are so called “meta” data, e.g. the number of clicks a photo has gotten over time or the time and date the notifications have been read the last time.

Features being affected are:

  • Photo clickcounters
  • Profile clickcounters
  • Activities
  • My Community / NewsStream (both content and filter settings)
  • Per-User order from certain elements on the display page
  • Per-User order from the sidebare on My Community page
  • List of users who have visited another users profile
  • Statisticspage

No photos, comments or other essential data has been lost.

Also fotocommunitys search will not be updated with a current searchindex at least until tomorrow, april 5th.

[UPDATE-2] Stromausfall im Rechenzentrum / power outage in data center

Wie wir inzwischen feststellen mussten, war das gestern eingespielte Backup einer kleineren Datenbank fehlerhaft. Dies betrifft unter anderem die Klickzähler von Bildern.

Wir untersuchen zur Zeit, welche weiteren Daten hiervon betroffen sind und erarbeiten eine Lösung, um Daten aus einem älteren, nicht schadhaften Backup wieder herzustellen, bzw. das schadhafte Backup zu reparieren.

Bei dem Datenbanksystem handelt es sich um ein Hochverfügbares Master-Slave System bestehend aus einem Master, einem Slave sowie einem Backup-Slave. Theoretisch können Master und Slave beide ausfallen, ohne dass ein Datenverlust entsteht, da wir ja den weiteren Backup-Slave haben – bei dem gestrigen Stromausfall fielen jedoch alle drei Server zeitgleich aus – aus diesem Grund müssen wir leider mit den “Notfall” Backups arbeiten, welche eben nicht den aktuellsten Datenbestand aufweisen.

Sobald wir mehr Informationen über den Fortschritt der Arbeiten sowie über die betroffenen Daten und Features haben, informieren wir euch an dieser Stelle.


Since our last post we found out that the backup we used to recovery a rather small database was flawed. This does affect, among others, the feature of counting clicks per photo.

Currently we are determining what other data has been affected by the flawed backup and we are trying to create a solution for recovering data from an older backup or restoring the consistency of the flawed backup.

The database system in question is, by design, a high available one. Consisting of a master, a slave and a backup slave the system should withstand even the outage of both master and slave servers. Unfortunately the power outage caused all three systems beeing shutdown at the same time. This leaves us working with our emergency backups which do not reflect the most recent changes to the database.

As soon as we have more information on the progress of the recovery we will give you an update in this blog.