Gestörte Erreichbarkeit der fotocommunity

Zur Zeit kommt es zu Störungen bei der Erreichbarkeit der fotocommunity. Der genaue Grund wird zur Zeit untersucht. Sobald es Neuigkeiten gibt, werden wir diese hier im Blog kommunizieren.

Currently we’re facing some problems with our hardware infrastructure. Due to these complications fotocommunity is not accessible at the moment. We already working on it.

UPDATE: Bilderupload gestört / Image upload malfunctioning

Update: Der bilderupload funktiniert nun wieder wie gewohnt.

Aktuell kommt es in einigen Fällen zu Problemen beim Bilderupload. Wir arbeiten an der Behebung des Problems. Sollte es in diesem Zusammenhang Proleme geben wenden Sie sich bitte an den Support


Update: image upload is now working as expected.

Currently the upload function is not working properly in some cases. We are currently working on this issue. If you have any problems regarding this issue please contact out support.

Fehlerhafte Seitenauslieferung / Errors displaying pages

Heute gab es aus bisher ungeklärten Gründen Probleme mit der Seitenauslieferung. Das Problem trat zwischen 17:40 und 17:50 Uhr auf. Wir untersuchen zur Zeit die Ursache und beheben das Problem schnellstmöglich.

 


Due to unknown reasons there were a problem displaying some pages between 5:40 and 5:50 pm CEST.  We are investigating this issue and will resolve it issue as soon as possible.

[UPDATE-6] Stromausfall im Rechenzentrum / power outage in data center

Die Klickzähler sowohl von Photos als auch von Profilen sind nun aktualisiert und enthalten sämtliche Klicks bis auf die,welche im erwähnten 18 stündigen Zeitfenster erfasst wurden.

Die Suche verfügt nun ebenfalls wieder über einen aktuellen Index.


The clickcounters both for photos and profiles have been completely restored except for those clicks which occured in the already mentioned 18hours time window.

Also the search now has an up to date searchindex.

[UPDATE-5] Stromausfall im Rechenzentrum / power outage in data center

Ebenfalls stellen wir aktuell die Klickzähler der Profile wieder her, für welche die selben Dinge gelten wie für die im letzten Post beschriebenen Klickzähler der Photos.


Also we currently restore the clickcounters from profile visits. The same information already provided in the last post about clickcounters from photos applies to the restored clickcounters from profile visits.

[UPDATE-4] Stromausfall im Rechenzentrum / power outage in data center

Aktuell stellen wir sukzessive die Klickzähler von Photos wieder her. Nach Abschluss dieses Vorgangs werden die Klickzähler von Photos sämtliche Klicks aufweisen welche nicht zwischem dem 2. April 2013 22:00 MESZ und 3. April 2013 16:15 MESZ erfolgt sind.

Wir erwarten dass die Wiederherstellung bis ca. 16:00 MESZ abgeschlossen sein wird und informieren nach Abschluss erneut hier im Blog.


We currently gradually restore the clickcounters of all photos. After completion the clickcounters will represent all clicks done except those which occurred during April 2nd 2013 10pm CEST and April 3rd 2013 4.15 pm CEST.

We expect the restore process to be finished by 4pm CEST after which we will inform you again on this blog.

[UPDATE-3] Stromausfall im Rechenzentrum / power outage in data center

Nach umfangreicher Analyse des gestern eingespielten Backups der bereits erwähnten “kleineren” Datenbank können wir sagen das:

  • Daten welche zwischen dem 2. April 22:00 und 3. April 16:00 gespeichert wurden leider dauerhaft verloren sind
  • Aktuell Daten, weit älter als vom 2. April, online sind
  • Wir aktuell daran arbeiten Daten aus dem letzten komplett funktionierenden Backup vom 2. April 22:00 in das Live-System zu migrieren, wir gehen allerdings davon aus das dies noch einige Tage in Anspruch nehmen wird. Auch wird dies sukzessive erfolgen.

Bei allen Daten welche aktuell nicht komplett oder nicht vorhanden sind handelt es sich ausschließlich um sogenannte “Meta” Daten, also. z.B. die Anzahl der erhaltenen Klicks zu einem Photo oder der Zeitpunkt zu welchem zuletzt die Notifications gelesen wurden.

Features welche hiervon betroffen sind:

  • Klickzähler von Photos
  • Klickzähler von Profilen
  • Aktivitäten
  • Meine Community / NewsStream (sowohl Inhalt als auch die Filtereinstellung)
  • Selbstgewählte Sortierung der Elemente auf der Displayseite
  • Selbstgewählte Sortierung der Meine Community Sidebar
  • Liste der Profilbesucher
  • Statistikseite

Es sind keinerlei Bilder, Kommentare oder andere essentiel wichtige Daten verloren gegangen.

Ferner wird die Suche noch bis voraussichtlich Morgen, 5. April keine Aktualisierung des Suchindexes erhalten.


After a very comprehensive analysis of the backup of the already mentioned “smaller” database we restored yesterday we can now say that:

  • Data which has been written during April 2nd 10pm CEST and April 3rd 4pm has been permanently lost
  • The data which is currently online is way older than from April 2nd
  • We currently work on migrating data from the last complete backup taken on April 2nd 10pm CEST into our live system, although we expect this process to take at least two additional days. The migration will be done in a gradually fashion.

All data in question of currently or permanently beeing lost are so called “meta” data, e.g. the number of clicks a photo has gotten over time or the time and date the notifications have been read the last time.

Features being affected are:

  • Photo clickcounters
  • Profile clickcounters
  • Activities
  • My Community / NewsStream (both content and filter settings)
  • Per-User order from certain elements on the display page
  • Per-User order from the sidebare on My Community page
  • List of users who have visited another users profile
  • Statisticspage

No photos, comments or other essential data has been lost.

Also fotocommunitys search will not be updated with a current searchindex at least until tomorrow, april 5th.

[UPDATE-2] Stromausfall im Rechenzentrum / power outage in data center

Wie wir inzwischen feststellen mussten, war das gestern eingespielte Backup einer kleineren Datenbank fehlerhaft. Dies betrifft unter anderem die Klickzähler von Bildern.

Wir untersuchen zur Zeit, welche weiteren Daten hiervon betroffen sind und erarbeiten eine Lösung, um Daten aus einem älteren, nicht schadhaften Backup wieder herzustellen, bzw. das schadhafte Backup zu reparieren.

Bei dem Datenbanksystem handelt es sich um ein Hochverfügbares Master-Slave System bestehend aus einem Master, einem Slave sowie einem Backup-Slave. Theoretisch können Master und Slave beide ausfallen, ohne dass ein Datenverlust entsteht, da wir ja den weiteren Backup-Slave haben – bei dem gestrigen Stromausfall fielen jedoch alle drei Server zeitgleich aus – aus diesem Grund müssen wir leider mit den “Notfall” Backups arbeiten, welche eben nicht den aktuellsten Datenbestand aufweisen.

Sobald wir mehr Informationen über den Fortschritt der Arbeiten sowie über die betroffenen Daten und Features haben, informieren wir euch an dieser Stelle.


Since our last post we found out that the backup we used to recovery a rather small database was flawed. This does affect, among others, the feature of counting clicks per photo.

Currently we are determining what other data has been affected by the flawed backup and we are trying to create a solution for recovering data from an older backup or restoring the consistency of the flawed backup.

The database system in question is, by design, a high available one. Consisting of a master, a slave and a backup slave the system should withstand even the outage of both master and slave servers. Unfortunately the power outage caused all three systems beeing shutdown at the same time. This leaves us working with our emergency backups which do not reflect the most recent changes to the database.

As soon as we have more information on the progress of the recovery we will give you an update in this blog.

[UPDATE] Stromausfall im Rechenzentrum / power outage in data center

Seit 20:55 MESZ ist die fotocommunity wieder erreichbar. Alle Dienste sind wiederhergestellt und die fotocommunity sollte wie gewohnt funktionieren.

Wir bitten den Ausfall zu entschuldigen – gegen einen Stromausfall im gesamten Rechenzentrums kann man sich leider nur schwer wappnen.

Inzwischen haben wir auch nähere Informationen zu der Ursache des Ausfalls bekommen welcher im Rahmen einer geplanten Erweiterung der USV Kapazitäten eintrat.

Zitat Rechenzentrumsbetreiber:

Auf Grund eines Fehlers beim angekündigten Anschluss der USV Anlage kam es zu einem Kurzschluss im geschützten Bereich. Der zuständige Elektromeister hat beim Auflegen der Kabel unglücklicherweise einen folgenschweren Fehler gemacht.

Solltet ihr wieder erwarten Probleme bei der Nutzung der fotocommunity haben, welche ggf. im Zusammenhang mit dem Ausfall stehen wendet euch bitte an unseren Support.


Since 8pm CEST fotocommunity is back online. All Services have been restored and fotocommunity should work as expected.

Please accept our apologies for this outage.

Since the last update we received additional information about the cause of the power outage.

Quote from our datacenter:

Due to a mistake during the UPS extension we experienced a short circuit in our protected section. The responsible electrician unfortunately made a very fatal error.

Should you have any issues which might be caused by the outage please dont hesitate to get in touch with us through our support system.

Stromausfall im Rechenzentrum / power outage in data center

UPDATE 19:18 (MESZ): Wir gehen aktuell davon aus das die fotocommunity gegen 20:30 MESZ wieder verfügbar sein wird.

Aufgrund eines Stromausfalls gegen 16:15 MESZ im Rechenzentrum ist die fotocommunity zur Zeit leider nicht erreichbar.

Inzwischen konnte die Stromversorgung vom Rechenzentrumsbetreiber wiederhergestellt werden.
Da die vom Rechenzentrumsbetreiber installierte USV leider nicht gegriffen hat, sind sämtliche Server “hart” abgeschaltet worden.
Wir untersuchen zurzeit den verursachten Schaden und aktualisieren diese Seite sobald wir abschätzen können wann die fotocommunity wieder verfügbar sein wird.
Wir bitten um Verständnis und versichern euch das wir mit Hochdruck an der Wiederherstellung der Plattform arbeiten.


UPDATE 19:18 (CEST): We currently assume that fotocommunity will be back online around 20:30 CEST.

Because of an power outage in our data center the fotocommunity isn’t available right now.

The service provider has already restored the power, however since the installed UPS did not engage all servers have been shut down “cold”.
Currently we are investigating the damages and we will update this page as soon as we have an ETA on when fotocommunity will be back online.
We kindly ask for your understanding and please rest assured that we are working very hard to restore the availability of our plattform.


En raison d’une panne de courant fotocommunity n’est pas accessible pour le moment. Nous vous prions de nous excuser pour la gêne occasionnée, l’opérateur met en oeuvre tous ses moyens pour résoudre au plus vite le problème.


Actualización 19:18 (CEST): Calculamos que fotocommunity volverá a estar disponible a partir de las 20:30 (CEST)

A causa de un corte de energía eléctrica en nuestro centro de procesamiento de datos, fotocommunity se encuentra actualmente fuera de servicio.
La energía eléctrica ya ha podido ser restablecida. Ya que el sistema de alimentación ininterrumpida del centro de procesamiento de datos no funcionó, se apagaron varios servidores de manera intempestiva. Actualmente estamos revisando los daños causados y actualizaremos esta página apenas sepamos cuando fotocommunity podrá estar nuevamente disponible. Agradecemos vuestra comprensión y os aseguramos que se está trabajando afanosamente en el restablecimiento de la plataforma.