
<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div><br></div><div><blockquote type="cite">In the concrete case of writing data to a RAID as fast as possible, I<br>would suggest writing *raw* data, though. You can always stitch back the<br>metadata. The only metadata you have to store at the same time as the<br>frames you are writing out are the metadata that *do* change with the<br>frame, i.e. z position and time. All the other metadata can be written out<br>at a much, much slower pace, some of them actually need to be written only<br>once per experiment.</blockquote><br></div><div>That's a good idea! I will try that out as well.</div><div><br></div><div><blockquote type="cite">P.S.: It might make sense to experiment with a low-impact compression<br>scheme such as LZO (e.g. via <a href="https://github.com/Karmasphere/lzo-java">https://github.com/Karmasphere/lzo-java</a>)<br>because it can reduce a large chunk of the redundancies at the cost of CPU<br>but at the benefit of the network or processor bus. If you find time to<br>experiment with this, I would be very much interested in hearing how you<br>fared!<br></blockquote><br></div><div>We might look at some sort of compression later, but for now I am going</div><div>to concentrate on trying to maximize throughput.</div><div><br></div><div>

<div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); font-variant: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); font-variant: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div style="color: rgb(0, 0, 0); font-variant: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div><div style="font-weight: normal; font-family: Helvetica; font-style: normal;">---------------------------------------------</div><div style="font-family: Helvetica; font-style: normal; font-size: 16px;"><b>Nikul Ukani</b></div><div style="font-weight: normal; font-family: Helvetica; font-style: normal;"><br></div><div style="font-weight: normal; font-size: 13px;"><span style="font-size: 12px;">Doctoral Candidate,</span></div><div style="font-weight: normal; font-size: 13px;"><span style="font-size: 12px;">Dept. of Electrical Engineering,</span></div><div style="font-weight: normal; font-size: 13px;"><span style="font-size: 12px;">Columbia University.</span></div></div><div style="font-weight: normal; font-size: 13px;"><a href="http://www.bionet.ee.columbia.edu/" style="font-size: 12px;">http://www.bionet.ee.columbia.edu/</a></div></div></div></div></div></div></div></div></div>

</div>

<div><br><div><br></div></div></body></html>