基本需求:设计一个图片服务器,能够高效的提供各种平台语言接口,包括上传、编辑、删除、切图、排序等功能,目前数据量大概是1亿张。

各个平台复杂需求:图片上传后需要立刻能显示,能进行删除、排序等操作。图片和实体资源有关联性:一个实体对应N张图片,或者对应1张图片,还有图片和实体的对应关系表存储。

图片转换:因为有些实体资源对应N张图片,一张图片对应N张大小的缩略图,若是上传时执行转换操作肯定会很慢,其中多的时候涉及到20来张图片的处理,所以一般得用异步处理。

图片存储:图片关系存储和图片文件存储规划都涉及到各个地方调用的简便性。

我说下我们现在的这个系统,node.js+redis+activemq ,现在遇到的很多问题包括需求复杂,需要大量的修改,还有当用户上传图片的时候,比如文章里面的图片上传,文章还没有完成时,既要进行图片的上传,如何做关联。前台列表页调用图片N张图片,需要循环读取,效率会很差。

基于以上的几点,请求各位,这样的系统如何设计,使用什么软件,什么结构,悉心听取大家的意见。

2010-12-28 16:27:45

4 Answers

其实我们也遇到你这样的压力,除了上面说的cdn缓存,nginx集群,域名分发以外等等,在图片上传采用独立支持,读取分离,同一张图片的的存储只记录一个索引路径,其他同张图片的缩略图不同大小规格的图,加水印图等等都采用记录索引路径加前缀或者目录来剥离,根据图片类型设计读取规则,我看到你说有20多张图片的处理,可以在用户上传的异步处理中处理一部分,如果有审核机制,在审核机制提交中再最终处理一部分,如果你的都是实时的,那可能是只有优化程序和服务,毕竟处理20多张图片在实际操作中肯定是有延迟的,尽量不要采用什么循环读取,提前这几规则,根据规则按需读取我认为是很好的选择

2010-12-28 19:39:32

关于图片处理这部分,可以参考亚马逊的做法,只在有访问具体规格的时候,才生成相应的图片:http://aaugh.com/imageabuse.html

2010-12-28 21:49:38

其实 可以存储 图片的2进制码到数据库中!! 然后生成图片链接 ! 用程序读出来不就好了!! 想多大就多大 想多小就多小 想怎么编辑都可以!! 怕性能有问题 可以用cdn 或者反向代理 缓存起来 只在第一次去数据库拿 以后都在缓存中读取!! 比如新浪那些估计就是这样啊! 头像什么的 都是程序生成

2010-12-28 22:42:28

你的需求如果这么复杂,肯定要把图片地址的组织和分发独立出来作为一个单独的服务器,存储图片的肯定是nginx 集群,或者是用CDN做前端缓存。要简单的做法就是对每张图片hash,然后把hash值作为key 来在调用该图片的时候存在,然后根据图片hash 计算出对应的服务器域名和地址,例如一张图片hash是68b329da9893e34099c7d8ad5cb9c940,则计算出他的地址是http://68.img.com/b/3/29/da9893e34099c7d8ad5cb9c940.jpg这样解决负载问题,同时多域名分发能突破ie单域名2线程限制提高图片加载速度。

 用redis和activemq,估计类似的设计已经考虑过了,现在如果还要有提高就参照facebook的设计吧,就是提高组织和分发的效率,网上有较详尽的分析:

英文原文:
http://www.facebook.com/note.php?note_id=76191543919
中文译文:
http://www.kuqin.com/system-analysis/20120126/317600.html

2010-12-28 18:07:02
您不能回答该问题或者回答已经关闭!

相关文章推荐

  • C#开发中的反射机制

    反射的定义:审查元数据并收集关于它的类型信息的能力。元数据(编译以后的最基本数据单元)就是一大堆的表,当编译程序集或者模块时,编译器会创建一个类定义表,一个字段定义表,和一个方法定义表等

  • C#实例解析适配器设计模式

    将一个类的接口变成客户端所期待的另一种接口,从而使原本因接口不匹配而无法在一起工作的两个类能够一起工作

  • C#中using指令的几种用法

    using + 命名空间名字,这样可以在程序中直接用命令空间中的类型,而不必指定类型的详细命名空间,类似于Java的import,这个功能也是最常用的,几乎每个cs的程序都会用到

  • C#协变和逆变

    “协变”是指能够使用与原始指定的派生类型相比,派生程度更大的类型,“逆变”则是指能够使用派生程度更小的类型

  • C#运行时相互关系

    C#运行时相互关系,包括运行时类型、对象、线程栈和托管堆之间的相互关系,静态方法、实例方法和虚方法的区别等等

  • 使用托管C++粘合C#和C++代码(二)

    本文实现一下C++代码调用C#代码的过程。我构造一个简单并且直观的例子:通过C++ UI 触发C# UI.

  • C#开发高性能Log Help类设计开发

    项目中要在操作数据库的异常处理中加入写Log日志,对于商业上有要求,写log时对其它操作尽可能影响小,不能因为加入log导致耗时太多

  • C#中的索引器的简单理解和用法

    C#中的类成员可以是任意类型,包括数组和集合。当一个类包含了数组和集合成员时,索引器将大大简化对数组或集合成员的存取操作

  • Async和Await使异步编程更简单

    C#5.0中async和await两个关键字,这两个关键字简化了异步编程,之所以简化了,还是因为编译器给我们做了更多的工作

  • 使用托管C++粘合C#和C++代码(一)

    C#在xml读写,数据库操纵,界面构造等很多方面性能卓越;C++的效率高,是底层开发的必备武器

  • C#基础概念之延迟加载

    延迟加载(lazy load)是Hibernate3关联关系对象默认的加载方式,延迟加载机制是为了避免一些无谓的性能开销而提出来的,所谓延迟加载就是当在真正需要数据的时候,才真正执行数据加载操作

  • 深入C# 序列化(Serialize)、反序列化(Deserialize)

    C#中的序列化和反序列化,序列化是.NET运行时环境用来支持用户定义类型的流化的机制