乐思软件

提交需求|联系我们|咨询热线 400-603-8000

【干货】全球大数据领域顶级开源工具汇总

2019年5月7日 评论已被关闭

大数据技术从业人员必读

一、Hadoop相关工具

1. Hadoop

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://hadoop.apache.org

2. Ambari

作为Hadoop生态系统的一部分,这个Apache项目提供了基于Web的直观界面,可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中,Ambari也为他们提供了充分利用REST(代表性状态传输协议)的API。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://ambari.apache.org

3. Avro

这个Apache项目提供了数据序列化系统,拥有丰富的数据结构和紧凑格式。模式用JSON来定义,它很容易与动态语言整合起来。

支持的操作系统:与操作系统无关。

相关链接:http://avro.apache.org

4. Cascading

Cascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。

支持的操作系统:与操作系统无关。

相关链接:http://www.cascading.org/projects/cascading/

5. Chukwa

Chukwa基于Hadoop,可以收集来自大型分布式系统的数据,用于监控。它还含有用于分析和显示数据的工具。

支持的操作系统:Linux和OS X。

相关链接:http://chukwa.apache.org

6. Flume

Flume可以从其他应用程序收集日志数据,然后将这些数据送入到Hadoop。官方网站声称:“它功能强大、具有容错性,还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”

支持的操作系统:Linux和OS X。

相关链接:https://cwiki.apache.org/confluence/display/FLUME/Home

7. HBase

HBase是为有数十亿行和数百万列的超大表设计的,这是一种分布式数据库,可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable,不过基于Hadoop和Hadoop分布式文件系统(HDFS)而建。

支持的操作系统:与操作系统无关。

相关链接:http://hbase.apache.org

8. Hadoop分布式文件系统(HDFS)

HDFS是面向Hadoop的文件系统,不过它也可以用作一种独立的分布式文件系统。它基于Java,具有容错性、高度扩展性和高度配置性。

支持的操作系统:Windows、Linux和OS X。

相关链接:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html

9. Hive

Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据,这是一种类似SQL的语言。

支持的操作系统:与操作系统无关。

相关链接:http://hive.apache.org

10. Hivemall

Hivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法,可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。

支持的操作系统:与操作系统无关。

相关链接:https://github.com/myui/hivemall

11. Mahout

据官方网站声称,Mahout项目的目的是“为迅速构建可扩展、高性能的机器学习应用程序打造一个环境。”它包括用于在Hadoop MapReduce上进行数据挖掘的众多算法,还包括一些面向Scala和Spark环境的新颖算法。

支持的操作系统:与操作系统无关。

相关链接:http://mahout.apache.org

12. MapReduce

作为Hadoop一个不可或缺的部分,MapReduce这种编程模型为处理大型分布式数据集提供了一种方法。它最初是由谷歌开发的,但现在也被本文介绍的另外几个大数据工具所使用,包括CouchDB、MongoDB和Riak。

支持的操作系统:与操作系统无关。

相关链接:http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

13. Oozie

这种工作流程调度工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照数据可用情况触发任务,并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。

支持的操作系统:Linux和OS X。

相关链接:http://oozie.apache.org

14. Pig

Apache Pig是一种面向分布式大数据分析的平台。它依赖一种名为Pig Latin的编程语言,拥有简化的并行编程、优化和可扩展性等优点。

支持的操作系统:与操作系统无关。

相关链接:http://pig.apache.org

15. Sqoop

企业经常需要在关系数据库与Hadoop之间传输数据,而Sqoop就是能完成这项任务的一款工具。它可以将数据导入到Hive或HBase,并从Hadoop导出到关系数据库管理系统(RDBMS)。

支持的操作系统:与操作系统无关。

相关链接:http://sqoop.apache.org

16. Spark

作为MapReduce之外的一种选择,Spark是一种数据处理引擎。它声称,用在内存中时,其速度比MapReduce最多快100倍;用在磁盘上时,其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用,也可以独立使用。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://spark.apache.org

17. Tez

Tez建立在Apache Hadoop YARN的基础上,这是“一种应用程序框架,允许为任务构建一种复杂的有向无环图,以便处理数据。”它让Hive和Pig可以简化复杂的任务,而这些任务原本需要多个步骤才能完成。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://tez.apache.org

18. Zookeeper

这种大数据管理工具自称是“一项集中式服务,可用于维护配置信息、命名、提供分布式同步以及提供群组服务。”它让Hadoop集群里面的节点可以彼此协调。

支持的操作系统:Linux、Windows(只适合开发环境)和OS X(只适合开发环境)。

相关链接:http://zookeeper.apache.org

二、大数据分析平台和工具

19. Disco

Disco最初由诺基亚开发,这是一种分布式计算框架,与Hadoop一样,它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。

支持的操作系统:Linux和OS X。

相关链接:http://discoproject.org

20. HPCC

作为Hadoop之外的一种选择,HPCC这种大数据平台承诺速度非常快,扩展性超强。除了免费社区版外,HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。

支持的操作系统:Linux。

相关链接:http://hpccsystems.com

21. Lumify

Lumify归Altamira科技公司(以国家安全技术而闻名)所有,这是一种开源大数据整合、分析和可视化平台。你只要在Try.Lumify.io试一下演示版,就能看看它的实际效果。

支持的操作系统:Linux。

相关链接:http://www.jboss.org/infinispan.html

22. Pandas

Pandas项目包括基于Python编程语言的数据结构和数据分析工具。它让企业组织可以将Python用作R之外的一种选择,用于大数据分析项目。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://pandas.pydata.org

23. Storm

Storm现在是一个Apache项目,它提供了实时处理大数据的功能(不像Hadoop只提供批任务处理)。其用户包括推特、美国天气频道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他许多公司。

支持的操作系统:Linux。

相关链接:https://storm.apache.org

三、数据库/数据仓库

24. Blazegraph

Blazegraph之前名为“Bigdata”,这是一种高度扩展、高性能的数据库。它既有使用开源许可证的版本,也有使用商业许可证的版本。

支持的操作系统:与操作系统无关。

相关链接:http://www.systap.com/bigdata

25. Cassandra

这种NoSQL数据库最初由Facebook开发,现已被1500多家企业组织使用,包括苹果、欧洲原子核研究组织(CERN)、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支持超大规模集群;比如说,苹果部署的Cassandra系统就包括75000多个节点,拥有的数据量超过10 PB。

支持的操作系统:与操作系统无关。

相关链接:http://cassandra.apache.org

26. CouchDB

CouchDB号称是“一款完全拥抱互联网的数据库”,它将数据存储在JSON文档中,这种文档可以通过Web浏览器来查询,并且用JavaScript来处理。它易于使用,在分布式上网络上具有高可用性和高扩展性。

支持的操作系统:Windows、Linux、OS X和安卓。

相关链接:http://couchdb.apache.org

27. FlockDB

由推特开发的FlockDB是一种非常快、扩展性非常好的图形数据库,擅长存储社交网络数据。虽然它仍可用于下载,但是这个项目的开源版已有一段时间没有更新了。

支持的操作系统:与操作系统无关。

相关链接:https://github.com/twitter/flockdb

28. Hibari

这个基于Erlang的项目自称是“一种分布式有序键值存储系统,保证拥有很强的一致性”。它最初是由Gemini Mobile Technologies开发的,现在已被欧洲和亚洲的几家电信运营商所使用。

支持的操作系统:与操作系统无关。

相关链接:http://hibari.github.io/hibari-doc/

29. Hypertable

Hypertable是一种与Hadoop兼容的大数据数据库,承诺性能超高,其用户包括电子港湾、百度、高朋、Yelp及另外许多互联网公司。提供商业支持服务。

支持的操作系统:Linux和OS X。

相关链接:http://hypertable.org

30. Impala

Cloudera声称,基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载,又是Cloudera的商业大数据产品的一部分。

支持的操作系统:Linux和OS X。

相关链接:http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/impala.html

31. InfoBright社区版

InfoBright为数据分析而设计,这是一种面向列的数据库,具有很高的压缩比。InfoBright.com提供基于同一代码的收费产品,提供支持服务。

支持的操作系统:Windows和Linux。

相关链接:http://www.infobright.org

32. MongoDB

mongoDB的下载量已超过1000万人次,这是一种极其受欢迎的NoSQL数据库。MongoDB.com上提供了企业版、支持、培训及相关产品和服务。

支持的操作系统:Windows、Linux、OS X和Solaris。

相关链接:http://www.mongodb.org

33. Neo4j

Neo4j自称是“速度最快、扩展性最佳的原生图形数据库”,它承诺具有大规模扩展性、快速的密码查询性能和经过改进的开发效率。用户包括电子港湾、必能宝(Pitney Bowes)、沃尔玛、德国汉莎航空公司和CrunchBase。

支持的操作系统:Windows和Linux。

相关链接:http://neo4j.org

34. OrientDB

这款多模型数据库结合了图形数据库的一些功能和文档数据库的一些功能。提供收费支持、培训和咨询等服务。

支持的操作系统:与操作系统无关。

相关链接:http://www.orientdb.org/index.htm

35. Pivotal Greenplum Database

Pivotal声称,Greenplum是“同类中最佳的企业级分析数据库”,能够非常快速地对庞大的海量数据进行功能强大的分析。它是Pivotal大数据库套件的一部分。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://pivotal.io/big-data/pivotal-greenplum-database

36. Riak

Riak“功能完备”,有两个版本:KV是分布式NoSQL数据库,S2提供了面向云环境的对象存储。它既有开源版,也有商业版,还有支持Spark、Redis和Solr的附件。

支持的操作系统:Linux和OS X。

相关链接:http://basho.com/riak-0-10-is-full-of-great-stuff/

37. Redis

Redis现在由Pivotal赞助,这是一种键值缓存和存储系统。提供收费支持。要注意:虽然该项目并不正式支持Windows,不过微软在GitHub上有一个Windows派生版。

支持的操作系统:Linux。

相关链接:http://redis.io

四、商业智能

38. Talend Open Studio

Talend的下载量已超过200万人次,其开源软件提供了数据整合功能。该公司还开发收费的大数据、云、数据整合、应用程序整合和主数据管理等工具。其用户包括美国国际集团(AIG)、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://www.talend.com/index.php

39. Jaspersoft

Jaspersoft提供了灵活、可嵌入的商业智能工具,用户包括众多企业组织:高朋、冠群科技、美国农业部、爱立信、时代华纳有线电视、奥林匹克钢铁、内斯拉斯加大学和通用动力公司。除了开源社区版外,它还提供收费的报表版、亚马逊网络服务(AWS)版、专业版和企业版。

支持的操作系统:与操作系统无关。

相关链接:http://www.jaspersoft.com

40. Pentaho

Pentaho归日立数据系统公司所有,它提供了一系列数据整合和业务分析工具。官方网站上提供了三个社区版;访问Pentaho.com,即可了解收费支持版方面的信息。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://community.pentaho.com

41. SpagoBI

Spago被市场分析师们称为“开源领袖”,它提供商业智能、中间件和质量保证软件,另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源,不过也提供收费的支持、咨询、培训及其他服务。

支持的操作系统:与操作系统无关。

相关链接:http://www.spagoworld.org/xwiki/bin/view/SpagoWorld/

42. KNIME

KNIME的全称是“康斯坦茨信息挖掘工具”(Konstanz Information Miner),这是一种开源分析和报表平台。提供了几个商业和开源扩展件,以增强其功能。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://www.knime.org

43. BIRT

BIRT的全称是“商业智能和报表工具”。它提供的一种平台可用于制作可以嵌入到应用程序和网站中的可视化元素及报表。它是Eclipse社区的一部分,得到了Actuate、IBM和Innovent Solutions的支持。

支持的操作系统:与操作系统无关。

相关链接:http://www.eclipse.org/birt/

五、数据挖掘

44.DataMelt

作为jHepWork的后续者,DataMelt可以处理数学运算、数据挖掘、统计分析和数据可视化等任务。它支持Java及相关的编程语言,包括Jython、Groovy、JRuby和Beanshell。

支持的操作系统:与操作系统无关。

相关链接:http://jwork.org/dmelt/

45. KEEL

KEEL的全称是“基于进化学习的知识提取”,这是一种基于Java的机器学习工具,为一系列大数据任务提供了算法。它还有助于评估算法在处理递归、分类、集群、模式挖掘及类似任务时的效果。

支持的操作系统:与操作系统无关。

相关链接:http://keel.es

46. Orange

Orange认为数据挖掘应该是“硕果累累、妙趣横生”,无论你是有多年的丰富经验,还是刚开始接触这个领域。它提供了可视化编程和Python脚本工具,可用于数据可视化和分析。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://orange.biolab.si

47. RapidMiner

RapidMiner声称拥有250000多个用户,包括贝宝、德勤、电子港湾、思科和大众。它提供一系列广泛的开源版和收费版,不过要注意:免费的开源版只支持CSV格式或Excel格式的数据。

支持的操作系统:与操作系统无关。

相关链接:https://rapidminer.com

48. Rattle

Rattle的全称是“易学易用的R分析工具”。它为R编程语言提供了一种图形化界面,简化了这些过程:构建数据的统计或可视化摘要、构建模型以及执行数据转换。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://rattle.togaware.com

49. SPMF

SPMF现在包括93种算法,可用于顺序模式挖掘、关联规则挖掘、项集挖掘、顺序规则挖掘和集群。它可以独立使用,也可以整合到其他基于Java的程序中。

支持的操作系统:与操作系统无关。

相关链接:http://www.philippe-fournier-viger.com/spmf/

50. Weka

怀卡托知识分析环境(Weka)是一组基于Java的机器学习算法,面向数据挖掘。它可以执行数据预处理、分类、递归、集群、关联规则和可视化。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://www.cs.waikato.ac.nz/~ml/weka/

六、查询引擎

51. Drill

这个Apache项目让用户可以使用基于SQL的查询,查询Hadoop、NoSQL数据库和云存储服务。它可用于数据挖掘和即席查询,它支持一系列广泛的数据库,包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://drill.apache.org

七、编程语言

52. R

R类似S语言和环境,旨在处理统计计算和图形。它包括一套整合的大数据工具,可用于数据处理、计算和可视化。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://www.r-project.org

53. ECL

企业控制语言(ECL)是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境(IDE)、教程以及处理该语言的众多相关工具。

支持的操作系统:Linux。

相关链接:http://hpccsystems.com/download/docs/ecl-language-reference

八、大数据搜索

54. Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称,它在现代硬件上每小时能够检索超过150GB的数据,它含有强大而高效的搜索算法。开发工作得到了Apache软件基金会的赞助。

支持的操作系统:与操作系统无关。

相关链接:http://lucene.apache.org/core/

55. Solr

Solr基于Apache Lucene,是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

支持的操作系统:与操作系统无关。

相关链接:http://lucene.apache.org/solr/

九、内存中技术

56. Ignite

这个Apache项目自称是“一种高性能、整合式、分布式的内存中平台,可用于对大规模数据集执行实时计算和处理,速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。”该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

支持的操作系统:与操作系统无关。

相关链接:https://ignite.incubator.apache.org

57. Terracotta

Terracotta声称其BigMemory技术是“世界上数一数二的内存中数据管理平台”,声称拥有210万开发人员,250家企业组织部署了其软件。该公司还提供商业版软件,另外提供支持、咨询和培训等服务。

支持的操作系统:与操作系统无关。

相关链接:http://www.terracotta.org

58. Pivotal GemFire/Geode

今年早些时候,Pivotal宣布它将开放其大数据套件关键组件的源代码,其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案,以便在“Geode”的名下管理GemFire数据库的核心引擎。还提供该软件的商业版。

支持的操作系统:Windows和Linux。

相关链接:http://pivotal.io/big-data/pivotal-gemfire

59. GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构,用于迅速处理大数据,还提供基于同一技术的Hadoop加速器。它既有收费的企业版,也有免费的社区版,后者包括免费的基本支持。

支持的操作系统:Windows、Linux和OS X。

相关链接:http://www.gridgain.com

60. Infinispan

作为一个红帽JBoss项目,基于Java的Infinispan是一种分布式内存中数据网格。它可以用作缓存、用作高性能NoSQL数据库,或者为诸多框架添加集群功能。

支持的操作系统:与操作系统无关。

 

 

分类: 知识库 标签: ,

How to set VLAN on HP Blade Server?

2015年11月13日 评论已被关闭

In a recent project, we need set VLAN on the HP Blade server to let them identify the Blade Servers are from VLAN 3 by VLAN Tag.

At first, it always failed or no effect  by changing the VLAN ID in OA.

Finally by the help of HP engineer, it works after changing the settings of  HP Virtual Connect.

He told us if the blade use fibber to connect to Switch, it need do the settings on HP Virtual Connect for VLAN.

In OA, there is a menu item HP Virtual Connect  for such settings.

 

网速慢的解决方法

2012年9月12日 评论已被关闭

前段时间,几台采集服务器打开网页很慢,有时打开一个网页要等一千年。
技术部同事仔细查看,最后发现内部网络交换机 有一个指示灯灰暗,判断其老化,于是换为一个新的路由器,结果网页瞬间打开。

看来要注意并预防交换机老龄化问题,要准备一些年轻交换机随时备用。

 

分类: 公司博客, 知识库 标签:

一次海外故障的解决

2012年7月29日 评论已被关闭

 

2012-07-27日星期五, 下午5点左右,海外客户报告我们(乐思软件)外网监测到的数据无法传输到内网了,他们已经重启过网闸,删除日志也无济于事。
我们立即加以响应,发现是网闸JDBC连接错误:

“url=jdbc:oracle:thin:@… “
“OraConnect->connect(),DB creat driver upload error1!
“dbs->connect failed”

我们立即指导其让所有同步任务重新启用,换用备用网闸,但这些方法都无法让JDBC恢复正常。
我们只好让客户采用原来设计好的备用方案,利用程序将外网数据导出,然后导入内网。
导出成功,但用Orcle impdp工具导入时,遇到以下错误:

ORA-31693: Table data object “WDM_APP”.”TEMP_ARTICLE_DETAIL”:”SYS_P2624″ failed to load/unload and is being skipped due to error:
ORA-44002: invalid object name
ORA-06512: at “SYS.DBMS_ASSERT”, line 293
ORA-06512: at “SYS.KUPD$DATA”, line 2427
ORA-20998: Attempt To Drop

真是祸不单行,竟然备用方案也不能成功运行。该备用方案以前是测试过的,我们立即在我们自己的测试环境中试,也可以顺利执行。
看看Oracle的DBMS_ASSERT,竟然又是加密的。连忙在Oracle在线支持系统中申请一个紧急SR。
以我们的经验,Oracle支持一般都无法真正及时解决问题,还得靠自立更生。

指导客户试了多种方法, 结果每次导入还是这个错误。几个小时很快过去了。
这时我们拟定如下方案:次日让网闸技术人员辅助解决,我们同时立即开发一个导入导出程序来替换Oracle的 impdp工具。

开发与支持,一直持续到凌晨4点,仍然无法解决。这时Oracle支持英语电话打过来了,但已经是凌晨4点,我们已经非常疲惫了,只好让他明日再打过来。
Oracle支持后来在线回复让我们收集Oracle相关信息,但这时客户已经下班了。

第二天星期六上午赶紧联系网闸技术人员,同时完善我们的导入导出程序。

下午时,让网闸技术人员赶到我公司,指导客户利用一些工具登录到网闸查看, 发现网闸telnet内外网的数据库服务器都是连通的,说明网络状况没有问题,检查了JDBC版本也没有问题,
最后决定让用户重启内外网数据库服务器以及网闸,果然,重启后,从我们的监测界面上看外网数据立即同步到内网了。
这时已经晚上八点了,我们为了庆祝成功为客户排除障碍,到外面吃饭。

吃完饭后,回到办公室一看,原来高兴的太早,客户反映几个小时前的数据都还在内网没有同步到外网,立即电话网闸技术人员,原来当时我们做配置生效操作时,网闸会传输并清空数据,而当时正有故障。因此这部分数据还需要我们手工导出来并导入内网。

我们在内网一测试,发现我们的程序导入时出现了奇怪的Oracle错误:

ORA-24816 — Expanded non LONG bind data supplied after actual LONG or LOB column
// *Cause: A Bind value of length potentially > 4000 bytes follows binding for
// LOB or LONG.
// *Action: Re-order the binds so that the LONG bind or LOB binds are all
// at the end of the bind list.
ORA-24816 — 在实际的 LONG 或 LOB 列之后提供了扩展的非 LONG 绑定数据错误。

开始按网上解决方法重新排列字段名但没有用。后来发现另外一台计算机导入不会有这个错误,比较了Oracle客户端版本,出错的是11.1.0,正常的是11.2.0,看来是Oracle OLE驱动问题,要升级客户端到11.2.0才行。后来该机器仅升级了Oracle OLEDB驱动到ODTwithODAC112030,重新导入成功,这个错误消失了。需要以管理员身份登录计算机,否则会有TNS错误。

继续检查发现大部分数据还是导入了,但后面操作导入的数据时非常慢,一查原因,原来是一条SQL语句非常慢, 几乎无法完成, 是由于article_detail有CLOB字段。这条SQL如下:

insert into article_detail
select * from TEMP_ARTICLE_DETAIL_I_M
where article_detail_id not in(select article_detail_id from article_detail where transfer_done_time>trunc(sysdate-4))

我们将其插入方式改为先插入一个空的CLOB字段值,然后再更新该CLOB字段值,速度立即加快几十倍,很快完成操作。

最后我们将测试通过的自己开发的导出导入工具交给客户,顺利导入了所有数据。

总结

本次故障应是数据库服务器长时间运行后与网闸之间的通路出现潜在通信问题造成,通过重启核心设备与关联设备解决。重启关联设备作为可能的方法之一一开始被我们忽略了。
Oracle impdp工具导入时出现的错误也许在升级Oracle客户端后可以得到解决,但我们没有机会再试了。
关键时候,还是自己的工具管用(因为有最大范围的掌控并可随时修改),应尽量减少对第三方工具的使用。
尝试各种方法以及没有远程桌面靠文字与文件的沟通非常花时间, 应加以改进采用更方便的软件(客户不允许使用远程桌面)。
客户端及时采用最新Oracle 版本。

分类: 公司博客, 知识库 标签: , ,

Solution for Godaddy “530 Login authentication failed”

2012年4月4日 评论已被关闭

Problem:
You can not FTP login your Godaddy website with  “530 Login authentication failed” message.
If you find you can not login into godaddy FTP and it looks like below:
Response: 220———- Welcome to Pure-FTPd [privsep] [TLS] ———-
Response: 220-You are user number 9 of 50 allowed.
Response: 220-Local time is now 19:49. Server port: 21.
Response: 220-This is a private system – No anonymous login
Response: 220 You will be disconnected after 3 minutes of inactivity.
Command: USER uy898
Response: 331 User uy898 OK. Password required
Command: PASS **********
Response: 530 Login authentication failed
Error: Could not connect to server

And you confirm the user name and password are correct.

The most reason is that your FTP Host IP is blocked by some network router.
You can test this by Ping, it  will failed on your IP.

Solution:
1. Enable SSH in the Settings section under your domain, it may ask your tel number and provide you a code by a computer call
2. Download a WinSCP  which is secure FTP client software.
3. Use WinSCP to  FTP upload your files

Success?
Please visit http://www.knowlesys.com for next step. 🙂

Outlook 不能收发邮件, 出现请联系ISP错误信息 的解决

2012年3月19日 评论已被关闭

记下Outlook中相关邮件目录对应的*.pst存放目录,退出 Outlook 和所有已启用邮件的应用程序,然后使用“收件箱修复工具”(Scanpst.exe)诊断和修复文件中的错误。
打开office安装目录:C:\Program Files\Microsoft Office\Office12\Scanpst.exe 
Scanpst.exe 打开后会出现一个图形界面的程序。看到将会进行8个步骤。先点击浏览按钮,找到需要修复的 *.PST文件
在随后的修复过程中,能够看到其中有“检查一致性”和“查找丢失的数据”的步骤,分析完数据文件后,程序弹出对话框提示 :

“已扫描下列程序: *******\*.pst 文件中发现错误。
单击“修复”可以修复这些错误。
在该文件中找到 * 个文件夹
在该文件中找到 *封邮件”

在这个弹出的对话框中有一个勾选项: 修复前先备份将被扫描的文件。
勾选后,点击“修复”按钮。

等待程序结束后,再次进入 Outlook 一切正常

分类: 知识库 标签:

ORA-12541:TNS:no listener 问题解决手记

2012年1月6日 评论已被关闭

今天下午一个客户来电告知一个运行中的舆情系统的内网部分,突然无法登录。
我们立即让其发来日志,发现是以下错误造成应用无法连接数据库。

ORA-12541:TNS:no listener

查了很久原因,各方面都正常,尝试了一些方法,数据库也重起了2次,耗用了大约1小时,还是同样错误。
最后查到网上提及listener.log 太大也可能引起监听器异常,于是让用户检查,发现其大小为4G,让其重命名,然后重起监听器,便可以正常登录了。

总结如下:

应用出错一般是连接Oracle出问题了,连接Oracle出问题很可能是监听器出问题了。
需要在Windows服务管理器中重起监听器。如果仍无法解决问题,请按以下步骤:

如果 listener 启动(lsnrctl start)不成功,且有错误提示,可查看提示或以下原因:
1. 计算机名字或IP作了更改
2. Oracle_Home没有设置或不正确

如果 listener 启动(lsnrctl start)成功,且无错误信息,而Oracle_Home也正确且近期没有修改过计算机名或IP,且系统连续运行了很长时间如几个月,而突然出现这个问题,那很可能是
3. D:\app\Administrator\diag\tnslsnr\DBServer\listener\trace\listener.log太大 (这里路径仅作示例用)
这个一般是Oracle运行很长时间后爆发,原因很隐蔽。

Oracle很强大,但出了问题需要较多时间或技巧来解决,这一点不是很好,它完全应开发一个针对常见问题的自动诊断程序来辅助用户快速定位与解决。

分类: 知识库 标签: ,

链接是一个JavaScript,如何获取其真实URL

2011年7月26日 评论已被关闭

问题:如其链接源代码为:<A href=”javascript:OpenNewWin(122, 301,30);” > company list </A> ,点击后当前网页URL并不变化

解决方法:在网页探索器中点击该链接,然后到日志选项卡查看该点击发出的请求详情,你会看到其目标URL可能形如以下各式:

Url=http://application.depthai.go.th/center_public/list_exporter.html?category_id=122#&sub_category_id=301&count_rec=30

并且其请求方式不是一般的GET而是POST。可以通过数据变形将JavaScript中的参数抽取出来,然后加上固定部分构造成目标URL。

分类: 知识库 标签: