Merge changes made in Gnus trunk.

message.el (message-is-yours-p): Allow disabling canlock checking (bug#9295).
 (message-shoot-gnksa-feet): Add `canlock-verify'.
 (message-auto-save-directory): Use ~/ as the auto-save directory if the message directory isn't writable (bug#9304).
auth-source.el (auth-source-netrc-saver): Make the .authinfo file non-world-readable.

(auth-source): Require to avoid problems with binding variables.

Also clean up some unused autoloads.

Fixes: debbugs:9298

Remove aborts from internal_condition_case*.

* src/eval.c (internal_condition_case, internal_condition_case_1)
(internal_condition_case_2, internal_condition_case_n): Remove
unnecessary aborts.

Fixes: debbugs:9081

(network-stream-open-starttls): Support using starttls.el without using gnutls-cli.

* lisp/progmodes/grep.el (rgrep): Handle the case when `grep-find-command'
is a cons cell.

Fixes: debbugs:9278

Fix bug #9311 with loading on MS-Windows .elc files in root directories.

 src/lread.c (Fload) [DOS_NT]: If `openp' returns -2, but the file
 has no `load' handler, try opening the file locally.

In display-buffer-pop-up-frame make frame with buffer to display current.

* window.el (display-buffer-pop-up-frame): Run frame creation
function with BUFFER current (as special-display-popup-frame
does).  Reported by Drew Adams.

Simplify GnuPG group expansion using epg-expand-group.

* epa-mail.el: Simplify GnuPG group expansion using
epg-expand-group.
(epa-mail-group-alist, epa-mail-group-modtime)
(epa-mail-gnupg-conf-file, epa-mail-parse-groups)
(epa-mail-sync-groups, epa-mail-expand-recipient-1)
(epa-mail-expand-recipients-2, epa-mail-expand-recipients):
Remove.

nndraft.el (nndraft-update-unread-articles): Don't send delayed articles.

* calc/calc-ext.el (math-defintegral-2): Remove nested backquote.

* src/gmalloc.c: Expand comment.

progmodes/cc-engine.el (c-state-cache-non-literal-place): Correct to
avoid the insides of macros.

Fix cursor positioning at end of buffer under bidi display.

 src/xdisp.c (set_cursor_from_row): Don't accept a previous candidate
 if it fails the cursor_row_p test.  Fixes cursor positioning at ZV.

Fix memory allocation problems in Cygwin build (Bug#9273).

* src/gmalloc.c [CYGWIN] (bss_sbrk_heapbase, bss_sbrk_heapinfo): New
variables.
(malloc_initialize_1) [CYGWIN]: Prepare for reinitializing the
dumped emacs.
(_free_internal_nolock) [CYGWIN]: Ignore requests to free storage
in the static heap.
[CYGWIN] (special_realloc): New function.
(_realloc_internal_nolock) [CYGWIN]: Use the new function on
requests to realloc storage in the static heap.

* src/unexcw.c ( __malloc_initialized): Declare external variable.
(fixup_executable): Force the dumped emacs to reinitialize malloc.

Improve documentation of `special' modes.

 doc/lispref/modes.texi (Major Mode Conventions): Improve the documentation
 of `mode-class' `special' modes.

Document the new "mirroring" Unicode character property.

 src/nonascii.texi (Character Properties): Document the `mirroring'
 property.  Add index entries.

Improve documentation of regexp search for categories.

 doc/lispref/searching.texi (Regexp Backslash): Document how to display
 existing categories.  Mention the possibility of adding
 categories, and add an xref to where this is described.  Add an
 index entry.
 doc/lispref/syntax.texi (Categories): Add an example of defining a new
 category and category table.

Fix Org ChangeLog entries and remove arch-tag.

epa-mail.el handles GnuPG groups.

Add rmail-epa-decrypt command.

Fix previous change.

Fix previous change.

Bug fix for finding coding system.  New COPY-FUNCTION feature
for epa-decrypt-region.

* bidi.c (bidi_initialize): Remove unused local.

Use uniprop tables instead of biditype.h and bidimirror.h.

 src/bidi.c (bidi_initialize): Use uniprop_table instead of including
 biditype.h and bidimirror.h.
 src/biditype.h: File removed.
 src/bidimirror.h: File removed.
 src/deps.mk (bidi.o): Remove biditype.h and
 bidimirror.h.
 src/makefile.w32-in ($(BLD)/bidi.$(O)): Remove biditype.h and
 bidimirror.h.
 src/dispextern.h: Fix a typo in the comment to bidi_type_t.
 src/chartab.c: Improve commentary for the uniprop_table API.

 admin/unidata/bidimirror.awk: File removed.
 admin/unidata/biditype.awk: File removed.
 admin/unidata/makefile.w32-in (all): Remove src/biditype.h and
 src/bidimirror.h.
 (../../src/biditype.h, ../../src/bidimirror.h): Deleted.
 admin/unidata/Makefile.in (all): Remove src/biditype.h and
 src/bidimirror.h.
 (../../src/biditype.h, ../../src/bidimirror.h): Deleted.

* lisp/minibuffer.el (completion-pcm--merge-completions): Don't merge "a1b"
and "a2b" to "ab" for `prefix'.

Add org.texi and orgcard.tex for Org version 7.7.

Fix misformatted ChangeLog entries for Org.

lisp/org/ChangeLog: Fix the ChangeLog entry of Ethan Ligon.

lisp/org/ChangeLog: add "(tiny change)" where required.

Thanks to Glenn Morris for pointing out possible problems.

Auto-commit of loaddefs files.

Support RLE/RLO/LRE/LRO for determining paragraph direction.

 src/bidi.c (bidi_paragraph_init): Support zero value of
 bidi_ignore_explicit_marks_for_paragraph_level.

Another part of fixing bug #9296 with vertical cursor motion.

 src/xdisp.c (move_it_in_display_line_to): Don't reset pixel
 coordinates of the iterator when restoring from ppos_it.

Minor fix to last change.

Avoid deleting ibuffer named filters by default.

* lisp/ibuf-ext.el (ibuffer-filter-disable): New arg for deleting
filter groups.
(ibuffer-included-in-filter-p-1): Use it.  Suggested by Noam
Postavsky.

Fixes: debbugs:8804

Avoid crash with invalid default-process-coding-system.

* src/process.c (create_process): Call setup_process_coding_systems
after the pid of the process is set to -1.

Fix bug #9296 with vertical cursor motion on images.

 src/xdisp.c (move_it_in_display_line_to): Don't invoke
 IT_RESET_X_ASCENT_DESCENT when iterator position was restored from
 ppos_it.  Fixes vertical cursor motion when line beginning is
 covered by an image.

Fix that executing applescript may hang emacs uninterruptedly.

* nsfns.m (as_script, as_result, as_status): New static variables.
(ns_run_ascript): New function.
(Fns_do_applescript): Set variables as_*. Make an NSApplicationDefined
event with data2 set to NSAPP_DATA2_RUNASSCRIPT, post it and then start
the event loop.  Get status from as_status.

* nsterm.h (ns_run_ascript): Declare.
(NSAPP_DATA2_RUNASSCRIPT): Define.

* nsterm.m (sendEvent): If event is NSApplicationDefined and
data2 is NSAPP_DATA2_RUNASSCRIPT, call ns_run_ascript and then exit
the event loop (Bug#7276).

Auto-commit of generated files.

Follow variable naming convention

* src/gnutls.c (QCgnutls_bootprop_priority)
(QCgnutls_bootprop_trustfiles, QCgnutls_bootprop_keylist)
(QCgnutls_bootprop_crlfiles, QCgnutls_bootprop_callbacks)
(QCgnutls_bootprop_loglevel, QCgnutls_bootprop_hostname)
(QCgnutls_bootprop_min_prime_bits, QCgnutls_bootprop_verify_flags)
(QCgnutls_bootprop_verify_hostname_error)
(QCgnutls_bootprop_callbacks_verify): Rename from
Qgnutls_bootprop_..., all uses changed.

* src/xfaces.c (QCignore_defface): Rename from Qignore_defface, all
uses changed.

Whitespace cleanup

* src/xdisp.c (compute_display_string_pos): Fix bzr merge glitch.

* xfaces.c (Qframe_set_background_mode): Now static.

* dispextern.h (Qframe_set_background_mode): Remove decl.

* process.c (Fnetwork_interface_info): Declare local only if needed.

Merge from trunk.

Fix network-interface-list|info on newer BSD derived OS:es.

* configure.in: Add header check: sys/socket.h,
ifaddrs.h, net/if_dl.h.  Check for getifaddrs and freeifaddrs.
Check for sa_len in struct ifreq.ifr_addr (Bug#8477).

* src/process.c: Include ifaddrs.h and net/if_dl.h if available (Bug#8477).
(Fnetwork_interface_list): Allocate in increments of bytes instead
of sizeof (struct ifreq).  Iterate over ifconf.ifc_req by counting
bytes (Bug#8477).  Count bytes correctly when ifr_addr is a struct
sockaddr.
(struct ifflag_def): notrailers is smart on OSX.
(Fnetwork_interface_info): Handle case when ifr_flags is negative.
Get hardware address with getifaddrs if available.

* lisp/gnus/gnus-score.el (gnus-all-score-files): Use copy-sequence instead of
copy-list.

lisp/startup.el (argi): Declare as global variable (bug#9275).

* lisp/gnus/gnus-score.el (gnus-score-find-alist): Keep the score files already
in the reverse order to avoid modifying the cache with `nreverse'.
(gnus-all-score-files): Do not modify the value returned by
`gnus-score-find-alist' because it lives in a cache variable.
(gnus-current-home-score-file): No need to `nreverse' the return value
of `gnus-score-find-alist', it is already in the correct order.

Move etc/grammars to admin/grammars.

admin/make-dist: Add admin/ to source tarballs.
admin/charsets/mapfiles/*.gz: Delete.  Add gunzipped versions.

See emacs-devel thread at

  http://lists.gnu.org/archive/html/emacs-devel/2011-08/msg00347.html

Fix behavior of string-mark-left-to-right.

* lisp/subr.el (string-mark-left-to-right): Search the entire string
for RTL script, not just the terminating character.  Doc fix.

* lisp/progmodes/js.el (js-syntax-propertize, js-syntax-propertize-regexp):
New function.
(js--regexp-literal, js-syntax-propertize-function): Remove.
(js-mode): Use js-syntax-propertize to handle multilines.
(js-mode-map): Don't rebind electric keys.
(js-insert-and-indent): Remove.
(js-mode): Setup electric-layout and electric-indent instead.

Fixes: debbugs:9183

* lisp/epa-file.el (epa-file-select-keys): Revert to nil default.

Fixes: debbugs:9280

Fix bug #9284 with line/wrap-prefix property on display strings.

 src/xdisp.c (iterate_out_of_display_property): xassert that
 IT->position is set to within IT->object's boundaries.  Break from
 the loop as soon as EOB is reached; avoids infloops in redisplay
 when IT->position is set up wrongly due to some bug.  Set
 IT->current to match the bidi iterator unconditionally.
 (push_display_prop): Allow GET_FROM_STRING as IT->method on
 entry; avoids crashes when line/wrap-prefix is set on a display
 string.  Force push_it to save on the stack the current
 buffer/string position, to be restored by pop_it.  Fix flags in
 the iterator structure wrt the object coming from a display
 property, as `line-prefix' and `wrap-prefix' are not ``replacing''
 properties.

Make epa-file progress message user-friendly.

* epa.el (epa-progress-callback-function): Fix the logic of
displaying progress.
* epa-file.el (epa-file-insert-file-contents): Make progress
display more user-friendly.
(epa-file-write-region): Ditto.

nnimap.el (nnimap-transform-headers): BODYSTRUCTURE for messages of type MESSAGE and subtype RFC822 is slightly different from those of type TEXT.

New function `string-mark-left-to-right' for handling LRMs.

* lisp/subr.el (string-mark-left-to-right): New function.

* lisp/buff-menu.el (Buffer-menu-buffer+size): Remove LRM argument.
Use string-mark-left-to-right.
(list-buffers-noselect): Caller changed.

* lisp/emacs-lisp/tabulated-list.el (tabulated-list-print-entry): Use
string-mark-left-to-right.
(tabulated-list-print): Recenter after moving point.

* lisp/progmodes/grep.el (rgrep): Don't bind `process-connection-type'.
This finishes incomplete reversion of 2011-06-30T01:09:13Z!larsi@gnus.org (2011-06-30)
intended by 2011-07-06T15:49:19Z!larsi@gnus.org (2011-07-06).

Merge from emacs-23 branch

* hi-lock.el (hi-lock-unface-buffer): Fix interactive spec (Bug#7554).

Note in Lisp manual that mouse-face cannot change the text size.

* doc/lispref/text.texi (Special Properties):
* doc/lispref/display.texi (Overlay Properties): Note that mouse-face cannot
change the text size.

Fixes: debbugs:8530

* image-dired.el: Don't use find-file for temporary work.
(image-dired--with-db-file): New macro.
(image-dired-write-tags, image-dired-remove-tag)
(image-dired-create-gallery-lists, image-dired-write-comments)
(image-dired-get-comment, image-dired-mark-tagged-files)
(image-dired-list-tags, image-dired-gallery-generate): Use it.
(image-dired-gallery-generate): Use insert-file-contents.

Fixes: debbugs:7895

Improve on previous change in xdisp.c.

Speed up bidi redisplay with selective-display.

 src/xdisp.c (forward_to_next_line_start): Allow to use the
 no-display-properties-and-no-overlays under bidi display.

Fix explanation about setting the time zone in Lisp manual.

* doc/lispref/os.texi (Time of Day): Remove set-time-zone-rule, and
recommend using setenv instead.

Lisp code shouldn't use set-time-zone-rule except through setenv.

* time.el (display-time-world-list, display-time-world-display):
* time-stamp.el (time-stamp-string):
* vc/add-log.el (add-change-log-entry): Use setenv instead of
set-time-zone-rule.

* src/editfns.c (Fset_time_zone_rule): Document relationship with the
setenv function.

Fixes: debbugs:7337

Don't lose extra font info when using the Fontconfig font cache.

* src/ftfont.c (ftfont_pattern_entity): Copy the extras argument to
the font entity extracted from the cache.

Fixes: debbugs:8109

Format GPG errors (bug#9255).

* epg.el (epg--status-KEYEXPIRED, epg--status-KEYREVOKED): Fix typo.
(epg-error-to-string, epg-errors-to-string): New function.
(epg-wait-for-completion): Reverse errors list.
(epg--check-error-for-decrypt, epg-sign-file, epg-sign-string)
(epg-encrypt-file, epg-encrypt-string, epg-export-keys-to-file)
(epg--import-keys-1, epg-receive-keys, epg-delete-keys)
(epg-sign-keys, epg-generate-key-from-file)
(epg-generate-key-from-string): Format errors by using
epg-errors-to-string (bug#9255).
(epg--status-INV_SGNR, epg--status-NO_SGNR): New status handler.

* composite.c (autocmp_chars): Don't reset point.
That is done by restore_point_unwind (Bug#5984).

* url-http.el (url-http-parse-headers): For HTTP 301/302/307, don't convert to a GET request.

Fixes: debbugs:701

Minor doc fixes.  Remove duplicate ChangeLog entries.

* doc/emacs/dired.texi (Operating on Files): Rewrite according to the fact
that `dired-do-chmod' doesn't use the `chmod' program anymore.

* lisp/faces.el (list-faces-display): Remove extra angle bracket
from `help-mode-map'.

* lisp/info.el (Info-history-toc-nodes): Doc fix.

* lisp/longlines.el (longlines-mode): Doc fix.

* src/editfns.c (Fformat_time_string): Doc fix, add tag `usage:'
to show the arg `TIME' instead of `TIMEVAL'.

Fix copyrights, licenses, etc in new Org files.

Merge from trunk.

Really fix bug #9224 with vertical-motion under word-wrap.

 src/xdisp.c (move_it_in_display_line_to): Fix vertical-motion in a buffer
 with word-wrap under bidirectional display.

Fix bug #9254 with crash and cursor positioning under longlines-mode.

 src/xdisp.c (set_cursor_from_row): Fix cursor positioning when a
 display property strides EOL and includes a newline, as in
 longlines-mode.
 src/bidi.c (bidi_unshelve_cache): Don't reset the cache if JUST_FREE
 is non-zero, even if the data buffer is NULL.  Fixes a crash in
 vertical-motion with longlines-mode.

Merge from trunk.

gnus-sum.el (gnus-summary-refer-article): Warp to article.  This allows article-referral to work from an nnir group.

* lisp/progmodes/js.el (js--regexp-literal): Accept regexps at the beginning
of statements and in a few more cases.

Fixes: debbugs:9183

* lisp/emacs-lisp/cl-macs.el (cl--make-usage-var, cl--make-usage-args):
New functions.
(cl-transform-lambda): Use them.

Fixes: debbugs:9239

Bug #9224 was fixed together with bug #9221.

Make bidi_cache_total_alloc static.

 src/bidi.c <bidi_cache_total_alloc>: Now static.
 (bidi_initialize): Initialize bidi_cache_total_alloc.

Fix bug #9221 with memory leak in bidi display.
Add code to monitor memory allocation for bidi cache shelving.

 src/xdisp.c (display_line): Release buffer allocated for shelved bidi
 cache.
 src/bidi.c (bidi_shelve_cache, bidi_unshelve_cache): Track total
 amount allocated this far in `bidi_cache_total_alloc'.
 (bidi_unshelve_cache): Accept an additional argument JUST_FREE; if
 non-zero, only free the data buffer without restoring the cache
 contents.  All callers changed.
 src/dispextern.h (bidi_unshelve_cache): Update prototype.
 src/xdisp.c (SAVE_IT, pos_visible_p, move_it_in_display_line_to)
 (move_it_in_display_line, move_it_to)
 (move_it_vertically_backward, move_it_by_lines): Replace the call
 to xfree to an equivalent call to bidi_unshelve_cache.
 (move_it_in_display_line_to): Fix logic of returning
 MOVE_POS_MATCH_OR_ZV in the bidi case.

Fix bug #9221 with resource allocation under word-wrap.
Add diagnostic facility for monitoring memory allocated for cache shelving.

 src/xdisp.c (display_line): Release buffer allocated for shelved bidi
 cache.  (Bug#9221)
 src/bidi.c (bidi_shelve_cache, bidi_unshelve_cache): Track total
 amount allocated this far in `bidi_cache_total_alloc'.
 (bidi_unshelve_cache): Accept an additional argument JUST_FREE; if
 non-zero, only free the data buffer without restoring the cache
 contents.  All callers changed.
 src/dispextern.h (bidi_unshelve_cache): Update prototype.
 src/xdisp.c (SAVE_IT, pos_visible_p, move_it_in_display_line_to)
 (move_it_in_display_line, move_it_to)
 (move_it_vertically_backward, move_it_by_lines): Replace the call
 to xfree to an equivalent call to bidi_unshelve_cache.
 (move_it_in_display_line_to): Fix logic of returning
 MOVE_POS_MATCH_OR_ZV in the bidi case.

Fix bug #9229 with cursor positioning on display strings.

 src/xdisp.c (set_cursor_from_row): Prefer the candidate glyph that
 came from a string character with a `cursor' property.

Auto-commit of generated files.

Turn some defsubsts into defuns and revert part of last switch-to-buffer fix.

* window.el (display-buffer-same-window)
(display-buffer-same-frame, display-buffer-other-window)
(pop-to-buffer-same-window, pop-to-buffer-same-frame)
(pop-to-buffer-other-window)
(pop-to-buffer-same-frame-other-window)
(pop-to-buffer-other-frame): Make them defuns.
(switch-to-buffer): Don't set LABEL argument of pop-to-buffer.

gnus.el (registry-ignore): Add nnir groups to the ignore-list.

Merge from trunk.

Check for pthread and use it if found.

* configure.in (HAVE_PTHREAD): Add check for -lpthread.
(HAVE_GTK_AND_PTHREAD): Remove.

* src/Makefile.in (LIB_PTHREAD): New variable.
(LIBES): Add LIB_PTHREAD (Bug#9216).

* src/alloc.c, src/emacs.c, src/gmalloc.c, src/gtkutil.c, src/keyboard.c, src/syssignal.h:
Rename HAVE_GTK_AND_PTHREAD to HAVE_PTHREAD (Bug#9216).

* regex.c (re_iswctype): Remove some redundant boolean conversions.

Set _NET_WM_WINDOW_OPACITY on outer window manager window also.

* xterm.c (x_find_topmost_parent): New function.
(x_set_frame_alpha): Find topmost parent window with
x_find_topmost_parent and set the property there also.
(handle_one_xevent): Call x_set_frame_alpha on ReparentNotify.

Fixes: debbugs:9181

Make sure GPG keys are usable when composing non-MIME messages (bug#8955).

* mml1991.el (mml1991-epg-find-usable-key)
(mml1991-epg-find-usable-secret-key): New function.
(mml1991-epg-sign): Check if signing key is usable.
(mml1991-epg-encrypt): Check if encrypting key is usable (bug#8955).

* callproc.c (Fcall_process): Avoid vfork clobbering

the local vars buffer, coding_systems, current_dir.

Merge from trunk.

nnir.el (nnir-read-server-parm): Add an argument to restrict to server-variables only. This should fix a bug introduced with commit e1889675b7f4adf057833c5513c9374134c4e053.
 (nnir-run-query): 'nnir-search-engine should not be set from the global environment.

* src/keymap.c (Fmake_composed_keymap): Move to subr.el.
* lisp/subr.el (make-composed-keymap): Move from C.  Change calling
convention, and improve docstring to bring attention to a subtle point.
* lisp/minibuffer.el (completing-read-default): Adjust accordingly.

* fontset.c (dump_fontset) [FONTSET_DEBUG]: Declare EXTERNALLY_VISIBLE

so that it is not optimized away.

* trampver.texi: Update release number.

* net/tramp-sh.el (tramp-open-connection-setup-interactive-shell)
(tramp-open-shell): Use `tramp-shell-quote-argument'.

* net/trampver.el: Update release number.